User Tools

Site Tools


services:cluster:start

Differences

This shows you the differences between two versions of the page.

Link to this comparison view

Both sides previous revisionPrevious revision
Next revision
Previous revision
Next revisionBoth sides next revision
services:cluster:start [2017/06/08 13:27] dregerservices:cluster:start [2019/11/04 13:51] – [Table] dreger
Line 1: Line 1:
 ====== Information about the HPC-Cluster ====== ====== Information about the HPC-Cluster ======
  
-In order to get access to the department of physics HPC resources you need to send an email to hpc@physik.fu-berlin.de. Please give some information on the kind of jobs you are planing to run and software you plan to use, if possible.+In order to get access to the department of physics HPC resources you need to send an email to hpc@physik.fu-berlin.de. Please supply the following information:
  
-**2015-06-16**: Currently there are two HPC clusters in production at the physics department. One is located in the HLRN datacenter, the other is located at ZEDAT. See the table below for further information on available resources. Both cluster only share a common /home. Everything else like the queuing system ot /scratch are distinct. Both are running Debian/Wheezy and utilize the Slurm scheduling system. +  - Your ZEDAT account username 
 +  - The group you are using the system for (e.g. ag-netz,ag-imhof,...) 
 +  - The software you are using for your simulations (e.g. gromacs, gaussian, self-written code in language XYZ, ...) and whether you use MPI or OpenCL/CUDA. 
 +  - Software that you happen to know so well that other HPC users within the department may ask you for help. 
 +  - A self contained job example that is typical for the workload you are using the HPC systems for, ideally with a small README describing how to run it and a job script. If possible scale it so it runs between a few minutes and an hour at maximum. 
 +  - If you are no longer a member of the physics department, we would like to get an estimate on how much longer you will need access to the systems (e.g. to finish some paper) 
 + 
 +**2018-06-28**: Currently there are three HPC clusters in production at the physics department. One cluster ("leonard"is located in the HLRN datacenter, another ("yoshi"is located at ZEDAT and the third ("tron") in located in the IMP datacenter at Takustraße 9. See the table below for further information on available resources. The yoshi cluster is currently under maintenance for upgrade of the system. 
 + 
  
 ===== Slurm documentation ===== ===== Slurm documentation =====
Line 11: Line 19:
   * Using [[interactivesessions|interactive sessions]] with the queuing system.   * Using [[interactivesessions|interactive sessions]] with the queuing system.
   * How to make use of the [[gpunodes|GPU-nodes]].   * How to make use of the [[gpunodes|GPU-nodes]].
 +  * Here is a [[nodes|list of special nodes]] that are currently not part of slurm.
 +  * Here is a [[userlist|list of HPC users]] and the software they use
  
 ===== General documentation ===== ===== General documentation =====
Line 22: Line 32:
 The following table lists some HPC resources available at the physics department. At the end of the table we also list the resources for the ZEDAT [[http://www.zedat.fu-berlin.de/HPC/Soroban|soroban]] cluster. The tron cluster at Takustrasse 9 is currently restructured. We also have some [[nodes|special purpose nodes]] that are currently not managed by Slurm. The following table lists some HPC resources available at the physics department. At the end of the table we also list the resources for the ZEDAT [[http://www.zedat.fu-berlin.de/HPC/Soroban|soroban]] cluster. The tron cluster at Takustrasse 9 is currently restructured. We also have some [[nodes|special purpose nodes]] that are currently not managed by Slurm.
  
-^ Hosts                ^ Manager             ^ Nodes                                       ^ Form                                  ^ Hardware                ^ CPU                ^ Speed    ^ Core/Node  ^  RAM/Core ^ RAM/Node                     #RAM                                        #Cores                    +^ Hosts                                                                                              ^ Manager  ^ Nodes                                       ^ Form                                  ^ Hardware                ^ CPU                ^ Speed    ^ Core/Node  ^  RAM/Core ^ RAM/Node  #RAM                                         #Cores                                      
-| @#cfc:**tron cluster** - FB Physik - Location: Takustrasse 9                                                                                                                                                                                                                                                       |||||||||||| +| @#cfc:**tron cluster** - FB Physik - Location: Takustrasse 9 - OS: Debian/Stretch                                                                                                                                                                                                                                                                                                     |||||||||||| 
-| @#cfc:n010-n041      offline             |                                          32 2U Twin<sup>2</sup>                   Dell C6100              | 2x Xeon X5650      | 2.66GHz  |     12        8G        96G    |                                        3072G |                     384                      | +| @#cfc:z001-z020                                                                                    SLURM    |                                          20 1U                                    IBM iDataPlex dx360 M4  | 2x Xeon E5-2680v2  | 2.8GHz   |  20         25G      |  512G     |                                       10024G  400                                         | 
-| @#cfc:n110-n111      | offline                                                       2 | 2U                                    | Dell C6145              | 4x Opteron 6128HE  | 2.0GHz   |     32        4G       128G    |                                         256G |                      64                      | +| @#cfc:z021-z040                                                                                    SLURM    |                                          20 1U                                    IBM iDataPlex dx360 M4  | 2x Xeon E5-2680v2  2.8GHz    20         12G       256G     |                                        5120G  400                                         | 
-| @#cfc:n112-n127      offline                                                      16 | Blade                                 | Dell M600               | 2x Xeon E5450      | 3.00GHz      8         2G        16G    |                                         256G |                     128                      +| @#cfc:z041-z113                                                                                    SLURM    |                                          72 2U GPU Nodes (2x Nvidia Tesla K20x)   IBM iDataPlex dx360 M4  | 2x Xeon E5-2680v2  | 2.8GHz    20         6G       |  128G     |                                        9216G  1440                                        | 
-| @#cfc:n128-n143      offline             |                                          16 Blade                                 Dell M600               | 2x Xeon E5450      3.00GHz      8         2G     |    16G    |                                         256G |                     128                      +| @#cfc:z163-z166                                                                                    SLURM    |                                           2U                                    | HP DL560 G8             | 4x Xeon E5-4650L   | 2.6GHz    32         24G      |  768G     |                                        3072G  128                                         
-| @#cfc:n144-n175      offline             |                                          32 Blade                                 Dell M610               | 2x Xeon X5570      | 2.93GHz      8      |    6G        48G    |                                        1536G |                     256                      +| @#cfc:**#Taku9**                                                                                            |  **~~=sum(range(col(),1,col(),row()-1))~~** |                                                                                  |          |            |                      **~~=sum(range(col(),1,col(),row()-1))~~G** |  **~~=sum(range(col(),1,col(),row()-1))~~** 
-| @#cfc:n176-n183      offline             |                                           4U                                    | HP DL580                | 4x Xeon X7560      | 2.26Ghz      32        8G     |   256G    |                                        2048G                     256                      +                                                                                                            |                                                                                                                              |          |            |                                                                  |                                              | 
-| @#cfc:**#Taku9**                         |  **~~=sum(range(col(),1,col(),row()-1))~~** |                                                                                  |          |            |                      **~~=sum(range(col(),1,col(),row()-1))~~G** |  **~~=sum(range(col(),1,col(),row()-1))~~** +| @#ced:**sheldon/leonard cluster** - FB Physik - Location: HLRN - OS: Debian/Jessie                                                                                                                                                                                                                                                                                                    |||||||||||| 
-                                         |                                                                                                                              |          |            |                                                                  |                                              | +| @#ced:x001-x192                                                                                    | SLURM    |                                         192 | Blade                                 | SGI Altix ICE 8200      | 2x Xeon X5570      | 2.93GHz           6G        48G      |                                        9216G |  1536                                        | 
-| @#ced:**sheldon/leonard cluster** - FB Physik - Location: HLRN - OS: Debian/Jessie                                                                                                                                                                                                                                                          |||||||||||| +| @#ced:**#HLRN**                                                                                             |                                     **192** |                                                                                  |          |            |                                                        **9216G** |  **1536**                                    
-| @#ced:x001-x192      | SLURM<sup>1)</sup>  |                                         192 | Blade                                 | SGI Altix ICE 8200      | 2x Xeon X5570      | 2.93GHz             6G        48G    |                                        9216G |                     1536                     | +                                                                                                            |                                                                                                                              |          |            |                                                                  |                                              | 
-| @#ced:uv1000         | none                |                                           1 | 42U                                   | SGI UV 1000             | 64x Xeon X7560     | 2.26Ghz  |    512        4G        2T                                            2048G |                     512                      +| @#cef:**yoshi cluster** - FB Physik - Location: ZEDAT - OS: Debian/Wheezy - **currently offline**                                                                                                                                                                                                                                                                                     |||||||||||| 
-| @#ced:**#HLRN**                          |                                     **193** |                                                                                  |          |            |                                                       **11264G** |                   **2048**                   +| @#cef:y001-y160                                                                                    | SLURM    |                                         160 | Blade                                 | HP BL460c G6            | 2x Xeon X5570      | 2.93GHz           6G        48G      |                                        7680G  1280                                        
-                                         |                                                                                                                              |          |            |                                                                  |                                              | +| @#cef:ygpu01-ygpu31                                                                                | SLURM    |                                          31 | 2U GPU Nodes (2x Nvidia Tesla M2070)  | IBM iDataPlex dx360 M3  | 2x Xeon X5570      | 2.93GHz           3G        24G      |                                         744G |  248                                         
-| @#cef:**yoshi cluster** - FB Physik - Location: ZEDAT - OS: Debian/Wheezy                                                                                                                                                                                                                                                             |||||||||||| +| @#cef:**#Ph-ZEDAT**                                                                                         |                                     **159** |                                                                                  |          |            |                                                        **8424G** |  **1528**                                    
-| @#cef:y001-y128      | SLURM<sup>1)</sup>  |                                         128 | Blade                                 | HP BL460c G6            | 2x Xeon X5570      | 2.93GHz             6G        48G    |                                        6144G                     1024                     +                                                                                                            |                                                                                                                              |          |            |                                                                  |                                              | 
-| @#cef:ygpu01-ygpu31  | SLURM<sup>2)</sup>  |                                          31 | 2U GPU Nodes (2x Nvidia Tesla M2070)  | IBM iDataPlex dx360 M3  | 2x Xeon X5570      | 2.93GHz             3G        24G    |                                         744G |                     248                      +| @#ccf:**soroban cluster** - ZEDAT-HPC - Location: ZEDAT                                                                                                                                                                                                                                                                                                                               |||||||||||| 
-| @#cef:**#Ph-ZEDAT**                      |                                     **159** |                                                                                  |          |            |                                                        **6888G** |                   **1272**                   +| @#ccf:node001-002                                                                                  | SLURM    |                                           2 | 1U Twin                               | Asus Z8NH-D12           | 2x Xeon X5650      | 2.66GHz  | 12          8G        48G      |                                          96G |  24                                          
-                                         |                                                                                                                              |          |            |                                                                  |                                              | +| @#ccf:node003-030                                                                                  | SLURM    |                                          28 | 1U Twin                               | Asus Z8NH-D12           | 2x Xeon X5650      | 2.66GHz  | 12          4G        24G      |                                         672G |  336                                         
-| @#ccf:**soroban cluster** - ZEDAT-HPC - Location: ZEDAT                                                                                                                                                                                                                                                            |||||||||||| +| @#ccf:node031-100                                                                                  | SLURM    |                                          70 | 1U Twin                               | Asus Z8NH-D12           | 2x Xeon X5650      | 2.66GHz  | 12          8G        48G      |                                        3360G |  840                                         
-| @#ccf:node001-002    | SLURM               |                                           2 | 1U Twin                               | Asus Z8NH-D12           | 2x Xeon X5650      | 2.66GHz  | 12            8G        48G    |                                          96G |                      24                      +| @#ccf:node101-112                                                                                  | SLURM    |                                          12 | 1U Twin                               | Asus Z8NH-D12           | 2x Xeon X5650      | 2.66GHz  | 12          16G       96G      |                                        1152G |  144                                         
-| @#ccf:node003-030    | SLURM               |                                          28 | 1U Twin                               | Asus Z8NH-D12           | 2x Xeon X5650      | 2.66GHz  | 12            4G        24G    |                                         672G |                     336                      +| @#ccf:**#ZEDAT**                                                                                            |                                     **112** |                                                                                  |          |            |                                                        **5280G** |  **1344**                                    
-| @#ccf:node031-100    | SLURM               |                                          70 | 1U Twin                               | Asus Z8NH-D12           | 2x Xeon X5650      | 2.66GHz  | 12            8G        48G    |                                        3360G |                     840                      +                                                                                                            |                                                                                                                              |          |            |                                                                  |                                              | 
-| @#ccf:node101-112    | SLURM               |                                          12 | 1U Twin                               | Asus Z8NH-D12           | 2x Xeon X5650      | 2.66GHz  | 12            16G       96G    |                                        1152G |                     144                      +| @#ccc:Abacus4                                                                                               |                                           8 |                                       | IBM p575                | 16x POWER 5+       | 1.9Ghz   | 32          4G        128G     |                                        1024G |  256                                         |
-| @#ccf:**#ZEDAT**                         |                                     **112** |                                                                                  |          |            |                                                        **5280G** |                   **1344**                   +
-                                         |                                                                                                                              |          |            |                                                                  |                                              +
-| @#ccc:**ausgemusterte Systeme**                                                                                                                                                                                                                                                                                    |||||||||||+
-| @#ccc:Abacus4                            |                                           8 |                                       | IBM p575                | 16x POWER 5+       | 1.9Ghz   | 32            4G       128G    |                                        1024G |                     256                      | +
- +
- +
- +
- +
- +
- +
- +
- +
- +
- +
- +
- +
- +
- +
- +
- +
- +
- +
- +
- +
- +
  
-Operating System: Debian Linux Squeeze (x64)\\ 
-<sup>1)</sup> in production but still experimental\\ 
-<sup>2)</sup> work in progress 
  
-(15.03.2014)+(06.11.2018)
  
 {{:fotos:dsc_0445wiki.jpg?width=370|}}{{:fotos:dsc_0450.jpg?width=370|}} {{:fotos:dsc_0445wiki.jpg?width=370|}}{{:fotos:dsc_0450.jpg?width=370|}}
 {{:fotos:dsc_0446.jpg?width=740|}} {{:fotos:dsc_0446.jpg?width=740|}}
services/cluster/start.txt · Last modified: 2024/04/26 14:33 by hoffmac00

Donate Powered by PHP Valid HTML5 Valid CSS Driven by DokuWiki