User Tools

Site Tools


services:cluster:start

Differences

This shows you the differences between two versions of the page.

Link to this comparison view

Both sides previous revisionPrevious revision
Next revision
Previous revision
services:cluster:start [2017/06/08 13:27] – [Overview of available resources] dregerservices:cluster:start [2022/07/12 15:49] (current) – [Slurm documentation] zedv
Line 1: Line 1:
 ====== Information about the HPC-Cluster ====== ====== Information about the HPC-Cluster ======
  
-In order to get access to the department of physics HPC resources you need to send an email to hpc@physik.fu-berlin.de. Please give some information on the kind of jobs you are planing to run and software you plan to use, if possible.+<note tip>If you have questions, you can find us on [[https://meet.physik.fu-berlin.de/#/room/!lwzXdWYwaTwKKSKfAb:physik.fu-berlin.de?via=physik.fu-berlin.de|Matrix in #hpc:physik.fu-berlin.de]]</note>
  
-**2015-06-16**Currently there are two HPC clusters in production at the physics departmentOne is located in the HLRN datacenterthe other is located at ZEDATSee the table below for further information on available resourcesBoth cluster only share common /homeEverything else like the queuing system ot /scratch are distinctBoth are running Debian/Wheezy and utilize the Slurm scheduling system+===== Access to the Cluster ===== 
 + 
 +In order to get access to the department of physics HPC resources you need to send an email to hpc@physik.fu-berlin.de. Please supply the following information: 
 + 
 +  - Your ZEDAT account username 
 +  - The group you are using the system for (e.g. ag-netz,ag-imhof,...) 
 +  - The software you are using for your simulations (e.g. gromacs, gaussian, self-written code in language XYZ...) and whether you use MPI or OpenCL/CUDA. 
 +  - Software that you happen to know so well that other HPC users within the department may ask you for help. 
 +  - A self-contained example job that is typical for the workload you will be using the HPC systems for, ideally with a small README describing how to run it and a job scriptIf possible scale it so it runs between few minutes and an hour at maximum. 
 +  - If you are no longer a member of the physics department, we would like to get an estimate on how much longer you will need access to the systems (e.gto finish some paper)
  
 ===== Slurm documentation ===== ===== Slurm documentation =====
Line 11: Line 20:
   * Using [[interactivesessions|interactive sessions]] with the queuing system.   * Using [[interactivesessions|interactive sessions]] with the queuing system.
   * How to make use of the [[gpunodes|GPU-nodes]].   * How to make use of the [[gpunodes|GPU-nodes]].
 +  * Here is a [[nodes|list of special nodes]] that are currently not part of slurm.
 +  * Here is a [[userlist|list of HPC users]] and the software they use
 +  * Using [[sheldon-gpu|GPU nodes on sheldon]]
  
 ===== General documentation ===== ===== General documentation =====
  
   * Robert Hübener from AG-Eisert has written a HOWTO for using [[mmacluster|Mathematica on a HPC-Cluster]].   * Robert Hübener from AG-Eisert has written a HOWTO for using [[mmacluster|Mathematica on a HPC-Cluster]].
-  * A current python version has been built for cluster usage. The [[pythoncluster|Python on the HPC-Cluster]] tutorial describes how to set it up.+  * A more current Python version has been built for cluster usage. The [[pythoncluster|Python on the HPC-Cluster]] tutorial describes how to set it up.
   * Try to [[usetmpforio|use /tmp for I/O intensive single node jobs]]   * Try to [[usetmpforio|use /tmp for I/O intensive single node jobs]]
  
 ===== Overview of available resources ===== ===== Overview of available resources =====
  
-The following table lists some HPC resources available at the physics department. At the end of the table we also list the resources for the ZEDAT [[http://www.zedat.fu-berlin.de/HPC/Soroban|soroban]] cluster. The tron cluster at Takustrasse 9 is currently restructured. We also have some [[nodes|special purpose nodes]] that are currently through managed by Slurm. +The following table lists some HPC resources available at the physics department. At the end of the table we also list the resources for the ZEDAT [[http://www.zedat.fu-berlin.de/HPC/Soroban|soroban]] cluster. The tron cluster at Takustrasse 9 is currently restructured. We also have some [[nodes|special purpose nodes]] that are currently not managed by Slurm.
- +
-^ Hosts                ^ Manager             ^ Nodes                                       ^ Form                                  ^ Hardware                ^ CPU                ^ Speed    ^ Core/Node  ^  RAM/Core ^ RAM/Node  ^                     #RAM                                        #Cores                    ^ +
-| @#cfc:**tron cluster** - FB Physik - Location: Takustrasse 9                                                                                                                                                                                                                                                       |||||||||||| +
-| @#cfc:n010-n041      | offline                                                      32 | 2U Twin<sup>2</sup>                   | Dell C6100              | 2x Xeon X5650      | 2.66GHz  |     12        8G        96G    |                                        3072G |                     384                      | +
-| @#cfc:n110-n111      | offline                                                       2 | 2U                                    | Dell C6145              | 4x Opteron 6128HE  | 2.0GHz       32        4G       128G    |                                         256G |                      64                      | +
-| @#cfc:n112-n127      | offline                                                      16 | Blade                                 | Dell M600               | 2x Xeon E5450      | 3.00GHz  |          |    2G        16G    |                                         256G |                     128                      | +
-| @#cfc:n128-n143      | offline                                                      16 | Blade                                 | Dell M600               | 2x Xeon E5450      | 3.00GHz  |          |    2G        16G    |                                         256G |                     128                      | +
-| @#cfc:n144-n175      | offline                                                      32 | Blade                                 | Dell M610               | 2x Xeon X5570      | 2.93GHz  |          |    6G        48G    |                                        1536G |                     256                      | +
-| @#cfc:n176-n183      | offline                                                       8 | 4U                                    | HP DL580                | 4x Xeon X7560      | 2.26Ghz  |     32        8G       256G    |                                        2048G |                     256                      | +
-| @#cfc:**#Taku9**                          **~~=sum(range(col(),1,col(),row()-1))~~** |                                                                                  |          |            |                      **~~=sum(range(col(),1,col(),row()-1))~~G** |  **~~=sum(range(col(),1,col(),row()-1))~~** +
-|                      |                                                                                                                                                  |          |            |                                                                  |                                              | +
-| @#ced:**sheldon/leonard cluster** - FB Physik - Location: HLRN - OS: Debian/Jessie                                                                                                                                                                                                                                                          |||||||||||| +
-| @#ced:x001-x192      | SLURM<sup>1)</sup>  |                                         192 | Blade                                 | SGI Altix ICE 8200      | 2x Xeon X5570      | 2.93GHz  |          |    6G        48G    |                                        9216G |                     1536                     | +
-| @#ced:uv1000         | none                |                                           1 | 42U                                   | SGI UV 1000             | 64x Xeon X7560     | 2.26Ghz  |    512        4G        2T                                            2048G |                     512                      | +
-| @#ced:**#HLRN**      |                                                         **193** |                                                                                  |          |            |                                                       **11264G** |                   **2048**                   | +
-|                      |                                                                                                                                                  |          |            |                                                                  |                                              | +
-| @#cef:**yoshi cluster** - FB Physik - Location: ZEDAT - OS: Debian/Wheezy                                                                                                                                                                                                                                                             |||||||||||| +
-| @#cef:y001-y128      | SLURM<sup>1)</sup>  |                                         128 | Blade                                 | HP BL460c G6            | 2x Xeon X5570      | 2.93GHz  |          |    6G        48G    |                                        6144G |                     1024                     | +
-| @#cef:ygpu01-ygpu31  | SLURM<sup>2)</sup>  |                                          31 | 2U GPU Nodes (2x Nvidia Tesla M2070)  | IBM iDataPlex dx360 M3  | 2x Xeon X5570      | 2.93GHz  |          |    3G        24G    |                                         744G |                     248                      | +
-| @#cef:**#Ph-ZEDAT**  |                                                         **159** |                                                                                  |          |            |                                                        **6888G** |                   **1272**                   | +
-|                      |                                                                                                                                                  |          |            |                                                                  |                                              | +
-| @#ccf:**soroban cluster** - ZEDAT-HPC - Location: ZEDAT                                                                                                                                                                                                                                                            |||||||||||| +
-| @#ccf:node001-002    | SLURM                                                         2 | 1U Twin                               | Asus Z8NH-D12           | 2x Xeon X5650      | 2.66GHz  | 12            8G        48G    |                                          96G |                      24                      | +
-| @#ccf:node003-030    | SLURM                                                        28 | 1U Twin                               | Asus Z8NH-D12           | 2x Xeon X5650      | 2.66GHz  | 12            4G        24G    |                                         672G |                     336                      | +
-| @#ccf:node031-100    | SLURM                                                        70 | 1U Twin                               | Asus Z8NH-D12           | 2x Xeon X5650      | 2.66GHz  | 12            8G        48G    |                                        3360G |                     840                      | +
-| @#ccf:node101-112    | SLURM                                                        12 | 1U Twin                               | Asus Z8NH-D12           | 2x Xeon X5650      | 2.66GHz  | 12            16G    |    96G    |                                        1152G |                     144                      | +
-| @#ccf:**#ZEDAT**                                                             **112** |                                                                                  |          |            |                                                        **5280G** |                   **1344**                   | +
-|                      |                                                                                                                                                  |          |            |                                                                  |                                              | +
-| @#ccc:**ausgemusterte Systeme**                                                                                                                                                                                                                                                                                    |||||||||||| +
-| @#ccc:Abacus4        |                                                               8 |                                       | IBM p575                | 16x POWER 5+       | 1.9Ghz   | 32            4G       128G    |                                        1024G |                     256                      | +
- +
- +
- +
- +
- +
- +
- +
- +
- +
- +
- +
- +
- +
- +
- +
- +
- +
- +
  
 +The name of the login node for each of our clusters has the same name as the cluster, e.g. the tron login node is reachable via ssh under the hostname ''tron''.
  
 +^ Hosts                                                                                              ^ Manager  ^ Nodes                                       ^ Form                                  ^ Hardware                ^ CPU                ^ Speed    ^ Core/Node  ^  RAM/Core ^ RAM/Node  ^  #RAM                                        ^  #Cores                                      ^
 +| @#cfc:**tron cluster** - FB Physik - Location: Takustrasse 9 - OS: Debian/Stretch                                                                                                                                                                                                                                                                                                     ||||||||||||
 +| @#cfc:z001-z020                                                                                    | SLURM    |                                          20 | 1U                                    | IBM iDataPlex dx360 M4  | 2x Xeon E5-2680v2  | 2.8GHz    20        |  25G      |  512G                                           10024G |  400                                         |
 +| @#cfc:z021-z040                                                                                    | SLURM    |                                          20 | 1U                                    | IBM iDataPlex dx360 M4  | 2x Xeon E5-2680v2  | 2.8GHz    20        |  12G      |  256G                                            5120G |  400                                         |
 +| @#cfc:z041-z113                                                                                    | SLURM    |                                          72 | 2U GPU Nodes (2x Nvidia Tesla K20x)   | IBM iDataPlex dx360 M4  | 2x Xeon E5-2680v2  | 2.8GHz    20        |  6G        128G                                            9216G |  1440                                        |
 +| @#cfc:z163-z166                                                                                    | SLURM    |                                           4 | 2U                                    | HP DL560 G8             | 4x Xeon E5-4650L   | 2.6GHz    32        |  24G      |  768G                                            3072G |  128                                         |
 +| @#cfc:**#Taku9**                                                                                            |  **~~=sum(range(col(),1,col(),row()-1))~~** |                                                                                  |          |            |                      **~~=sum(range(col(),1,col(),row()-1))~~G** |  **~~=sum(range(col(),1,col(),row()-1))~~**  |
 +|                                                                                                    |          |                                                                                                                              |          |            |                                                                  |                                              |
  
 +| @#ccf:**soroban cluster** - ZEDAT-HPC - Location: ZEDAT                                                                                                                                                                                                                                                                                                                               ||||||||||||
 +| @#ccf:node001-002                                                                                  | SLURM    |                                           2 | 1U Twin                               | Asus Z8NH-D12           | 2x Xeon X5650      | 2.66GHz  | 12          8G        48G      |                                          96G |  24                                          |
 +| @#ccf:node003-030                                                                                  | SLURM    |                                          28 | 1U Twin                               | Asus Z8NH-D12           | 2x Xeon X5650      | 2.66GHz  | 12          4G        24G      |                                         672G |  336                                         |
 +| @#ccf:node031-100                                                                                  | SLURM    |                                          70 | 1U Twin                               | Asus Z8NH-D12           | 2x Xeon X5650      | 2.66GHz  | 12          8G        48G      |                                        3360G |  840                                         |
 +| @#ccf:node101-112                                                                                  | SLURM    |                                          12 | 1U Twin                               | Asus Z8NH-D12           | 2x Xeon X5650      | 2.66GHz  | 12          16G      |  96G      |                                        1152G |  144                                         |
 +| @#ccf:**#ZEDAT**                                                                                            |                                     **112** |                                                                                  |          |            |                                                        **5280G** |  **1344**                                    |
 +|                                                                                                    |          |                                                                                                                              |          |            |                                                                  |                                              |
 +| @#ccc:Abacus4                                                                                      |          |                                           8 |                                       | IBM p575                | 16x POWER 5+       | 1.9Ghz   | 32          4G        128G                                            1024G |  256                                         |
  
-Operating System: Debian Linux Squeeze (x64)\\ 
-<sup>1)</sup> in production but still experimental\\ 
-<sup>2)</sup> work in progress 
  
-(15.03.2014)+(06.11.2018)
  
 {{:fotos:dsc_0445wiki.jpg?width=370|}}{{:fotos:dsc_0450.jpg?width=370|}} {{:fotos:dsc_0445wiki.jpg?width=370|}}{{:fotos:dsc_0450.jpg?width=370|}}
 {{:fotos:dsc_0446.jpg?width=740|}} {{:fotos:dsc_0446.jpg?width=740|}}
services/cluster/start.1496928422.txt.gz · Last modified: 2017/06/08 13:27 by dreger

Donate Powered by PHP Valid HTML5 Valid CSS Driven by DokuWiki