menu

ジョブキューイングシステム

Cray XC40はジョブスケジューラによって管理されています.

基本的なジョブの確認,投入方法は並列機利用マニュアルをご参照ください.

キュークラス (2018.8 修正案)

クラス ノード数 コア数 実行時間 同時実行ジョブ数 同時実行ジョブ数/1ユーザ 優先度
TINY 1-2node ~72cores 30min 無制限 無制限 1
SINGLE 1-4node ~144cores 4Day 54job 10job 5
SMALL 5-16node ~576cores 72hour 26job 6job 4
MEDIUM 17-32node ~1152cores 72hour 18job 4job 3
LARGE 33-64node ~2304cores 60hour 6job 2job 2
XLARGE 65-128node ~4608cores 48hour 2job 1job 2
XXLARGE 129-384node ~13824cores 36hour 1job 1job 2
ALL 調整中
LONG-S 1-8node ~288cores 1week 12job 3job 5
LONG-M 9-64node ~1152cores 96hour 3job 1job 4
LONG-L 調整中 (申請ベース) - - -  
  • ノード/コア=利用可能ノード数/コア数
  • 実行時間=キューに投入されたジョブが実行状態に置かれる最大の時間
  • 同時実行ジョブ数=同じキュー内のジョブが同時に実行されうる個数
  • 同時実行ジョブ数/1ユーザ=同じキュー内にある同一ユーザのジョブが同時に実行されうる個数
  • 同時投入数/1ユーザ=同じキューに1ユーザが同時に投入可能なジョブ数(実行中のジョブも含む)
  • 赤字は2018.8.10修正案

■1ノードには2CPU/36コアが搭載されています.
■ジョブの割り振りはノード単位で行われます.このためシングルプロセス+シングルスレッドのジョブでも1ノード=24コアが占有される場合があります.

**なお、申請ジョブクラスについてはこちらをご覧ください

キュークラス

クラス ノード数 コア数 実行時間 同時実行ジョブ数 同時実行ジョブ数/1ユーザ 優先度
TINY 1-2node ~72cores 30min 無制限 無制限 1
SINGLE 1-4node ~144cores 4Day 48job 12job 5
SMALL 5-64node ~2304cores 48hour 18job 4job 4
MEDIUM 65-128node ~4608cores 12hour 6job 2job 3
LARGE 129-256node ~9216cores 12hour 2job 1job 2
XLARGE 257-384node ~13824cores 12hour 1job 1job 7
ALL 調整中
LONG-S 1-8node ~288cores 1week 12job 3job 3
LONG-M 9-64node ~1152cores 96hour 3job 1job 4
LONG-L 調整中 (申請ベース) - - -  
  • ノード/コア=利用可能ノード数/コア数
  • 実行時間=キューに投入されたジョブが実行状態に置かれる最大の時間
  • 同時実行ジョブ数=同じキュー内のジョブが同時に実行されうる個数
  • 同時実行ジョブ数/1ユーザ=同じキュー内にある同一ユーザのジョブが同時に実行されうる個数
  • 同時投入数/1ユーザ=同じキューに1ユーザが同時に投入可能なジョブ数(実行中のジョブも含む)
  • 赤字は2017.1.5修正

■1ノードには2CPU/36コアが搭載されています.
■ジョブの割り振りはノード単位で行われます.このためシングルプロセス+シングルスレッドのジョブでも1ノード=24コアが占有される場合があります.

**なお、申請ジョブクラスについてはこちらをご覧ください

Job Script

Sample Script

各種サンプルスクリプトが/work/Samples以下にあります.

適宜コピーしてご利用ください.

 

MPI Program: 1ノードあたり36プロセス配置,全6ノード(216プロセス)利用

  • ncpus = mpiprocsでも,mpiprocs(ノード内MPIプロセス数)の指定は省略しないで下さい
  • 複数ノードを利用する際はplace=scatterを付加して下さい
  • コードにOpenMP並列を含まないことが明らかでない場合,OMP_NUM_THREADS=1を記載して下さい

#!/bin/csh
#PBS -q <QUEUE>
#PBS -j oe
#PBS -l select=6  < 6ノード,各ノードにMPI36プロセスずつ.
#PBS -l place=scatter

cd $PBS_O_WORKDIR <- 作業ディレクトリ(カレントディレクトリ)への移動
setenv OMP_NUM_THREADS 1

aprun -n 216 -N 36  -j 1 ./a.out    <- j 1 オプションでハイパースレッド無効化(2018.8)

XC40ではプログラム実行用に特殊なコマンド"aprun"を利用します.

aprun [-n num/-N num/ -d num ] <実行ファイル>

-n: MPIプロセス数 (PBSのmppwidthに対応)
-N: 1ノードあたりに割り付けるMPIプロセス数 (PBSのmppnppnに対応)
-d: 1MPIプロセス内のスレッド数 (PBSのmppdepthに対応)



MPI/OpenMP ハイブリッド: 1ノードあたりMPI2プロセス,プロセスごとに18スレッド配置,全12ノード利用(24MPI,432スレッド)

  • ncpus = mpiprocs x OMP_NUM_THREADS となります [最大36 (コア)]
  • 複数ノードを利用する際はplace=scatterを付加して下さい
  • mpiprocsは1ノードで動作させるMPIプロセス数を指定してください

#!/bin/csh
#PBS -l select=12:ncpus=36:mpiprocs=2 < 12ノード,各ノードにMPI2プロセスx18スレッド.
#PBS -l place=scatter
#PBS -q <QUEUE>

cd $PBS_O_WORKDIR <- 作業ディレクトリ(カレントディレクトリ)への移動
setenv OMP_NUM_THREADS 18

aprun -n 24 -S 1 -N 2 -d $OMP_NUM_THREADS -j 1 -cc depth ./a.out <- j 1 オプションでハイパースレッド無効化(2018.8)

 

SMP プログラム (OpenMP, 自動並列):

  • ncpus=ompthreads の場合,ompthreadsを省略できます

#!/bin/csh
#PBS -l select=1:ncpus=36:ompthreads=36 < 1ノード,ノード内36スレッド.
#PBS -l place=scatter
#PBS -q <QUEUE>

cd $PBS_O_WORKDIR <- 作業ディレクトリ(カレントディレクトリ)への移動
setenv OMP_NUM_THREADS 36

aprun -n 1  -d $OMP_NUM_THREADS -j 1 ./a.out <- j 1 オプションでハイパースレッド無効化(2018.8)

 

 

利用ドキュメント(日本語のみ)

この先のページを表示するにはログインが必要です

ログイン

JAISTのユーザ名とパスワードを入力してください.
Login