ユーザー


HPC（High Performance Computing）

SACLA HPC - HPCI共用ストレージへのデータ転送サービスについて

近年、SACLAで得られた大量の実験データを外部の研究機関と迅速に共有し高度な計算科学によって解析を行うニーズが急速に増えてきています。SACLAでは、そのような大規模データ解析のために、SACLAからHPCI共用ストレージへのデータ転送サービスを開始しました。 これにより、「富岳」「Wisteria/BDEC-01」をはじめとしたHPCIを構成するスーパーコンピュータの能力を活用した大規模解析が容易になり、新たな研究成果が創出されることが期待できます

HPCI（High Performance Computing Infrastructure） とは

HPCI（High Performance Computing Infrastructure）とは、文部科学省が整備した日本が誇る強力な研究基盤。理化学研究所に設置されている「富岳」を始め、国立大学・国立研究開発法人に設置されているスーパーコンピュータ（「HPCI 共用計算資源」という）等が高速ネットワークで結ばれ、多様なユーザーニーズに応える革新的な共用計算環境が提供されています。

HPCI共用ストレージ

HPCI共用ストレージは、HPCI計算資源利用時における大容量のデータの格納や HPCI計算資源間あるいは HPCIコミュニティでのデータ共有を目的とした広域に分散した大規模ストレージであり、Gfarmファイルシステムとよばれる広域分散ファイルシステムで実現されています。R-CCSと東大ITCが共同で運用を行い、互いにデータを多重化することにより R-CCS・東大ITCのどちらか一方が停止しても、もう一方のみでサービスが継続可能です。2018年10月10日から無停止連続運用を継続中。

■ 令和3年度課題募集における提供資源情報
提供資源量 資源量：論理総容量45.0 PB (東西拠点間二重化)
期間：2021年4月〜2022年3月
課題申請上限 申請資源量：2.5 PB
利用形態 利用単位：TB
Gfarmで利用
ファイルスペースとして提供
東西拠点にファイル複製を1個ずつ配置する完全ミラー化として提供
各課題の初期値は、利用実績と希望資源量を元に原則、ファイルスペースで上限2.5 PB。
新規課題のファイルスペースの初期値は100 TBですが、申請により増量が可能です。

本サービスを利用するには

SACLAとHPCI共用ストレージの両方の課題に採択される必要があります。

Memo

SACLAの課題に採択済のユーザーで本サービスを利用したい方は、まずは随時募集のHPCI課題に申請することをお勧めします。

SACLA - HPCI共用ストレージ へのデータ転送

Info

理化学研究所放射光科学研究センター (RSC) と計算科学研究センター (R-CCS)は、2020年度にGfarm を活用た並列ファイルコピーコマンドの開発を行いました。これにより SACLA で取得した実験データを 最大8.6Gbps の速度でHPCI共用ストレージに送信することができるようになりました。

はじめに

HPCI共用ストレージに接続をおこなうためには、電子証明書の発行とクライアントマシンであるSACLA HPC の転送ノード(xfer1.hpc.spring8.or.jp)で代理証明書のダウンロードを行う必要があります。まだ設定を行っていない場合は下記マニュアルを参照し設定作業を行ってください。

並列ファイルコピーコマンド

SACLA の実験ユーザが簡単に転送サービスをご利用頂けるように、並列ファイルコピーコマンドを開発しました。このコマンドはSACLA HPC の転送ノード（xfer1.hpc.spring8.or.jp)で使えるように環境を整備していますので、転送ノードにログインしご利用ください。

hpci-copy [source-path] [destination-path]

  • source-path

    • コピー元をパス、またはURL形式で指定します。
    • ディレクトリを指定した場合は、その下にあるすべてのファイルとディレクトリをコピーします。

  • destination-path

    • コピー先をパス、またはURL形式で指定します。
    • destination-path が存在しない場合はディレクトリを作成し destination-path が存在する場合はそのディレクトリの下にsource-path と同名のディレクトリを作成します。

    Memo

    • 並列ファイルコピーコマンドはデフォルトでは4並列でファイルコピーを行いますが、-j オプションで並列数を変更することが可能です。
    • 最適な並列度は、ファイルサイズやファイル数、拠点スパコンのファイルシステム性能、ストレージサーバまでの距離、ストレージサーバまでのバンド幅によって変わります。
    • 並列ファイルコピーコマンドは内部で Gfarm の gfpcopy コマンドを活用しており、原則 gfpcopyコマンドと同様のオプションが指定できます。

コマンド利用例

  • SACLA HPC の /work/[username]/dir に保存したファイルを HPCI共用ストレージの指定先に並列（デフォルト並列数：4）でファイルコピーを行います。

    hpci-copy /work/[SACLA HPC username]/dir gfarm:///home/[HPCI課題ID]/[HPCIユーザ名]/dir

  • HPCI共用ストレージの指定先に保存したファイルを SACLA HPC の /work/[username]/dir に並列（デフォルト並列数：4）でファイルコピーを行います。

    hpci-copy gfarm:///home/[HPCI課題ID]/[HPCIユーザ名]/dir　/work/[SACLA HPC username]/