WRF(Weather Research and Forecasting Model)とその前処理であるWPS、およびWRFの後続処理のF***T関連。
WRF > NCAR's Research Data Archive Blog > システム障害などの経緯の紹介 | Outage | 経過 2018/03/19
処理に使うデータのサイトがシステム障害を起こし、データ取得できない。
Globusというサービスを使うように記載がある。
サイトのアカウントを使いGlobusにログインすると、データを転送するendpointという定義をする必要があることが分かった。
endpointの定義
endpointの定義は下記に見つけた。
endpointの作成方法
endpointをローカルPCに作る方法は下記に記載されている。Windows, OS X, Linuxで使えるようだ。
Linuxのsetupに関しては、Tcl/Tkを使う方法とコマンドラインで行う方法が記載されている。
コマンドラインでの方法を試そうとしたが、globusというコマンドが見つからずTcl/Tk版の方でセットアップした。
- GlobusのサイトでGenerate Setup Keyを実行
- Dipslay Name: 適宜決めた。後で検索しやすい名前にしておく
- Linux上で
./globusconnectを実行する- Globus Connect Personal画面が表示される
- Setup Keyを入力する
- 下側の項目はデフォルト値を使用
-
Globus Online: Connectedになる
endpoint間のデータ転送
データ提供元のendpointからセットアップしたendpointへデータを転送してみた。
1つのファイルの転送の場合、リトライ処理をしながら転送できる。
2つのファイルの転送でもリトライ処理をしながら転送できた。
転送ファイル数を3つ以上にした時に処理が失敗しやすいようだ。
転送エラーの対処
- 複数のファイルを転送する1タスクでは失敗しやすい
- 1つのファイルを転送するタスクを複数設定すると、リトライ処理をしながら転送をすることができる
- 5ファイル転送する場合、5タスクに分けた方が成功しやすい
接続が時々切れるのはendpoint側の問題なのかGlobusの問題かこちらの環境によるのか不明。
転送できないファイル
リトライ処理をしても転送できないファイルがある。
18.44MBのファイルであるが、15MBの転送で止まってしまう。
転送元のシステム障害と関係しているのだろうか。
(追記 2018/03/22)
同じファイルはftp経由でも取得できるが、同じサイズで取得失敗する。
データ提供サイト自体のdisk failureによりファイルが破損していると思われる。
Globus経由での取得ではデータはそろわないだろう。