WRF(Weather Research and Forecasting Model)とその前処理であるWPS、およびWRFの後続処理のF***T関連。

処理に使うデータのサイトがシステム障害を起こし、データ取得できない。
Globusというサービスを使うように記載がある。

サイトのアカウントを使いGlobusにログインすると、データを転送するendpointという定義をする必要があることが分かった。

endpointの定義は下記に見つけた。

endpointをローカルPCに作る方法は下記に記載されている。Windows, OS X, Linuxで使えるようだ。

Linuxのsetupに関しては、Tcl/Tkを使う方法とコマンドラインで行う方法が記載されている。

コマンドラインでの方法を試そうとしたが、globusというコマンドが見つからずTcl/Tk版の方でセットアップした。

データ提供元のendpointからセットアップしたendpointへデータを転送してみた。

1つのファイルの転送の場合、リトライ処理をしながら転送できる。
2つのファイルの転送でもリトライ処理をしながら転送できた。

転送ファイル数を3つ以上にした時に処理が失敗しやすいようだ。

接続が時々切れるのはendpoint側の問題なのかGlobusの問題かこちらの環境によるのか不明。

リトライ処理をしても転送できないファイルがある。
18.44MBのファイルであるが、15MBの転送で止まってしまう。

転送元のシステム障害と関係しているのだろうか。

(追記 2018/03/22)
同じファイルはftp経由でも取得できるが、同じサイズで取得失敗する。
データ提供サイト自体のdisk failureによりファイルが破損していると思われる。
Globus経由での取得ではデータはそろわないだろう。