Globus (データ転送システム) > endpoint > 定義と作成方法 (Windows, OS X, Linux) | endpoint間のデータ転送 | 転送エラー対処 | 転送できないファイル

WRF(Weather Research and Forecasting Model)とその前処理であるWPS、およびWRFの後続処理のF***T関連。

WRF > NCAR's Research Data Archive Blog > システム障害などの経緯の紹介 | Outage | 経過 2018/03/19

処理に使うデータのサイトがシステム障害を起こし、データ取得できない。
Globusというサービスを使うように記載がある。

サイトのアカウントを使いGlobusにログインすると、データを転送するendpointという定義をする必要があることが分かった。

endpointの定義

endpointの定義は下記に見つけた。

https://docs.globus.org/faq/globus-connect-endpoints/#what_is_an_endpoint

endpointの作成方法

endpointをローカルPCに作る方法は下記に記載されている。Windows, OS X, Linuxで使えるようだ。

https://docs.globus.org/faq/globus-connect-endpoints/#how_can_i_create_an_endpoint

Linuxのsetupに関しては、Tcl/Tkを使う方法とコマンドラインで行う方法が記載されている。

コマンドラインでの方法を試そうとしたが、globusというコマンドが見つからずTcl/Tk版の方でセットアップした。

  1. GlobusのサイトでGenerate Setup Keyを実行
    • Dipslay Name: 適宜決めた。後で検索しやすい名前にしておく
  2. Linux上で./globusconnectを実行する
    • Globus Connect Personal画面が表示される
  3. Setup Keyを入力する
    • 下側の項目はデフォルト値を使用
    • > Globus Online: Connectedになる

endpoint間のデータ転送

データ提供元のendpointからセットアップしたendpointへデータを転送してみた。

1つのファイルの転送の場合、リトライ処理をしながら転送できる。
2つのファイルの転送でもリトライ処理をしながら転送できた。

転送ファイル数を3つ以上にした時に処理が失敗しやすいようだ。

転送エラーの対処

  • 複数のファイルを転送する1タスクでは失敗しやすい
  • 1つのファイルを転送するタスクを複数設定すると、リトライ処理をしながら転送をすることができる
    • 5ファイル転送する場合、5タスクに分けた方が成功しやすい

接続が時々切れるのはendpoint側の問題なのかGlobusの問題かこちらの環境によるのか不明。

転送できないファイル

リトライ処理をしても転送できないファイルがある。
18.44MBのファイルであるが、15MBの転送で止まってしまう。

転送元のシステム障害と関係しているのだろうか。

(追記 2018/03/22)
同じファイルはftp経由でも取得できるが、同じサイズで取得失敗する。
データ提供サイト自体のdisk failureによりファイルが破損していると思われる。
Globus経由での取得ではデータはそろわないだろう。

Sign up for free and join this conversation.
Sign Up
If you already have a Qiita account log in.