Help us understand the problem. What is going on with this article?

GalaxyにFTPでファイルを登録する

More than 1 year has passed since last update.

Galaxy ServerにFTP(sftp)を利用してファイルを登録する

webブラウザのインターフェイスを利用して巨大なファイルを登録する事はあんまりおすすめできない事とされている
これにはブラウザ側の制限(設定の変更が必要)とサーバー側の負荷の問題等が有り、巨大ファイルの転送には他のプロトコルの利用が推奨されている

NGSのデータ等はファイルサイズがどうしても数GBというサイズになりがちなので、Galaxyでも大きなファイルを転送する際にはFTPやSFTP(Secure File Transfer Protocol)の利用が推奨されている

ここでは、SFTPを利用してGalaxyにファイルを登録してみよう

Galaxy Serverの起動

ここでは下記の設定で起動したDocker版のGalaxyを利用する

$ docker run -d --rm \
    -p 8080:80 -p 8021:21 -p 8022:22 -p 8800:8800 \
    --volumes-from galaxy-store \
    --privileged=true  \
    -e GALAXY_CONFIG_ENABLE_BETA_MULLED_CONTAINERS=True \
    -e GALAXY_CONFIG_REQUIRE_LOGIN=True \
    -e GALAXY_CONFIG_ALLOW_USER_CREATION=False \
    -e ENABLE_TTS_INSTALL=True \
    bgruening/galaxy-stable

ファイルの転送

ここでは、OS X上でsftpコマンドを利用してファイルの転送を行う
(GUIで行いたい場合には、ユーザーフレンドリーなGUIを備えたFTP/SFTPクライアントは色々有るので、好みのものを利用して貰えれば良いと思う)
OS Xのバージョンは下記の通り

$ SW_VERS
ProductName:    Mac OS X
ProductVersion: 10.14.2
BuildVersion:   18C54

カレントディレクトリに在る2.shuffled.bamという巨大(と想定した)bamファイルを転送してみよう

sftp -P 8022 -o User=admin@galaxy.org localhostを実行するとadmin@galaxy.orgのパスワードの入力が促される
適切なパスワードを入力した後でput 転送するファイル名 でファイルを転送する

$ sftp -P 8022 -o User=admin@galaxy.org localhost 
admin@galaxy.org@localhost's password: 
Connected to localhost.
sftp> put 2.shuffled.bam
Uploading 2.shuffled.bam to /export/ftp/admin@galaxy.org/2.shuffled.bam
2.shuffled.bam                                                                                                         100%   58KB  10.9MB/s   00:00    
sftp> ls
2.shuffled.bam 
sftp> quit

sftpのオプションについて

オプション 機能 この環境での値 概要
-P 接続先ポート 8022 Dockerの指定でポート8022をGalaxy Serverの22版にしている
-o 認証に関わる設定 User=admin@galaxy.org galaxyに登録しているユーザーのID

転送したファイルの確認

無事転送できたので、ブラウザーでGalaxyに接続してみるが
Screen Shot 2018-12-26 at 11.07.30.png
Historyには何も反映されていない
ちょっと戸惑ってしまうかもしれないが、FTPされたファイルをHistory上で利用できるようにするためには、Get Dataでファイルを取得するという手順が必要になる

ftpしたファイルの取得

それではftpしたファイルを利用できるようにしてみよう
まずは”Tools”のメニュー部分右のアイコンをクリック
Screen Shot 2018-12-26 at 11.07.30.png
表示されたパネルの"Choose ftp File"ボタンをクリック
Screen Shot 2018-12-26 at 11.10.51.png
"FTP files"というパネルが表示され、ファイルがリスト形式で一覧表示されるので、その中から利用するファイル(ここでは2.shuffled.bam)の左端に表示されているチェックボックスをクリックして✔を入力する
Screen Shot 2018-12-26 at 11.11.04.png
どれか一つでもチェックボックスに✔が入ると"Start"ボタンが利用できるようになるので、"Start"をクリック
Screen Shot 2018-12-26 at 11.11.16.png
"Status"表示が100%になったら、"Close"ボタンをクリックしよう
Screen Shot 2018-12-26 at 11.11.23.png
Historyペインにアップロードしたファイルが表示されて利用できるようになる
Screen Shot 2018-12-26 at 11.11.31.png

今回はココまで:smile:

Why not register and get more from Qiita?
  1. We will deliver articles that match you
    By following users and tags, you can catch up information on technical fields that you are interested in as a whole
  2. you can read useful information later efficiently
    By "stocking" the articles you like, you can search right away