Help us understand the problem. What is going on with this article?

Tsunami UDPでさくらクラウドからAWSにmysqldumpファイル(gzip圧縮)を転送してみたけど、がっかり?失敗?した話(=>お粗末だった話)

More than 5 years have passed since last update.

背景

  • さくらクラウドのMySQLからdumpをとってAWS EC2においてRDSにリストアしたい
  • scpで安直に転送してみたら全然終わらねぇ
  • 高速ファイル転送…Tsunami UDPだよね!いっちょやってみっか!(悟空)

ざっくり手順

  • 転送元でmysqldump取得(本稿では割愛)
  • 転送元にTsunami UDP インストール
  • 転送先にTsunami UDP インストール
  • 転送元でtsunamid 起動
  • 転送先でtsunami起動→転送元に接続→getコマンド→転送完了→ウマー

URLとか

サーバスペック

転送元(さくらクラウド)

  • 3CPU / 8GB / 標準プランストレージ / 石狩第1

転送先(AWS)

  • m1.xlarge / xfs / Tokyo

手順

インストール前の準備

makeを入れておく。
すでに入っていたので実行していないコマンドですが参考まで。

インストール
yum -y install autoconf
yum -y install automake

転送元にインストール

ファイルを取得(最新版)

wget http://sourceforge.net/projects/tsunami-udp/files/latest/download

展開

展開
# tar xzvfp download

インストール

インストール
# cd download
# make
# make install

転送先にインストール

「転送元にインストール」を参照

転送元でtsunamid 起動

tsunamid
# cd [転送したいファイルがあるディレクトリ]
# ls
lost+found  mysql  nohup.out  work  db.sql.gz
# 
# tsunamid *

The specified 5 files will be listed on GET *:
   1)   lost+found            16384 bytes
   2)   mysql                 4096 bytes
   3)   nohup.out             0 bytes
   4)   work                  4096 bytes
   5)   db.sql.gz   22220727126 bytes

転送先でtsunami起動→転送元に接続→getコマンド→転送完了

tsunamid
# cd [ダウンロードしたいディレクトリ]
# tsunami
Tsunami Client for protocol rev 20061025
Revision: v1.1 devel cvsbuild 42
Compiled: Mar 12 2014 22:23:44
tsunami> connect [転送元(tsunamidが動いている)サーバ]
Connected.

tsunami> get db.sql.gz

こんな感じの標準出力

…%doneが戻るのはなんでだ?

標準出力tsunamid側
 erate     ipd  target   block   %done srvNr
  3903 12.00us    12us 16024697  73.85   2
  9749 12.01us    12us 16035006  73.89   2
 16106 12.06us    12us 16044233  73.94   2
 12926 12.09us    12us 16048455  73.96   2
  9374 12.10us    12us 16052957  73.98   2
  7220 12.00us    12us 16057724  74.00   2
  4729 12.00us    12us 16062829  74.02   2
  3313 12.00us    12us 16067917  74.05   2
  2309 12.00us    12us 16073049  74.07   2
  1623 12.00us    12us 16078131  74.09   2
 13881 12.03us    12us 16024860  73.85   2
  3769 12.00us    12us 16037333  73.91   2
 12734 12.03us    12us 16048518  73.96   2
 17149 12.08us    12us 16027676  73.86   2
  4449 12.00us    12us 16038895  73.91   2
  9563 12.01us    12us 16050443  73.97   2
 16357 12.06us    12us 16030427  73.87   2
  4792 12.00us    12us 16042364  73.93   2
  9199 12.01us    12us 16054121  73.98   2
 14339 12.05us    12us 16064911  74.03   2
 12648 12.07us    12us 16074575  74.08   2
  9997 12.09us    12us 16084279  74.12   2
  6548 12.00us    12us 16089374  74.14   2

標準出力tsunami側
             last_interval                   transfer_total                   buffers      transfer_remaining  OS UDP
time          blk    data       rate rexmit     blk    data       rate rexmit queue  ring     blk   rt_len      err 
00:56:30.119 3450   0.04M   76.6Mbps   6.6% 33159500   31.6G   76.4Mbps   0.0%   242     0 8168612      242    74013 R-
00:56:30.471 3450   1.80M   76.6Mbps  37.2% 33162950   31.6G   76.4Mbps   0.0%     0     0 8167543     2048    74013 R-
00:56:30.823 3450   0.00M   76.7Mbps   0.1% 33166400   31.6G   76.4Mbps   0.0%     4     0 8167345        4    74013 R-
00:56:31.175 3450   0.04M   76.7Mbps   3.4% 33169850   31.6G   76.4Mbps   0.0%   122     0 8167307      122    74013 R-
00:56:31.527 3450   0.78M   76.6Mbps  37.2% 33173300   31.6G   76.4Mbps   0.0%     0     0 8166512     2048    74013 R-
00:56:31.878 3450   0.00M   76.7Mbps   0.0% 33176750   31.6G   76.4Mbps   0.0%     1     0 8166352        1    74013 R-
00:56:32.230 3450   0.02M   76.7Mbps   2.1% 33180200   31.6G   76.4Mbps   0.0%    75     0 8166321       75    74013 R-
00:56:32.582 3450   0.49M   76.6Mbps  32.4% 33183650   31.6G   76.4Mbps   0.0%  1654     0 8165722     1654    74013 R-
00:56:32.934 3450  11.06M   76.6Mbps  37.2% 33187100   31.6G   76.4Mbps   0.0%     0     0 8162378     2048    74013 R-
00:56:33.286 3450   0.00M   76.6Mbps   1.4% 33190550   31.7G   76.4Mbps   0.0%    49     0 8162170       49    74013 R-
00:56:33.638 3450   0.33M   76.7Mbps  24.9% 33194000   31.7G   76.4Mbps   0.0%  1144     0 8161730     1144    74013 R-
00:56:33.990 3450   7.64M   76.6Mbps  37.2% 33197450   31.7G   76.4Mbps   0.0%     0     0 8159090     2048    74013 R-
00:56:34.342 3450   0.00M   76.6Mbps   0.5% 33200900   31.7G   76.4Mbps   0.0%    18     0 8158891       18    74013 R-
00:56:34.694 3450   0.13M   76.7Mbps  17.8% 33204350   31.7G   76.4Mbps   0.0%   745     0 8158620      745    74013 R-
00:56:35.046 3450   4.62M   76.6Mbps  37.2% 33207800   31.7G   76.4Mbps   0.0%     0  1927 8156453     2048    74013 R-
00:56:35.397 3450   0.00M   76.6Mbps   0.3% 33211250   31.7G   76.4Mbps   0.0%    12     0 8156254       12    74013 R-
00:56:35.749 3450   0.09M   76.7Mbps  15.0% 33214700   31.7G   76.4Mbps   0.0%   607     0 8156033      607    74013 R-
00:56:36.101 3450   3.80M   76.6Mbps  37.2% 33218150   31.7G   76.4Mbps   0.0%     0     0 8154325     2048    74013 R-
00:56:36.458 3450   0.00M   75.6Mbps   0.1% 33221600   31.7G   76.4Mbps   0.0%     4     0 8154131        4    74013 R-
00:56:36.810 3500   0.04M   77.7Mbps   8.5% 33225100   31.7G   76.4Mbps   0.0%   324     0 8154013      324    74013 R-
00:56:37.162 3450   2.04M   76.6Mbps  37.2% 33228550   31.7G   76.4Mbps   0.0%     0     0 8152677     2048    74013 R-
00:56:37.514 3450   0.00M   76.7Mbps   1.5% 33232000   31.7G   76.4Mbps   0.0%    54     0 8152488       54    74013 R-
00:56:37.866 3450   0.36M   76.6Mbps  36.3% 33235450   31.7G   76.4Mbps   0.0%  1964     0 8151739     1964    74013 R-

転送元のtsunamid 停止

ctrl + c

実行結果

実ファイルのサイズよりだいぶ転送しているみたいで
(errのカウントが多いからか)
File data : 169530.69 Mbit

に対して

Total packet data : 416341.82 Mbit

倍以上のサイズ送っている感じ。

Throughput : 76.47 Mbps
出ているけど、対ファイルで見ると
Final file rate : 31.14 Mbps
このくらいの速度。

# 31.14 Mbps = 3.8925 MBps
# Mb(メガビット)、MB(メガバイト)

01:30:44.098 3450   5.88M   76.3Mbps   0.0% 53289300   50.8G   76.5Mbps   0.0%     0     0       0        0    78700 R-
Transfer complete. Flushing to disk and signaling server to stop...
!!!!
PC performance figure : 78700 packets dropped (if high this indicates receiving PC overload)
Transfer duration     : 5444.36 seconds
Total packet data     : 416341.82 Mbit
Goodput data          : 395944.62 Mbit
File data             : 169530.69 Mbit
Throughput            : 76.47 Mbps
Goodput w/ restarts   : 72.73 Mbps
Final file rate       : 31.14 Mbps
Transfer mode         : lossless

tsunami> 

scpのほうが早い…

scpで送ったら40分くらいで転送できちゃった。
詳細は別途調べる。

100Mbps共用じゃ、びっくりする結果は出ない

http://cloud.sakura.ad.jp/specification.php

ネットワーク
インターネット接続回線
各サーバにはインターネット接続回線(共有セグメント100Mbps)

お粗末でした。

Why not register and get more from Qiita?
  1. We will deliver articles that match you
    By following users and tags, you can catch up information on technical fields that you are interested in as a whole
  2. you can read useful information later efficiently
    By "stocking" the articles you like, you can search right away
Comments
No comments
Sign up for free and join this conversation.
If you already have a Qiita account
Why do not you register as a user and use Qiita more conveniently?
You need to log in to use this function. Qiita can be used more conveniently after logging in.
You seem to be reading articles frequently this month. Qiita can be used more conveniently after logging in.
  1. We will deliver articles that match you
    By following users and tags, you can catch up information on technical fields that you are interested in as a whole
  2. you can read useful information later efficiently
    By "stocking" the articles you like, you can search right away
ユーザーは見つかりませんでした