LoginSignup
1
0

Delete article

Deleted articles cannot be recovered.

Draft of this article would be also deleted.

Are you sure you want to delete this article?

@zumax

AWS Data Transfer Terminalについて整理してみた

Posted at

背景・目的

2024年12月に発表されたAWS Transfer Terminalが発表されました。こちらについて実際に試すことはできませんが、特徴を整理しました。

まとめ

下記に特徴をまとめます。

特徴 説明
概要 ネットワーク対応の物理的な場所

データストレージデバイスを持ち込んで AWS クラウドサービスとの間で高速なデータ転送を行うことができる

リモートでキャプチャしたデータをアップロードすることで、リモートでキャプチャしたデータへのアクセスが容易になる
注意点 2025/6/29時点では、Data Transfer Terminalは、 AWS エンタープライズのみが利用できる
特徴 下記の特徴がある
・Secure, private, and exclusive
・専用の予約コンソール
・光ファイバーネットワーク接続
・データストレージデバイスの制御
Key Concept 下記がある
・Transfer team
・Personnel
・Facilities
Transfer team 転送チームとは、AWS アカウントオーナーが組織に代わってデータ転送を実施するために選出する人員のグループ
Personnel Process ownerとData transfer specialistがある。

・Process owner
プロセス所有者は、AWS データ転送ターミナルアカウントに人員を追加、編集、削除できる AWS アカウント所有者

・Data transfer specialist
データ転送スペシャリストとは、データ転送ターミナル施設に出向き、データのアップロードトランザクションを実行できる個人

これらの担当者は、プロセスオーナーの承認を受け、AWSデータ転送ターミナルアカウントに追加される必要がある

データ転送ターミナル施設にアクセスする際には、政府発行のIDが必要となる
Facilities データ転送ターミナル施設は、1 つ以上のサービス プロバイダーによって共同所有および管理されるデータハブ

各施設では、データ転送ターミナルのデータ転送スペシャリストがデータ転送ターミナル スイートにアクセスするために、予約記録と一致する政府発行の身分証明書を提示する必要がある
Equipment アップロードの速度に影響を与える要因には、下記のようなものがある。
・Equipment
・Network conditions
・Data transfer size
Use cases 下記のユースケースがあります。

・自動運転と先進運転支援システム（AD/ADAS）
・メディアとエンターテイメント
・地図、写真測量、3D画像
Technical requirements for using Data Transfer Terminal Equipment
Network requirements
Performance optimization

概要

What is Data Transfer Terminal?

下記に特徴をまとめます。

AWS Data Transfer Terminal is a network-ready, physical location you can bring your data storage devices for fast data transfer to and from your AWS Cloud service. Upload data captured remotely to making it easier to access data captured remotely.

  • ネットワーク対応の物理的な場所
  • データストレージデバイスを持ち込んで AWS クラウドサービスとの間で高速なデータ転送を行うことができる
  • リモートでキャプチャしたデータをアップロードすることで、リモートでキャプチャしたデータへのアクセスが容易になる

Schedule a reservation at one of our physical Data Transfer Terminal facilities from the AWS Management Console, arrive at your scheduled time, and upload your data to your AWS Cloud services with your own devices. After your scheduled reservation is complete and you leave, the facility is re-secured and made ready for the next scheduled reservation.

  • マネコンから物理データ転送ターミナル施設の予約を行う
  • 予約時間に到着したら、自身のデバイスを使って AWS クラウドサービスにデータをアップロードする
  • 予約完了後、施設は再びセキュリティが確保され、次回の予約受付に備える

Note
AWS Data Transfer Terminal is only available to AWS Enterprise customers at this time.

  • 2025/6/29時点では、Data Transfer Terminalは、 AWS エンタープライズのみが利用できる

To access Data Transfer Terminal:

  • AWS Data Transfer Terminal console: https://console.aws.amazon.com/datatransferterminal
  • Data Transfer Terminal facilities: The location of Data Transfer Terminal facilities are provided once a reservation is made in the console. For more information, see Make a data transfer.
  • データ転送端末設備：コンソールで予約が完了すると、データ転送端末設備の場所が表示される

Features

Using AWS Data Transfer Terminal makes getting your data into your AWS Cloud service easier from remote locations. The following are some of the advantages of Data Transfer Terminal for your remote data upload needs:

  • 遠隔地からAWSクラウドサービスへのデータ転送が簡単になる
  • リモートデータアップロードのニーズにおけるデータ転送ターミナルの利点は以下のとおり

Secure, private, and exclusive
Each Data Transfer Terminal facility is a secure, private location for you to make large data transfers between your data storage device and your AWS services over a fast network connection.

  • Secure, private, and exclusive
  • 各データ転送ターミナル施設は、高速ネットワーク接続を介してデータストレージデバイスと AWS サービス間で大量のデータ転送を行うことができる安全でプライベートな場所

A dedicated reservation console
Add approved personnel to your Transfer team and schedule a Data Transfer Terminal reservation using the AWS Data Transfer Terminal console.

  • 専用の予約コンソール
  • 承認された担当者を転送チームに追加し、AWS データ転送ターミナルコンソールを使用してデータ転送ターミナルの予約をスケジュールする

Fiber optic network connections
Each Data Transfer Terminal facility includes two 100 Gigabit (Gbps) fiber optic (LR4) connections for fast data uploads and redundancy.

  • 光ファイバーネットワーク接続
  • 各データ転送ターミナル施設には、高速データアップロードと冗長性を実現する 100 ギガビット (Gbps) 光ファイバー (LR4) 接続が 2 つ含まれている

Control of your data storage devices
No need to ship your Snowball device and wait for your data to be uploaded to your AWS Cloud services. You control your physical data storage devices throughout the entire data transfer process, getting your data where it needs to go faster.

  • データストレージデバイスの制御
  • Snowballデバイスを発送して、データがAWSクラウドサービスにアップロードされるのを待つ必要はない
  • データ転送プロセス全体を通して物理データストレージデバイスを制御できるため、必要な場所にデータをより速く転送できる

Key concepts

Using AWS Data Transfer Terminal requires a Process owner to schedule a reservation for a Data transfer specialist to access a Data Transfer Terminal facility. Refer to the following sections to learn more about Data Transfer Terminal terminology.

  • AWS データ転送ターミナルを使用するには、プロセスオーナーがデータ転送スペシャリストにデータ転送ターミナル施設へのアクセスを予約する必要がある

Transfer team

A Transfer team is a grouping of personnel determined by an AWS account owner that may be selected for conducting data transfers on behalf of your organization. Setting up a Transfer team includes giving the Transfer team a name and specifying personnel for the team. We recommend groups of four or fewer Data transfer specialists for a single reservation.

For more information, see Schedule a Data Transfer Terminal reservation.

  • 転送チームとは、AWS アカウントオーナーが組織に代わってデータ転送を実施するために選出する人員のグループ
  • 転送チームの設定には、転送チームの名前の指定とチームメンバーの指定が含まれる
  • 1 回の予約につき、データ転送スペシャリストのグループは 4 名以下にすることを推奨

Personnel

Personnel refers to the individuals who can either make and manage reservations or can go to and use Data Transfer Terminal facilities. Personnel may be either an Process owner or Data transfer specialist or both.

  • 担当者とは、予約の作成および管理、またはデータ転送端末施設に出向いて利用することができる個人を指す
  • 担当者は、プロセスオーナー、データ転送スペシャリスト、またはその両方である場合がある
Process owner

A Process owner is an AWS account owner who can add, edit, and remove personnel from their AWS Data Transfer Terminal account.

  • プロセス所有者は、AWS データ転送ターミナルアカウントに人員を追加、編集、削除できる AWS アカウント所有者
Data transfer specialist

A Data transfer specialist is an individual who can go to Data Transfer Terminal facilities for data upload transactions. These personnel must be authorized by the Process owner and added to your AWS Data Transfer Terminal account. When accessing a Data Transfer Terminal facility, a government-issued ID will be required.

  • データ転送スペシャリストとは、データ転送ターミナル施設に出向き、データのアップロードトランザクションを実行できる個人
  • これらの担当者は、プロセスオーナーの承認を受け、AWSデータ転送ターミナルアカウントに追加される必要がある
  • データ転送ターミナル施設にアクセスする際には、政府発行のIDが必要となる

Facilities

Data Transfer Terminal facilities are data hubs, co-owned and managed by one or more service providers. Each facility requires Data Transfer Terminal Data transfer specialists to provide a government issued, proof of identity that must match their reservation records to access the Data Transfer Terminal suite.

  • データ転送ターミナル施設は、1 つ以上のサービス プロバイダーによって共同所有および管理されるデータハブ
  • 各施設では、データ転送ターミナルのデータ転送スペシャリストがデータ転送ターミナル スイートにアクセスするために、予約記録と一致する政府発行の身分証明書を提示する必要がある

Scheduling considerations

Reservations can be made in Data Transfer Terminal console for one to six hours in length, for any day of the week, throughout the year. Individual reservations can be scheduled consecutively, with a minimum of one hour separation between reservations. All reservations must be made at least 24 hours in advance.

  • データ転送ターミナルのコンソールで、年間を通じて曜日を問わず 1 ～ 6 時間の範囲で予約できる
  • 個々の予約は、予約間に最低 1 時間の間隔をあけて連続してスケジュールできる
  • 予約は少なくとも24時間前まで行う

The amount of time required to make a data transfer varies depending upon upload performance speeds. Consider the following factors that impact upload performance as you plan for and schedule your Data Transfer Terminal reservation.

  • データ転送にかかる時間は、アップロード速度によって異なる
  • データ転送端末の予約を計画し、スケジュールを立てる際には、アップロード速度に影響を与える以下の要因を考慮する

Equipment
Some equipment may include settings that may impact upload performance. Refer to your equipment specifications for suggested upload performance speeds.

  • 一部の機器では、アップロード速度に影響を与える設定が含まれている場合がある
  • 推奨されるアップロード速度については、機器の仕様を確認すること

Network conditions
Times of heavy network traffic will impact data upload speeds and should be taken into consideration when selecting a time for your data transfer session. Planning your data transfer session for off-peak hours or during times of less network activity may improve your upload speed.

  • ネットワーク トラフィックが集中する時間帯はデータのアップロード速度に影響するため、データ転送セッションの時間を選択する際にはこれを考慮する必要がある
  • データ転送セッションをオフピーク時間またはネットワークアクティビティが少ない時間帯に計画すると、アップロード速度が向上する可能性がある

Data transfer size
The Data Transfer Terminal network connectivity is designed for large data transfers. However, the size of the data being transfered will impact how long the session takes.

  • データ転送ターミナルのネットワーク接続は、大容量データ転送向けに設計されてる
  • ただし、転送されるデータのサイズによってセッションの所要時間に影響が出る

Use cases

While any AWS Enterprise customer can access the Data Transfer Terminal system, certain use case scenarios may find greater benefit from it.

  • AWS エンタープライズのすべてのお客様はデータ転送ターミナル システムにアクセスできる
  • 特定のユースケース シナリオでは、このシステムからより大きなメリットを得られる場合がある

Autonomous Driving and Advanced Driver Assistance Systems (AD/ADAS): Automotive Original Equipment Manufacturers (OEM) and suppliers generate large data sets from their fleets of autonomous vehicles operating and collecting data in numerous metros within North America, Europe, and ASEAN. With Data Transfer Terminal, the data collected by these fleet vehicles can be uploaded to the AWS Cloud service and used to train AD/ADAS models.

  • 自動運転と先進運転支援システム（AD/ADAS）
    • 自動車の OEM (オリジナル機器製造会社) とサプライヤーは、北米、ヨーロッパ、ASEAN 内の多数の都市で稼働し、データを収集する自律走行車の車両群から大量のデータセットを生成する
    • データ転送ターミナルを使用すると、これらの車両によって収集されたデータを AWS クラウドサービスにアップロードし、AD/ADAS モデルのトレーニングに使用できる

Media and Entertainment: Studios and other content creators often generate digital video and audio (AV) files in remote locations. It is important these AV files are uploaded to the cloud in a timely manner so that geographically dispersed production and editing teams can begin workflows in parallel and in real-time. By using Data Transfer Terminal to remotely upload data, production timelines can be shortened, translating into reduced production costs.

  • メディアとエンターテイメント
    • スタジオやその他のコンテンツ作成者は、多くの場合、遠隔地でデジタル ビデオおよびオーディオ (AV) ファイルを生成する
    • 地理的に分散した制作チームと編集チームが並行してリアルタイムでワークフローを開始できるように、これらの AV ファイルをタイムリーにクラウドにアップロードすることが重要
    • データ転送ターミナルを使用してリモートでデータをアップロードすることで、生産スケジュールを短縮し、生産コストを削減できる

Maps, Photogrammetry, and 3D imagery: Organizations that work with mapping or imagery applications collect data in remote locations and need to upload these visual files to the AWS Cloud for analysis or training. Data Transfer Terminal minimizes the time between collecting and analyzing these large data sets, which helps keep geospacial data up-to-date for drivers, farmers, and other users of that information.

  • 地図、写真測量、3D画像
    • マッピングや画像アプリケーションを扱う組織は、遠隔地でデータを収集し、分析やトレーニングのためにこれらのビジュアルファイルを AWS クラウドにアップロードする必要がある
    • データ転送ターミナルは、これらの大規模なデータセットの収集と分析の間の時間を最小限に抑え、ドライバー、農家、およびその他の情報ユーザーのために地理空間データを最新の状態に保つのに役立つ

Technical requirements for using Data Transfer Terminal

Before scheduling a reservation at a Data Transfer Terminal, you'll need to ensure you have the equipment and configurations necessary to connect to the network. Refer to the following guidelines for optimal network connectivity and experience.

  • データ転送端末の予約をする前に、ネットワーク接続に必要な機器と設定が揃っていることを確認すること
  • 最適なネットワーク接続とエクスペリエンスを実現するために、以下のガイドライン参照

Equipment

You must bring portable devices for connectivity including monitors, a keyboard, a mouse, and computer or laptop to the Data Transfer Terminal facility for your scheduled reservation.
Your hardware must be able to work with fiber optic (L4) connections

  • 予約した時間には下記をデータ転送ターミナル施設まで持参する必要がある
    • モニター
    • キーボード
    • マウス
    • コンピューターまたはラップトップなどの接続用のポータブル デバイス

Note
As a data security best practice, ensure that your data is encrypted and secured on the storage devices you bring to the Data Transfer Terminal, and that you apply data encryption policies while using the Data Transfer Terminal facility. For more information, see Security of AWS Data Transfer Terminal

  • データセキュリティのベストプラクティスとして、データ転送ターミナルに持ち込むストレージデバイス上のデータが暗号化され、保護されていることを確認し、データ転送ターミナル施設の使用中はデータ暗号化ポリシーを適用する

Network requirements

Ensure your uploading device, server, or appliance (laptop) is prepared to connect to the network and that it supports DHCP. You should have the following for an optimal data upload experience:

  • アップロード先のデバイス、サーバー、またはアプライアンス（ノートパソコンなど）がネットワークに接続できる状態であること、またDHCPをサポートしていることを確認
  • 最適なデータアップロードを実現するには、以下の条件を満たす必要がある
  • A 100G QSFP28 LR4 (100GBASE-LR4) optical QSFP transceiver, compatible with the NIC and LC connectors for the fiber cable connections provided in the Data Transfer Terminal facility.
  • IP address auto-configuration DHCP enabled. DNS servers are automatically assigned by DHCP.
  • Up-to-date software and NIC drivers.

  • データ転送端末施設で提供されるファイバー ケーブル接続用の NIC および LC コネクタと互換性のある 100G QSFP28 LR4 (100GBASE-LR4) 光 QSFP トランシーバー

  • IP アドレス自動構成 DHCP が有効

  • DNS サーバーは DHCP によって自動的に割り当てられる

  • 最新のソフトウェアとNICドライバー

Performance optimization

To maximize the throughput while using the AWS Data Transfer Terminal consider the following recommendations.

  • AWS データ転送ターミナルの使用中にスループットを最大化するには、次の推奨事項を考慮する
  • Recommended hardware:
    • 100 Gbps network interface card
    • 16-core CPU
    • 128 GB RAM
    • multiple NVME SSD drives in a RAID array
  • 100 Gbps NIC
  • 16-core CPU
  • 128 GB RAM
  • multiple NVME SSD drives in a RAID array

Use the AWS Common Runtime (AWS CRT) library for uploads using the AWS Command Line Interface or AWS SDK.
Optimize Amazon S3 transfer settings by configuring the parameters below. Set these values under the top level s3 key in the AWS config file, default location ~/.aws/config.

  • AWS コマンドラインインターフェイスまたは AWS SDK を使用してアップロードする場合は、AWS Common Runtime (AWS CRT) ライブラリ
  • 以下のパラメータを設定することで、Amazon S3 転送設定を最適化できる。これらの値は、AWS 設定ファイルの最上位の s3 キー（デフォルトの場所は ~/.aws/config）の下に設定する
[default]
s3 =
    preferred_transfer_client = crt
    target_bandwidth = 100Gb/s
    max_concurrent_requests = 20
    multipart_chunksize = 16MB

Note that all Amazon S3 configuration values are indented and nested under the top level s3 key.

Optional: You can set the above values programmatically using the aws configure set command. For example, to set the above values for the default profile, you can run the following commands instead:

  • 上記の値は、aws configure set コマンドを使用してプログラムで設定できる。例えば、上記の値をデフォルトプロファイルに設定するには、代わりに以下のコマンドを実行する
aws configure set default.s3.preferred_transfer_client crt
aws configure set default.s3.target_bandwidth 100Gb/s
aws configure set default.s3.max_concurrent_requests 20
aws configure set default.s3.multipart_chunksize 16MB

To programmatically set these values for a profile other than default, provide the --profile flag. For example, to set configuration for a profile named test-profile, runa command like the example below.

  • デフォルト以外のプロファイルに対してこれらの値をプログラムで設定するには、--profile フラグを指定する。例えば、test-profile というプロファイルの設定を行うには、以下の例のようなコマンドを実行する
aws configure set s3.max_concurrent_requests 20 --profile test-profile

Enable BBR (Linux) on the device for better throughput.

  • スループットを向上させるには、デバイスで BBR (Linux) を有効にする
sysctl -w net.core.default_qdisc=fq
sysctl -w net.ipv4.tcp_congestion_control=bbr

pricing

ポート時間は、AWS Data Transfer Terminal 内でポートをプロビジョニングしてお客様が使用できるようにするための時間を測定します。ポートをデータが通過していなくても、プロビジョニングされたポート時間の料金は発生します。最低でも、ポート時間ごとに予約した時間数分の料金が請求されます。予約の一環として使用またはリクエストした各ポートのポート時間分が請求されます。データ転送には GB 単位の料金はかかりません。

  • ポート時間単位に課金
  • 予約時間単位
  • データ量に対してはかからない

データ転送のポートあたりの料金

  • 米国から米国へ @ 300 USD
  • 米国から欧州へ @ 500 USD
  • 米国からその他へ @ お問い合わせ

考察

今回、AWS Data Transfer Terminalについて特徴を整理しました。あえてデータセンターやDirect Connectを用意しなくても高速通信が利用できるのはありがたいです。

参考

1
0
0

Register as a new user and use Qiita more conveniently

  1. You get articles that match your needs
  2. You can efficiently read back useful information
  3. You can use dark theme
What you can do with signing up
Sign upLogin
1
0

Delete article

Deleted articles cannot be recovered.

Draft of this article would be also deleted.

Are you sure you want to delete this article?