はじめに
今回は、GoogleCloud ComputeEngineのVMインスタンスにAirbyteオープンソースをデプロイするための詳細な手順を紹介します。Airbyteはデータの統合とパイプラインの設定を容易にする強力なツールです。このガイドでは、公式の手順に従い、リモート環境でのセットアップからデプロイまでを説明します。
前提条件
- Google Cloud Platformアカウント
- Google Cloud SDKがインストールされているローカルマシン➡️Google Cloud SDKのインストール
- GCPプロジェクトが作成されている
- VMインスタンスにリモートssh接続されていること➡️TerrafromでVMインスタンスを作成起動する方法 / VMインスタンスへの接続方法
ステップ 1: DockerとDocker Composeのインストール
SSH接続しているVMターミナルで以下のコマンドを実行します。
1.1 Dockerのインストール
sudo apt-get update
sudo apt-get install -y apt-transport-https ca-certificates curl gnupg2 software-properties-common
curl -fsSL https://download.docker.com/linux/debian/gpg | sudo apt-key add --
sudo add-apt-repository "deb [arch=amd64] https://download.docker.com/linux/debian buster stable"
sudo apt-get update
sudo apt-get install -y docker-ce docker-ce-cli containerd.io
sudo usermod -a -G docker $USE
1.2 Docker Composeのインストール
sudo apt-get -y install docker-compose-plugin
docker compose version
1.3 SSH接続の再起動
Dockerグループの変更を反映させるため、現在のSSHセッションを閉じて再接続します。
exit
再度SSH接続を行います。
ステップ 2: Airbyteのインストールと起動
Airbyteディレクトリの作成と起動
SSH接続しているVMターミナルで以下のコマンドを実行します。
mkdir airbyte && cd airbyte
wget https://raw.githubusercontent.com/airbytehq/airbyte/master/run-ab-platform.sh
chmod +x [run-ab-platform.sh](http://run-ab-platform.sh/)
./run-ab-platform.sh -bmkdir airbyte && cd airbyte
wget https://raw.githubusercontent.com/airbytehq/airbyte/master/run-ab-platform.sh
chmod +x run-ab-platform.sh
ステップ 3: Airbyteに接続するためのSSHトンネルの作成
ローカルターミナルで以下のコマンドを実行してSSHトンネルを作成し、ローカルマシンからAirbyteに接続します。
gcloud --project=$PROJECT_ID beta compute ssh $INSTANCE_NAME -- -L 8000:localhost:8000 -N -f
これで、ローカルのブラウザで http://localhost:8000 にアクセスして、Airbyteのウェブインターフェースに接続できるようになります。
初期登録後、接続画面に入ることができます。
終わりに
以上で、Google Cloud VMインスタンス上でAirbyteをデプロイし、起動する手順が完了です。Airbyteは強力なデータ統合ツールであり、これを活用することで効率的にデータパイプラインを構築できます。必要に応じて、Airbyteの設定を行い、データの統合を進めてください。