Airbyteについて調べてみた

背景・目的

Modern Data Stackを簡単に整理してみた
の記事に書いた、ETLツールのうち、Airbyteというものを知りました。
簡単に特徴を整理したいと思います。

まとめ

下記の特徴があります。

特徴	内容
概要	2020年創業のテックカンパニー 企業名＝プロダクト名 40,000人以上のエンジニアが使用している
機能	・300以上のコネクタ ・構造化と非構造に対応 ・コネクタを数分で構築または編集 ・コード不要のコネクタ ビルダーを使用してカスタム コネクタの構築が可能 ・スキーマ変更の検出と伝搬ができる。
操作方法	・UI ・Terraform provider ・API
スケジューラー	・Scheduled sync ・Cron ・Manualy
Sync Modes	・Full Refresh Overwrite ・Incremental Append ・Full Refresh Append ・Incremental Append + Deduped

概要

Airbyteとは？

クラスメソッドさんのページから引用します。

Airbyteは2020年にサンフランシスコで創業されたテックカンパニーです。創業からわずか1年でシリーズAに到達し、$26Mの資金調達に成功しているスタートアップで、急激な成長速度で業界から注目を集めています。

• 2020年創業のテックカンパニー

Airbyteのページから引用します。

データの移動に必要な唯一の ELT ツール
40,000 人以上のエンジニアが、堅牢なデータ統合プラットフォームである Airbyte を使用して、コネクタの最も包括的なカタログからデータを複製しています。

• 40,000人以上のエンジニアが使用している

Leverage the largest catalog of connectors
Airbyte’s catalog of 300+ pre-built connectors is the largest in the ELT Tool industry and is doubling every year, thanks to our open-source ELT approach.
Our data integration platform supports both structured and unstructured data sources for both your data and AI use cases.

• 300以上のコネクタ
• 構造化と非構造に対応

Build or edit connectors in minutes
Build custom connectors in 10 min with our no-code connector builder, along with over 1,000+ engineers building connectors every month. Add them to Airbyte to enable your whole team to leverage them.
Edit any Airbyte connectors to fit your custom needs.

• コネクタを数分で構築または編集
• コード不要のコネクタ ビルダーを使用してカスタム コネクタを 10 分で構築できる。
• 毎月 1,000 人を超えるエンジニアがコネクタを構築している。それらをAirbyteに追加すると、チーム全体がそれらを活用できるようになる。
• カスタム ニーズに合わせて Airbyte コネクタを編集できる

Manage your ELT pipelines your way
下記がある。

• UI
• Terraform provider
• API

Configuring Connections

接続はソースを宛先にリンクし、データの同期方法を定義します。 接続を作成した後、構成設定またはストリーム設定を変更できます。

• Connectionsはソースを指定し、構成する。

Sync Schedules

For each connection, you can select between three options that allow a sync to run. The three options for Replication Frequency are:

接続ごとに、下記の3つのオプションから選択可能です。

• Scheduled (e.g. every 24 hours, every 2 hours)
• Cron scheduling
• Manual

Sync Limitations

• 接続ごとに一度に実行できる同期は 1 つだけ
• 前の同期が完了する前に同期が実行されるようにスケジュールされている場合、スケジュールされた同期は前の同期の完了後に開始される。
• Airbyte Cloud では、同期は最大 60 分ごとに実行可能。
• 1 時間に 1 回を超える頻度でレプリケーションが必要な場合は、営業担当者に問い合わせる。

Scheduled syncs

スケジュールされた接続が最初に作成されると、作成直後に同期が実行されます。 その後、最後の同期 (手動でトリガーされたかスケジュールによってトリガーされたかに関係なく) からの時間がスケジュール間隔を超えると、同期が実行されます。 例えば：

10 月 1 日午後 2 時、ユーザーは 24 時間ごとにデータを同期するための接続を設定します。
10 月 1 日、午後 2 時 01 分: 同期ジョブが実行されます
10 月 2 日、午後 2 時 1 分: 最後の同期から 24 時間が経過したため、同期がトリガーされます。
10 月 2 日午後 5 時: ユーザーが UI から手動で同期をトリガー
10 月 3 日、午後 2 時 1 分: 最後の同期が行われてから 24 時間以内であるため、同期は実行されません
10 月 3 日、午後 5 時 1 分: 最後の同期から 24 時間以上経過しているため、同期が実行されます。

• つまり、Scheduledで設定した場合、最後の実行時間が優先される。これにはマニュアル実行も含まれる。

Cron Scheduling

同期のスケジュールをより正確に設定したい場合は、CRON スケジュールを使用して、特定の日または月の時刻を設定することもできます。
Airbyte は Quartz の CRON スケジューラを使用しています。 必要な形式を理解するには、ドキュメントを読むことをお勧めします。 次の例も参照できます。

• 正確に設定する場合は、Cronを使用する。

Manual Syncs

接続が手動の頻度で複製されるように設定されている場合、同期は自動的に実行されません。
これは、UI を通じていつでも [今すぐ同期] ボタンをクリックすることによってトリガーできます。また、API を通じてトリガーすることもできます。

• マニュアル実行の場合は、当然だが手動で行われ、自動的に実行されない。
• UIの他、APIでも実行できる

Sync Modes

同期モードは、Airbyte がソースから読み取り、宛先に書き込む方法を制御します。Airbyte は、さまざまな使用例に対応するために、さまざまな同期モードを提供します。混乱を最小限に抑えるために、モードの動作はその名前に反映されています。Airbyte の同期モードを理解する最も簡単な方法は、モードの名前の付け方を理解することです。

名前の最初の部分は、ソース コネクタがソースからデータを読み取る方法を示します。
同期モード名の 2 番目の部分は、宛先コネクタがデータを書き込む方法を示します。これは、ソース コネクタがデータを生成した方法には影響されません。

• つまり、Sync Modeの挙動は下記の通り

  • 読み込み方法と書き込み方法

• 下記の4つがあるようです。

Sync Modes	特徴	読み込み	書き込み	備考
Full Refresh Overwrite	ストリーム全体を同期し、宛先のデータを上書きして置き換えます。	全てのデータを抽出	完全に置き換え	削除されたものも反映される。
Full Refresh Append	ストリーム全体を同期し、宛先にデータを追加します。	同上	新しいデータが追加される	・データの重複が発生する可能性あり ・削除されたデータは残り続ける。
Incremental Append	ストリームから新しいレコードを同期し、宛先にデータを追加します。	最後の同期以降に変更、追加されたデータのみがソースから抽出される	同上	削除されたデータは残り続ける。
Incremental Append + Deduped	ストリームから新しいレコードを同期し、宛先にデータを追加します。 また、ソースのストリームの状態をミラーリングする重複排除されたビューも提供します。	同上	新しいものが追加されるのは同じだが、重複を除いた状態で履歴データを持つ	同期の度に履歴が保持され、データの変更履歴が追跡される

削除時の挙動が気になったので、絵にしてみました。

Full Refresh Overwrite

• Source と Destが全く同じ状態になります。

Full Refresh Append

• Sourceのすべての状態を、Destに追加します。

Incremental Append

• 削除されたものは反映されない。

Incremental Append + Deduped

• 削除は、Incremental Appendと同じ。履歴が残るとのこと。

Schema Change Management

Airbyte がソース内のスキーマの変更をどのように処理するかを接続ごとに指定できます。このプロセスにより、正確かつ効率的なデータ同期が確保され、エラーが最小限に抑えられ、データ パイプラインの管理にかかる時間と労力が節約されます。
Airbyte は、同期の直前に、ソース スキーマの変更を最大 24 時間に 1 回チェックします。

• スキーマの変更を伝搬できる。

• 24Hに一度チェックする。

• Propagate all field and stream changes

  • ソースからのすべての新しいテーブルと列の変更は、宛先に自動的に伝播され、反映されます。これには、ストリームの変更 (追加または削除)、列の変更 (追加または削除)、およびデータ型の変更が含まれます。

• Propagate field changes only

  • 列の変更のみが反映されます

• Detect changes and manually approve

  • スキーマの変更は検出されますが、伝播されません。同期は、設定したスキーマを使用して引き続き実行されます。検出されたスキーマ変更を反映するには、変更を手動で承認する必要があります

• Detect changes and pause connection

  • スキーマの変更が検出されるとすぐに、接続は自動的に無効になります。

参考

今回、Airbyteを調べてみました。Ingestionに強みがあるように感じました。今後、機会があれば使ってみたいと思います。

考察