Aiven is connecting streaming data with the Google BigQuery ecosystemの翻訳です。
2023年8月30日
ストリーミングデータとGoogle BigQueryエコシステムをつなぐAiven
AivenはGoogle Cloud Ready - BigQueryの指定を受け、ストリーミングデータとBigQueryのエコシステムを緊密に接続する新しいApache Flink® to BigQueryシンクコネクタを発表しました。
今日の組織は、即時のフィードバックを収集し、製品やサービスを改善するために、リアルタイムの分析を必要としています。調査によると、Webサイトで顧客を維持するのに必要な時間はわずか3秒です。この短いスパンの中で、顧客のインサイトを把握し、カスタマイズされたオファーを数秒で提供するためには、リアルタイムでデータに対応することが不可欠になります。顧客のニーズをよりよく理解するために、データウェアハウステクノロジーは現在、開発チームがリアルタイムデータのパワーを活用し、低遅延の分析を提供できるようにするものという、まったく異なる用途で活用されています。
Apache Flink®のようなストリーム処理テクノロジーは、リアルタイムデータ計算のための重要なイネーブラーとして登場し、組織がデータをよりよく理解し、ミリ秒単位のレイテンシーでユーザーにレスポンスを提供することを可能にしている。例えば、Pinterestは、Apache Kafka®やApache Flinkのようなストリーミングテクノロジーのパワーを使って、リアルタイムで実験分析を実行しています。堅牢なストリーミング・インフラストラクチャとスケーラブルなデータウェアハウスの組み合わせを活用することは、顧客対応を数時間、あるいは数日から数秒に短縮するための事実上の組み合わせとなります。
本日は、AivenのストリーミングテクノロジーとGoogleのデータウェアハウス向けBigQueryエコシステムを緊密に連携させる2つのエキサイティングな発表をご紹介します。
まず1つ目は、AivenがGoogle Cloud Ready - BigQueryを取得したことです。この指定により、お客様は現在使用している製品がBigQueryと最適に統合されていることをより確信できるようになります。
さらに、BigQueryへのApache Flink®のオープンソースコネクタの早期提供を開始することで、Google Cloud上で直接ストリーミングデータを利用した、より低レイテンシーの分析ワークロードが可能になります！
Google Cloud Ready - BigQuery イニシアチブへの参加
この度、Google Cloud Ready - BigQueryに認定されました。この指定により、お客様はBigQueryパートナーセンターで直接Aivenのテクノロジーを簡単に見つけることができます。
この指定を取得することで、Aivenの製品がBigQueryと統合する際の中核的な機能性と相互運用性の要件を満たしていることが証明されました。また、このプログラムに参加することで、AivenとGoogle CloudのパートナーエンジニアリングチームおよびBigQueryチームが緊密に連携する機会がより多く確保されます。
「Aiven for Apache KafkaがGoogle Cloud Ready - BigQueryプログラムのパートナーとして認定されたことは、Google Cloudとそのエコシステムとの継続的なコラボレーションとパートナーシップを証明するものです。
「Google Cloud Ready-BigQueryの認定は、ソリューションが正式な認定プロセスを経ており、BigQueryで最高のパフォーマンスを発揮することを顧客に確信させるものです。「Aivenを利用することで、顧客はすべてのデータとメトリクスをBigQueryと連携させ、より簡単にビジネスパフォーマンスを最適化することができます。
Swiftは、同社の倉庫管理システム2.0を導入している顧客の1社です。Aiven for Apache KafkaとApache Kafka Connectを使用して、倉庫データをBigQueryにストリーム配信しています。Aiven for Apache KafkaとBigQueryを使用することで、親組織の大規模なエコシステムとの高度な水平物流連携（HLC）を実装することができます。「Aivenの素晴らしい支援とサポートにより、インフラを安定させ、ビジネスを迅速に拡張し、データをコントロールすることができます」とSwift SolutionsのCTO、Alfi Zainuddin氏は述べています。
Google Cloudとの共同顧客であるHookdeckは、PostgreSQLからBigQueryへのデータ転送にAiven for Apache Kafkaとその高可用性データ・ストリーミング・ソリューションを使用することに成功しました。「利用可能な素晴らしいツールを活用することができました。統合の微調整に時間をかけ、最終的には驚異的なパフォーマンスレベルを達成することができました。1秒間に60,000のメッセージを処理することができました」とHookdeckのCTO兼創業エンジニアであるMaurice Kherlakian氏は言う。
FlinkとBigQueryのコネクタでストリーミングデータと分析ワークロードのギャップを埋める
Google Cloud Ready - BigQueryの指定に加えて、FlinkとBigQueryのためのオープンソースコネクタも紹介します。Aivenは、誰にとっても信頼できるオープンソースのデータプラットフォームです！私たちのビジョンに基づき、私たちのプラットフォームと一般的なテクノロジーとの統合を可能な限り簡単かつ合理的にすることで、私たちのお客様だけでなく、Apache FlinkとBigQueryのような一般的なテクノロジーとの統合を希望する幅広いオープンソースコミュニティにもさらなる柔軟性を提供したいと考えています。
これに伴い、私たちはApache-2.0ソフトウェアライセンスの下でライセンスされたFlink to BigQueryシンクコネクタを提供します。これにより、開発者はオープンソースのApache Flinkを使用していても、Aiven for Apache Flinkのようなフルマネージドサービスを使用していても、コネクタを使用することができます。
新しいFlinkとBigQueryコネクタのユーザーは、Apache Kafka®のようなデータストリーミング技術を含む複数のソースからデータを読み込んだり、[Change Data Capture (CDC)を活用することで、スケーラブルなストリーミングデータパイプラインやストリーミングアプリケーションを開発できるようになりました。io/blog/what's-new-with-aiven-for-apache-flink-q2-2023#what-is-change-data-capture-cdc-and-why-you-should-care）を活用して、PostgreSQLのような運用データベースから行レベルの変更をリアルタイムで記録します。Apache Flinkのようなストリーム処理技術を使えば、開発チームはデータに対してリアルタイムで簡単に変換を行い、変換されたイベントをBigQueryに渡すことで、さらなる分析やデータウェアハウスのアプリケーションやユースケースを実現できる。
このコネクタは現在、Apache FlinkのSQL & Table APIをサポートしているが、将来的にはFlinkのDataStream APIとBigQueryの新しいStorage APIをサポートし、より効率的で費用対効果の高い分析ワークロードをスケールアップできるようにする予定だ。
価格と入手方法
Apache FlinkとBigQuery間のシンクコネクターは、本日よりAiven Consoleのインテグレーションとしてご利用いただけます。Aiven for Apache Flinkアプリケーションにアクセスし、AivenコンソールまたはAiven CLIからBigQueryインテグレーションを選択するだけです。コネクタのユーザーは、世界中のGoogle Cloudリージョンで、ストリーミングデータをBigQueryエコシステムとシームレスに統合できるようになりました。価格ページをご覧ください。
コネクタはGitHubから直接アクセスすることもできます。コネクタのユーザーや、より広いFlinkおよびBigQueryコミュニティからのさらなる貢献やアイデアをお待ちしています。
Aiven for Apache Flinkを始める
Aiven for Apache FlinkとBigQueryのシームレスな統合は、AivenコンソールまたはAiven CLIのコマンドを数回クリックするだけです。Aivenを初めてご利用になる方は、30日間無料トライアルまたはデモのご予約にご登録いただき、FlinkとBigQueryの連携方法をご検討ください。