本記事はこちらのブログを参考にしています。
翻訳にはアリババクラウドのModelStudio(Qwen)を使用しております。
強化されたデータ処理機能が搭載された Flink 2.0、GenAI時代において不可欠
インドネシア・ジャカルタ、2024年12月6日 - 阿里巴巴グループのデジタル技術と知能の基盤であるアリババクラウドは、ジャカルタで開催されたFlink Forward Asiaで、待ち受けているApache Flink 2.0のイノベーティブな機能を強調しました。このイベントは、Apacheソフトウェア財団によって作成され、ストリーム処理とバッチ処理を統一することを目的としたオープンソースフレームワークであるApache Flinkに関する進歩を専門とする東南アジア初のカンファレンスでした。アリババクラウドは長い間貢献しており、特にアジアでのApache Flinkコミュニティの発展において重要な役割を果たしてきました。アリババクラウドインテリジェンスのオープンデータプラットフォーム責任者である王鳳氏はイベントで熱意を語りました。「データの需要が増えるにつれて、効率的でスケーラブルで統合されたデータ処理が必要性がますます高まっています。2016年のデビュー以来の大きな進展であり、FlinkがApacheトップレベルプロジェクトになる10周年に合わせて、Flink 2.0のリリースが近づいています。私たちはこれまで以上にApache Flinkコミュニティを支援し、近いうちにFlink 2.0の強化された機能をクラウドオファリングに組み込むことを模索しています。」
アリババクラウドインテリジェンスのオープンデータプラットフォーム責任者、王鳳氏
新しい計算時代向けのApache Flink 2.0の新機能
2025年初頭のリリースが予定されているApache Flink 2.0は、データ処理技術における重要な進化を標示し、バッチとストリーム処理の統一構造への主要な進歩を強調します。これにより、クラウドネイティブ時代の計算が簡素化され、GenAI時代において、高度なデータ処理能力が新たなAIアプリケーションにとって不可欠となるハイブリッドワークロードを処理するために基礎が整います。アリババクラウドがApache Flink 2.0への主要な貢献としては以下が挙げられます：
分散状態のストレージと管理：
Flinkのクラウドネイティブな未来を実現するために、アリババクラウドは分散状態ストレージと管理を導入しました。これはFlink 2.0でリモートストレージをプライマリストレージとして使用する機能であり、ユーザーがローカルディスクの制約を気にせずに大量のデータセットを処理できるようになり、ジョブの再スケーリングがより迅速かつ効率的になり、リソースの急増を抑えることができ、ネイティブな方法で軽量で高速なチェックポイントを達成します。 • マテリアライズドテーブル：この機能は、バッチとストリームデータ処理をさらに円滑にするために設計され、統一された開発体験を提供します。今後のFlink 2.0リリースでは、アリババクラウドはマテリアライズドテーブルの運用サポートを強化しており、最先端のLakeフォーマットとのコネクタ統合や本番向けのスケジューラを含んでいます。 • アダプティブバッチ実行：実行洞察に基づいて論理と物理計画を動的に最適化することで、Flink 2.0はバッチ処理とオンライン分析処理（OLAP）ワークロードの効率性とパフォーマンスを向上させています。 • ストリーミングLakehouseアーキテクチャ：このアーキテクチャは、ストリームバッチ統一処理を特徴としており、Lakehouseパラダイムの統一データストレージ、オープンフォーマット、コスト効率性を活用してリアルタイムデータ分析をよりよくサポートできます。その結果、ユーザーはデータの更新や新鮮さの異なるクエリをより柔軟に処理できるようになり、広範な分析ニーズに応えることができます。 Apache Flinkによる顧客成功
インドネシアの先駆的なソフトウェア・アズ・ア・サービス（SaaS）企業であるメカリは、Flink 1.0の強力なストリーム処理機能を利用し、リアルタイムデータ処理と統合に関する課題を克服しました。これにより、様々なソースからのデータをリアルタイムでキャプチャし、アリババの大規模データ処理プラットフォームであるMaxComputeにシームレスに統合することができました。この統合により、処理時間が短縮され、信頼性の高いストリーミングデータ取り込みを通じて意思決定のスピードと品質が向上し、業務効率性が改善され、関係者に即時で正確な洞察を提供できるようになりました。王氏はさらに言いました、「Apache Flink 2.0は、データ処理の未来とクラウド＋AI業界への潜在的な影響を示しています。コンポーネントの現代化、さらなるAIイノベーションの受け入れ、他のApacheプロジェクトとの統合の改善により、Apache Flinkは業界の新たな基準を設定しました。当社は、この画期的なテクノロジーの能力をフルに活用するために、Apache Flinkコミュニティとの連携をさらに強化することをお待ちしています。」
イベントでは、アリババクラウドはまた、GitHub上でストリーミング分析向けに最適化されたストリーミングストレージソリューションであるFluss（Flink Unified Streaming Storage）をオープンソース化しました。これはLakehouseアーキテクチャ上のリアルタイムデータレイヤーであり、ストリーミングとデータLakehouseのギャップを有効に埋め、低遅延で高スループットのデータ取り込みと処理を促進します。Apache Flinkをはじめとする主要な計算エンジンとシームレスに統合することで、データ管理の有用性と効率性が向上します。アリババクラウドは、Apache Flinkコミュニティのオープンソース化開発を推進するために自社の技術を貢献しており、FlinkのSQLとRuntime Layerの最適化、Flinkとの他のエコシステムプロジェクトの統合を含むこれらのイノベーションにより、拡張性、信頼性、安定性、パフォーマンスの総体的なメカニズムが大幅に改善されました。