ビッグデータの風景は急速に変化しています。特に2024年は、AIとデータインフラにおいて変革的なシフトをもたらしました。データとAIの分野に深く関わる者として、私は組織がデータを管理、処理、価値を引き出す方法を変える重要なトレンドを観察しています。これらの発展は大きく二つの領域に分類できます：AIインフラと従来型データインフラです。

AIインフラ

歴史的に、ビッグデータ処理は構造化データを使った複雑な操作に焦点を当てており、そのためApache Sparkのようなエンジンが重要な役割を果たしてきました。しかし、AIの急速な台頭は非構造化データ（画像、動画、音声、テキスト）に焦点を移し、AI向けのデータインフラが必要とされるようになりました。

例えば、unstructured.ioのような企業は、PDFやPowerPointファイルなどの複雑なフォーマットからデータを抽出し、クリーンアップする非構造化データのETLワークフローに焦点を当てています。この分野には大きな可能性がある一方で、精度が重要な場面では技術的な課題も多く存在します。

AIにおけるもう一つの注目ポイントは、ベクトル検索です。ベクトル検索は、ベクトル表現（埋め込み）を比較して類似するアイテムを見つける方法です。大規模言語モデル（LLM）が注目を集めたことにより、ベクトル検索は引き続きホットなトピックです。昨年予測されたように、従来のデータベースの多くがベクトル検索機能を取り入れています。例えば、Postgresは、PgVector拡張を通じてAIシナリオでの競争力を大きく高め、従来のプレイヤーであるElasticなども市場シェアを拡大しています。このトレンドは、ベクトル検索がもはやベクトルデータベースだけのものではないことを示しています。

その先に、PostgresはAIにおける長期的なメモリストレージの解決策として登場しました。LLMが長期間の会話コンテキストを保持できないという制約を考慮すると、開発者は信頼性のある永続的なストレージソリューションを必要としています。Postgresはその広範な利用と信頼性により、この分野で好まれる選択肢となっています。

マルチモーダルAIが主流になる中で、マルチモーダルデータベースが注目を集めています。興味深いことに、この分野での多くのブレークスルーはRedisやMongoDBなどの従来のプレイヤーから生まれており、マルチモーダル処理に特化したスタートアップは比較的市場の注目を集めていません。これにより、AIインフラ分野における既存のプレイヤーの優位性がさらに際立っています。

要約すると、AIインフラにおいて新たな機会（例：非構造化データのETL）が生まれている一方で、ほとんどのサブフィールドは既存のプレイヤーが自らのプラットフォームを強化してAIをより良くサポートする形で進化していることが分かります。彼らの技術的な専門知識と市場での存在感は圧倒的な優位性を与えています。

従来型データインフラ

三つの主要なトレンドが従来型データインフラを再構築しています：

S3を主要なストレージアーキテクチャとして採用

新しいわけではありませんが、S3を主要なストレージ層として利用することが最近顕著に普及しています。ClickHouseのような分析データベースは、このアーキテクチャを採用し、そのスケーラビリティとコスト効率を活用しています。

同様に、ストリーミング分野では、ConfluentによるWarpStreamの買収が、S3を中心にしたストレージの再考を示しています。WarpStreamはKafkaの代替品です。

データをS3にオフロードすることで、冷たい（アクセス頻度が低い）データの運用コストは削減できますが、レイテンシーが増加するというトレードオフもあります。しかし、並列処理とメタデータ管理の改善により、このトレードオフは軽減されつつあります。

Flinkは、ストリーム処理中の計算結果を保存するためのメカニズムとして、S3を状態ストアとして統合しています。これにより、大規模な状態を持つストリーム処理ワークロードを効率的に処理できるようになりました。この進展は、RisingWaveによって先導されたアーキテクチャの流れを受け継いでおり、リアルタイムデータと履歴データ、クエリの両方にS3を革新的に利用しています。

これらの進展は、従来型のリアルタイムシステムとコスト効率の良いオブジェクトストレージソリューションを組み合わせたハイブリッドアーキテクチャの新時代を形作っています。これにより、機能を犠牲にすることなくスケーラビリティを実現できます。

小さなデータの台頭

シングルノードシステムの性能向上に伴い、「小さなデータ」が今年のキーワードとなっています。

シングルノードシステムの性能向上に伴い、"小さなデータ"が今年のキーワードとなっています。これは、単一のマシンで効果的に処理できるデータセットを指し、通常はハードウェアの進化や最適化されたデータベース設計により可能となります。DuckDBのような組み込みデータベースは「分析のためのSQLite」とも呼ばれ、大きな注目を集めています。

DuckDBの魅力は、Postgresとのシームレスな互換性、強力なPython API、および分散設定を必要とせずにローカル環境内で効率的に動作する能力にあります。

さらに、ユニークなカラム型ストレージエンジンとParquetファイルから直接分析クエリを処理できる能力により、DuckDBは多くのユースケースにおいてSnowflakeの軽量で強力な代替となっています。

企業が分析のためのコスト効率の良いソリューションを優先する中で、DuckDBの優れた性能と低コストでの提供は、非常に魅力的な選択肢となっています。

オープンテーブルフォーマットの人気

2024年、オープンテーブルフォーマットは従来型データインフラの主要なハイライトとして登場しました。

DatabricksはTabularを買収し、Unity Catalogをオープンソース化しました。また、SnowflakeはPolarisオープンソースプロジェクトを発表し、AWSはIcebergに基づいたS3 Tablesをre:Inventカンファレンスで発表しました。

これらの革新は、データ管理を簡素化し、相互運用性を向上させるためのオープン標準の必要性の高まりを示しています。オープンテーブルフォーマットは、S3データの簡単なクエリを可能にし、ポータビリティを高め、ベンダーロックインを削減します。

さらに、SQL、Python、Javaなどのマルチ言語環境に対応しているため、異なるエコシステムの開発者やデータサイエンティストがシームレスに作業できます。例えば、Pythonを使用するデータサイエンティストが、SQLベースのETLプロセスでフォーマットされたデータに直接クエリを実行でき、分析ワークフローがスムーズになります。この柔軟性は、企業がデータとAIのアプリケーションを活用して生産性を向上させるために特に重要です。

オープンフォーマットは、タイムトラベル（履歴データスナップショットのクエリ）、スキーマ進化（ダウンタイムなしでデータ構造の変更に適応）、トランザクション整合性といった高度な機能もサポートしており、現代のデータインフラの基盤としての役割を確固たるものにしています。

今後の展望：データとAIのシームレスな統合

企業が過去2年間の経済的な低迷から回復する中、焦点はコスト削減から効率の向上に移りつつあります。生産性の向上は、2025年のトップの優先事項となるでしょう。

リアルタイムデータの採用は、この変化の重要な指標となります。例えば、IcebergのCDC機能はリアルタイムデータ処理を改善し、OpenAIのリアルタイムAPIはリアルタイムAIアプリケーションを進展させています。これらの発展は、リアルタイムデータの需要の増加を促進するでしょう。

今後、より多くのデータベースがAI関連の機能（例：Text2SQL）をサポートするようになり、データとAIの統合がさらにシームレスになることが期待されます。この統合は、従来型のデータ管理とAIアプリケーションの境界を曖昧にするでしょう。

結論として、私は2025年がデータインフラとAIインフラの両方にとって重要な年となると強く信じています。リアルタイム処理能力とAIアプリケーションの統合は、ビッグデータの次の時代を定義することになるでしょう。