本稿では、生成AIのニーズのために新たに開発されたLangStreamプロジェクトを紹介します。

LangStreamにより、LLMアプリケーションの典型的な処理を、Apache Pulsarファンクションとして組み込むことが容易になり、LLMをリアルタイムイベント処理と組み合わせることが可能になります。また、後述のStarlight for Kafkaを用いることで、Kafkaクライアントとの組み合わせも可能です。

以下の記事は、LangStreamの公式ドキュメントの内容をソースとしています。

LangStreamとは何か?

LangStream は AI の導入を推進するオープンソースプロジェクトです。
LangStream プロジェクトは、LLM(大規模言語モデル）のインテリジェンスとストリーミング処理の機敏性を組み合わせて、アプリケーションを作成します。
LangStream のアプリケーションは、メッセージトピックを監視し、複数のステップを通じてデータを処理して、有用な生成 AI 結果を出力します。

LangStreamをつかうことで、チャットボットなどの生成 AI プロジェクトの開発に伴うオーバーヘッドを大幅に削減できます。例えば、開発者は、データの変更に応じてベクトル化するステップを持つ、パイプラインを宣言するアプリケーションを作成できます。また、ユーザーの質問を受け取り、それをベクトル化されたデータと比較し、コンテキスト化されたプロンプトを構築し、LLM に送信するアプリケーションを作成することもできます。

パイプラインの各ステップはエージェントに変換されます。エージェントは入力メッセージを受け取り、そのデータを処理し、結果を新しいメッセージとして出力します。処理は、データをすべて小文字に設定するという単純な場合もあれば、ラベル付きの値を削除する命令である場合もあります。あるいは、エンベディングモデルを使用してメッセージデータをエンベディングに変換する生成 AI用処理や、LLM にプロンプトを送信して完了を受け取るなどの、より強力な処理を行うこともできます。

すべてのパイプラインには開始点と終了点があります。ストリーミングデータのコンテキストでは、これは通常、ソースとシンクと呼ばれます。ソースは、データベース、別のメッセージトピック、または開始点トピックのメッセージデータを生成する方法を知っているアプリケーションです。パイプラインには 1 つのソースまたは複数のソースを含めることができます。
LangStream はトランスポートにメッセージブローカーのトピックを使用します。
パイプラインがデータを正常に処理したら、それに対して何らかの処理を行う必要があります。こちらはシンクが使われているところです。ソースと同様に、シンクにもさまざまな形状があります。通常、シンクは処理されたデータをデータベースに保存します。パイプラインには 1 つのシンクを接続することも、複数のシンクを接続することもできます。

技術的特徴

KubernetesやApache Kafkaなどの実証済みのテクノロジーを基盤に構築
ChatGPTなどの LLM 、 HuggingFaceなどの推論 API 、 AstraDBなどのベクトルデータベース、LangChainなどのエージェントとのインテグレーション
シンプルな宣言型 YAML ファイルを使用して独自のリアルタイム AI アプリケーションパイプラインを作成
イベントデータ、セマンティック検索、データベースクエリなどを組み合わせて、リッチコンテキストを含むプロンプトを生成するプロンプトテンプレート
非構造化データ (PDF、Word、HTML など) および構造化データの処理
Kafka Connect シンクとソースを実行して外部システムとリアルタイムに統合
可観測性のための Prometheus メトリクスと Kubernetes ログ