この記事でわかること
- 全ての処理を巨大なモデルに頼らず、タスクの複雑さに応じてモデルを使い分ける手法
- ローカルの小型言語モデル（SLM）とクラウドの高性能モデルを組み合わせる構成案
- コスト削減と低レイテンシ（応答遅延の低減）を両立するアーキテクチャ
何が発表されたか
Strands Agentsを使用して構築された「Adaptive Agentic Intelligence Framework (AAIF)」が紹介されました。これは、AIエージェントへのリクエストを、タスクの性質に応じて以下の3つのレイヤーに動的に振り分けるフレームワークです。
- スマート・オーケストレーション層: 軽量なSLM（llama3.2:1b）が、リクエストの内容を判断して適切な処理層へルーティング（振り分け）を行います。
- ローカル処理層: Ollamaなどのツールを用いて、ローカル環境のハードウェア上でSLMを実行します。デバイスのステータス確認や画像解析など、定型的なタスクを低遅延かつオフラインに近い状態で処理します。
- クラウド処理層: Amazon Bedrockを通じて、高度な推論や複雑なパターン分析が必要な場合にのみ、クラウド上の高性能なモデルへリクエストを送信します。
何がうれしいのか
- コストの最適化: 定型的なリクエストをローカルのSLMで処理することで、高価なクラウドAPIの利用回数を抑えられます。ハイブリッド構成の場合、トラフィックの約80%が有料APIエンドポイントに到達しないことでコスト削減が期待できます。
- 低レイテンシの実現: ローカルで完結する処理については、ネットワークを介さず即座にレスポンスを得られます。
- 柔軟なデプロイ: Raspberry Piのようなエッジデバイスでの実行から、フルクラウド、あるいはそれらを組み合わせたハイブリッド構成まで、インフラに合わせて柔軟に構成を変更できます。
使い始めるには
以下の手順で環境を構築し、実装を進めます。
前提条件
- AWSアカウント（Amazon Bedrockへのアクセス設定済み）
- Python 3.10以上
- Ollama（
llama3.2:1bおよびllama3.2-visionをプル済み） - Strands Agents (
pip install strands-agents strands-agents-tools) - AWS CLI および Boto3
実装のステップ
- 環境準備: Ollamaサーバーを起動し、必要なモデルをプルします。
-
ローカルツールの実装:
@toolデコレータを使用して、デバイス情報の取得（get_device_telemetry）や、ローカルSLMによる画像解析（analyze_camera_feed）を行う関数を定義します。 -
クラウドツールの実装: 複雑な分析用に、Amazon Bedrockを呼び出すツール（
get_expert_insights）を作成します。 -
エージェントの設定:
OllamaModelを使用してオーケストレーターを設定し、定義したツールをエージェントに紐付けます。
注意点・制約
- 本構成は、利用可能なハードウェアやネットワーク接続状況に応じて、ルーティングロジック（SLMオーケストレーター）と処理ツールを個別に交換・再構成することで柔軟に対応可能です。
- 将来的には、複数のエージェント間でツールを共有するために、Model Context Protocol (MCP) サーバーとしてツールを公開することが検討されます。
参考
Adaptive agentic intelligence framework using Strands Agents
https://aws.amazon.com/blogs/machine-learning/adaptive-agentic-intelligence-framework-using-strands-agents/
※本記事は筆者のメモ・公開情報をもとに、ローカルLLMの支援で作成しています。