Microsoft は 11月19日、シカゴで開催された Ignite 2024 で新たなエージェント開発機能 「Azure AI Agent Service」 を発表しました。Azure AI Agent Service は生成 AI 開発の統合プラットフォームである「Azure AI Foundry」に統合されます。Azure AI Foundry はこれまで Azure AI Studio と呼ばれていたサービスであり、既存の Azure AI モデル、ツール、安全性とモニタリングのソリューションを、組織の AI ソリューションの設計、カスタマイズ、管理を支援する新機能とともに提供することを発表しました。
各コンポーネントを見ていきましょう。
Azure AI Agent Service
Azure AI Foundry に新しい AI エージェントサービスが統合されました。
このサービスは Assistants API を基盤として Microsoft のマネージドサービスと組み合わせてエンタープライズ向けに機能拡張したサービスといえます。Bing Search、Microsoft Fabric、SharePoint、Azure AI Search、Azure Blob Storage、ローカル ファイル、さらには独自のライセンスデータからのデータを使用して、データをグラウンディングできるようになっています。エンタープライズ強化機能として、On-Behalf-Of (OBO)承認などのエンタープライズ グレードのセキュリティ機能により、データの保存、取得、アクセスが確実に行われ、プライバシーと保護が保証されるようになります。
設定できるアクションには、Code Interpreter や、OpenAPI 3.0 仕様、Azure Functions、Azure Logic Apps、Custom function が選択できます。
また、組み込みの会話状態管理も実装されており、スレッドまたは会話状態の管理を行います。これにより、コンテキストを保持し、パーソナライズされた対話を提供し、時間の経過とともにパフォーマンスを向上させることが可能になるとのこと。
来月プレビュー版がリリース予定
参考
- https://techcommunity.microsoft.com/blog/azure-ai-services-blog/ground-your-ai-agents-with-knowledge-from-bing-search-microsoft-fabric-sharepoin/4303634
- https://techcommunity.microsoft.com/blog/azure-ai-services-blog/introducing-azure-ai-agent-service/4298357
Azure AI Search
セマンティックリランキングモデルの精度向上と、インデックス作成パイプラインの強化が行われました。新機能のクエリ書き換え機能では専用にファインチューニングした SLM が搭載されました。Microsoft は 1 年前にRAG の 定量分析結果を出しましたが、そこからさらに精度を上げてきました。Out-of-the-Box で高い精度が望めるのは魅力的です。
- 新しいセマンティックランクモデル: セマンティックランクがすべてのサポートされているリージョンで改善されたモデルで実行 [↗]
- セマンティックリランカーのクエリ書き換え: セマンティッククエリを再作成して、L2 ランカーからより関連性の高い結果を生成 [↗]
- ドキュメントレイアウトスキル: ドキュメント構造を解析し、構造に基づいたチャンク化を提供する新しいスキル [↗]
- Markdown解析モード: Azure Storage および OneLake の Markdown ファイルから検索ドキュメントを生成できるインデクサーモード [↗]
などなど、詳細のアップデートは別途解説します。
Azure OpenAI Service
ファインチューニング
- ファインチューニングモデルのための PTU デプロイメントのサポート [↗]
- ファインチューニングモデル推論のためのグローバル標準サポート [↗]
- Azure OpenAI サービスにおけるモデル蒸留の導入 [↗]
- 画像のファインチューニング [↗]
- Weights & Biases (W&B)とのコラボレーション [↗]
Structured Outputs（GA）
- GPT-4o、GPT-4o mini の response formats と Function calling に適用
- Function calling による古いモデルのサポート（Coming Soon）
Predictive Outputs(Preview)
Azure AI モデルカタログ
主要なイノベーターによる最新の AI モデルが追加されており、企業は適切なユースケースに適切なモデルを選択することができます。NTTデータ（一般提供中）とBria AI（プレビュー中）のモデルが新たに加わりました。
tsuzumi 7b 登場
日本製 SLM の tsuzumi が Azure Marketplace および Azure AI モデルカタログで利用可能になりました。Ignite のデモでは最新の日本の知識とファインチューニングによる精度向上が示されました。
ベンチマーク、CI/CD 統合などの新しい評価ツール
- Azure AI Foundry のモデル ベンチマーク エクスペリエンスが強化
- 独自のプライベート データを使用してベース モデルを評価および比較
- 画像とマルチモーダル コンテンツの新しいリスクと安全性の評価
- テキストベースの生成 AI モデルとアプリの品質メトリックの評価（GA）
- リモート評価用の Python API を発表
- GenAI評価用のGitHub Actionsが利用可能
AI レポート
開発者は、意図したビジネス ユース ケース、潜在的なリスクと損害、モデル カード、モデル エンドポイント構成、コンテンツ セーフティ フィルター設定、評価結果などの主要なプロジェクト詳細を統合 AI レポートにまとめることができます。
その他
Azure AI Content Understanding
マルチモーダル データの取り込みとコンテンツの抽出を行う生成 AI ベースの新サービスです。このサービスは、ドキュメント、画像、音声、ビデオなどのさまざまなデータ タイプを取り込み、簡単に処理および分析できる構造化された形式に変換します。これは Azure Document Intelligence のマルチモーダル対応版ということか。
動画からの情報抽出も可能で、チャプター、シーン、ショットなど、セグメントごとに特定のメタデータを生成します。マルチモーダル RAG のデータインジェストパイプラインに必要な機能となりそうですね。
- https://techcommunity.microsoft.com/blog/azure-ai-services-blog/announcing-azure-ai-content-understanding-transforming-multimodal-data-into-insi/4297196
- https://techcommunity.microsoft.com/blog/azure-ai-services-blog/transforming-video-into-value-with-azure-ai-content-understanding/4297114
Azure Databases
Azure Cosmos DB for NoSQL
- Azure Cosmos DB for NoSQL のベクトル検索の一般提供 (GA)
- Microsoft DiskANN ベクトル インデックスの一般提供 (GA)
- 全文検索とランキングの公開プレビュー（BM25,英語のみ）
- ハイブリッド検索のパブリックプレビュー（RRF）
- 参考[↗]
おすすめセッション
Azure Database for PostgreSQL
Microsoft Ignite 2024 BOOK OF NEWS