「Microsoft Developer Day 〜 AIで開発者の力を最大限に引き出す」に参加してきました
https://msevents.microsoft.com/event?id=1289012583
視聴した各セッションの感想を記載します。
Opening
スピーカーが英語でスピーチされていましたが、リアルタイム翻訳で字幕を生成しながらのセッションでした。
リアルタイム翻訳のレスポンスは早いと感じました。
改めてMicrosoftがAIへの力を入れていくことを伝えていました。
Keynote
2024年以降の生成AIトレンド
- 音声、画像、動画に対応したマルチモーダル
- 少ないパラメーターで動作するモデル（SLM）
AI技術者に求められること
- マルチモーダルモデルを利用するためのファンクション化、オーケストレーション
- モデルの使い分け
生成AIが現実的にアプリケーションに組み込む基盤が整ってきたことを改めてアピールしていたと感じます。
生成AIを利用したAgentを構築するための考え方などが中心でした
Agentを構成するために
Multi-ModalModel
AzureではOpenAI以外のモデルも選択可能
GPT-4o-Realtime-Previewが利用可能
GPT-4o-Realtime-Preview
GPT-4o-Realtime-Previewを使用したデモがありました。
使用感はChatGPTPlusの音声認識と同様で割り込みなどもできます。
ただ、本家ChatGPTPlusよりも生成速度は速いように感じました。
上記を使用したVoiceRAGも提案されていました。
VoiceRAG: An App Pattern for RAG + Voice Using Azure AI Search and the GPT-4o Realtime API for Audio
合わせてugo社の生成AIを組み込んだロボットのデモがありました。
RAG、Fine-Tune
全文検索、ベクトル検索、ハイブリッド検索の先として
より精度の高いRAGとしてGraphRAGを提案されていました。
MicrosoftもGraphRAGのチュートリアルを公開しているので力を入れていることが分かります。
Reasoning推論 ReAct
o1-Preview、o1-miniは思考の連鎖「Chain of Thought」を最適化しているため、より複雑なタスクに利用可能とのことでした。
MSのエージェントを作成するためのフレームワーク、AutoGenについて紹介とデモがありました。
LLMOps
LLMは構築して終わりではなく、モデルの変化やプロンプトの変化に対応できるように継続して開発する仕組みが必要。
MLOpsとは別にLLMに特化したLLMOpsという考え方が必要です。
LLMOpsを実現するためにAzureAIStudioとPromptFlowを紹介、デモ
感想
生成AI盛りだくさんのKeynoteでした（イベントがAIなのでそりゃそうか）
Microsoftとしても生成AIを使ってもらいたいのでRAGだけでなく、AIエージェントの活用を推していますね。
そのためのツールはかなり整ってきた印象ですが、如何せん選択肢が多い・・・
個人的に？なのが、PromptFlow、Semantic Kernel、AutoGenの違いです
-
PromptFlow
オーケストレーションをGUIで構築
パフォーマンスのチェックなど、テストのための仕組みもあり -
Semantic Kernel
オーケストレーションをコードベースで構築
テストは手組？テストだけはPromptFlowでも可能なニュアンスでしたが要調査 -
AutoGen
プランニングに特化したエージェントを構築するためのフレームワーク？
Semantic Kernelのplannerとの違いが分からん・・・
要調査
GraphRAGとAutoGenは今度触ってみたいと思います。
Azure OpenAI を活用した実開発 基本のキ
今後のセッションの全体的な内容でありつつ、
生成AIのAPIを利用するための前提や生成AIアプリケーションを評価するためのデータセット作成についてザックリ説明
API Management
生成AIアプリケーション評価用データ生成 サンプルコード
AI エージェントを実現するプロンプトエンジニアリング「ReAct」を掘り下げる
ReActの基本的な説明
ドーナツ本に記載されていた例をベースにデモでした
.NET・Python・Java で学ぶ！SDK を使った AI 開発のはじめの一歩
.NET（C#）・Python・Java それぞれでAzureOpenAIのSDKを使用してAPIの呼び出しについての実装デモ
入門的な内容でしたが、APIKeyはKey Vault使おうなど生で記載しないことの啓蒙多めでよかったです。
ゾルトラーク的 AI アプリケーションアーキテクチャ
スライドが公開されるらしいので公開されたら記載
開発者だからこそ知っておきたい責任ある AI
生成AIの生成物には有害な内容が含まれる可能性があるのでチェックしよう
モデル本体でも対策はしているけど、Azureのコンテンツフィルター使おう
システムプロンプトにも埋め込むことで対策可能（Meta Prompt）
最後にMicrosoft社が取り組んでいるの責任あるAIの要件についての紹介がありました
Microsoft Responsible AI Standard, v2