Azure Machine Learning および今後発表が期待される Azure AI Studio のモデルカタログを使うとどなたでも Azure OpenAI Service のモデルや Llama 2 のモデル、画像認識モデルなど様々なオープンソース、Hugging Face モデルをファインチューニングしたりマネージドオンラインエンドポイントにデプロイできます。
モデルカタログは Azure のクラウド機械学習基盤である Azure Machine Learning 上に作られているため、簡単にトレーニング用の VM をアタッチできますし、MLOps/LLMOps で使える様々な機能がすでに準備されています。
LLM
Azure OpenAI Service
10/17 🎉 GPT-3.5-Turbo, Babbage-002, Davinci-002 モデルのファインチューニングが利用可能になりました。
現時点では米国中北部、スウェーデン中部リージョンのみで利用できます。
openai-whisper-large もデプロイ可能です。音声認識の Whisper モデルは Azure OpenAI Service/Azure Speech Service のほうでも利用可能です。
9 月から申請なしで GPT-4 が利用できるようになりました。（高需要リージョンは制限あり）
Llama 2
Meta 社と Microsoft は、Azure および Windows における大規模言語モデル (LLM) の Llama 2 ファミリーのサポートを発表しました。Azure 上で、7B、13B、および 70B パラメータの Llama 2 モデルを簡単かつ安全にファインチューニングしてデプロイできるようになりました。さらに、Llama は Windows 上でローカルに実行できるように最適化されます。
一部のタスクはファインチューニングを UI 上から可能になっています。
ML エンジニア、データサイエンティスト向けにサンプルノートブックが準備されていますので、そのまま Azure Machine Learning のノートブック上からトレーニングや評価が可能です。
Falcon
Technology Innovation Institute (TII) によって作成され、Hugging Face ハブでホストされている最先端の言語モデルの Falcon ファミリーが利用可能になりました。Falcon は、Falcon-40B と Falcon-7B の 2 つの基本モデルで構成される新しい言語モデル ファミリーです。Falcon ファミリーには、モデルの Instruct バージョンである Falcon-7B-Instruct および Falcon-40B-Instruct もあり、これらは指示と会話データに基づいてファインチューニングされており、アシスタント スタイルのタスクにより適しています。
Databricks dolly
Build 2023 で披露されたデモに利用されていたモデルです。
大量の Hugging Face モデル
Microsoft と Hugging Face 社とのパートナーシップの結果、さまざまなオープンソースモデルを提供しています。
ビジョンモデル
HuggingFace から一連の画像分類モデルを厳選しています。また MMDetection からの物体検出および画像セグメンテーション モデルが追加されています。
エンドポイントデプロイ
試してみたいと思ったモデルはマネージドオンラインエンドポイントにデプロイしてアプリケーションから簡単に利用することができます。
プロンプトフローへの連携
モデルをプロンプトフローと連携できます。
複雑な AI オーケストレーター開発はプロンプトフローを使って開発・評価できます。
エンドポイントにデプロイしたモデルは、プロンプトフローから呼び出して利用できます。
プロンプトの評価についても、組み込みの評価メトリクスなどを簡単に活用できます。
生成 AI モデルモニタリング
生成 AI アプリケーションのモデル監視がプレビューで開始されました。運用中モデルデータ コレクター、責任ある AI 評価メトリック、アラート、ダッシュボードが利用可能です。
Azure GPU インフラ
Azure ND H100 v5 プレビューを筆頭に、様々な GPU インフラを備えていますので、PyTorch などのライブラリを利用したモデル開発・ファインチューニングにももちろん対応しています。