Azure OpenAI Service 周り 7-8 月までの Updates

夏休み明けで一気にキャッチアップしたい方向けに独自にキュレーションします。

Azure OpenAI Service

8/7 東日本リージョンに GPT-4 が追加

gpt-4(0613) と gpt-4-32k(0613) モデルが東日本リージョンに追加されました。

7/27 東日本リージョン GA

みんな待ってた gpt-35-turbo(0613)、gpt-35-turbo-16k(0613) が東日本リージョンで選択できるようになりました。Docs が更新され、text-embedding-ada-002 もデプロイ可能になっています。これで一連の RAG システムをすべて東日本リージョン内に閉じることが可能になります。

7/25 プロンプトエンジニアリング周りのベストプラクティスの拡充

生成 AI の優れたプロンプト エンジニアになるための 15 のヒント

Docs の拡充

• プロンプト エンジニアリングの概要
• プロンプト エンジニアリングの手法
• システム メッセージテンプレート
• レッド チーミングの大規模言語モデル (LLM) の概要

7/20 0613 モデルで Function calling が利用可能に

MRKL や ReAct で使える Function calling が Azure OpenAI Service でも使えるようになりました。最新の 0613 バージョンの gpt-35-turbo および gpt-4 に、リクエストに記述された関数に基づいて構造化された JSON 出力を生成する機能が提供されます。API バージョンは 2023-07-01-preview で利用できます。

Embeddings 複数入力サポート

以下のように Embeddings API に複数配列で渡せるようになりました。

inputs = ["A", "B", "C"] #max array size=16

embedding = openai.Embedding.create(
  input=inputs,
  deployment_id="text-embedding-ada-002"
)

7/19 Whisper モデルが Coming Soon

Microsoft Inspire 2023 での発表

7/7 モデルの追加と廃止計画

• GPT-3.5 Turbo シリーズの最新製品である GPT-3.5 Turbo Instruct(coming soon) へ移行し、Text-Davinci-003/002/001、Text-Curie-001、Text-Babbage-001、Text-Ada-001 などの古いモデルは、2024年7月5日に廃止されます。
  • たとえば text-davinci-003 の移行は使う API が変わるので、アプリケーションの改修が必要となりますのでご注意ください。これからはメタプロンプトやルールを system に、指示やデータ、コンテキストを user に詰めて使います。
• GPT-3.5-Turbo および GPT-4 のファインチューニング用モデルを提供します。2023 年後半に限定プレビュー予定です。
• ファインチューニング用 Ada, Babbage, Curie, Davinci モデルが 002 へ進化します(coming soon)
• 埋め込みモデルは text-embedding-ada-002 に一本化されます。

※新規のお客様は利用できなくなり、すでにお使いのお客様は 2024年7月5日に廃止されます。

Azure Machine Learning

7/18 モデルカタログに Llama 2 が追加

Inspire で Meta と Microsoft は、Azure および Windows における大規模言語モデル (LLM) の Llama 2 ファミリーのサポートを発表しました。Azure 上で、7B、13B、および 70B パラメータの Llama 2 モデルを簡単かつ安全にファインチューニングしてデプロイできるようになりました。さらに、Llama は Windows 上でローカルに実行できるように最適化されます。

デプロイ可能な VM GPU に注意してください。一番デカい 70B は Standard_ND40rs_v2 か Standard_ND96asr_v4 のクォータが無いとデプロイできないです… 7B だと Standard_NC12s_v3 でもデプロイ可能です。

7/18 モデルカタログに Falcon が追加

Technology Innovation Institute (TII) によって作成され、Hugging Face ハブでホストされている最先端の言語モデルの Falcon ファミリーが利用可能になりました。Falcon は、Falcon-40B と Falcon-7B の 2 つの基本モデルで構成される新しい言語モデル ファミリーです。Falcon ファミリーには、モデルの Instruct バージョンである Falcon-7B-Instruct および Falcon-40B-Instruct もあり、これらは指示と会話データに基づいてファインチューニングされており、アシスタント スタイルのタスクにより適しています。

デプロイ可能な VM GPU は、40B、7B 共に A100 クラスのみです。

モデルカタログは以下のように華やかになりました。

Azure Cognitive Search

ベクトル検索がパブリックプレビューに

近似最近傍探索 (ANN) が可能になりました。キーワード検索と組み合わせたハイブリッド検索や Microsoft Turing LLM を使ったセマンティックハイブリッド検索も利用可能に。使用できる類似性メトリックに、cosine だけでなく、euclidean(L2 norm)、dotProduct も選べるようになりました。

セマンティック検索が東日本・西日本リージョンで利用可能に

これでセマンティックハイブリッド検索も日本リージョンに閉じて利用することができるようになりました。

セマンティック検索が Basic プランでも利用可能に

これまでセマンティック検索機能を使うには Standard プラン以上が必要でしたが、これが Basic プランでも利用できるようになりました。

Azure AI 全体

Microsoft の AI ポートフォリオが以下のように変更になりました。Azure の AI 3 本柱を構成していた、Applied AI Services と Cognitive Services は Azure AI services へ統合されました。

気になる点

• Azure Form Recognizer は Azure AI Document Intelligence へ改名
• Azure OpenAI Service としてのロゴはまだできていない様子

注意
2023 年 7 月の時点で、Azure AI services には、以前は Cognitive Services と Azure Applied AI Services と呼ばれるものがすべて含まれています。価格に変更はありません。Cognitive Services と Azure Applied AI という名前は、Azure の課金、コスト分析、価格表、および価格 API で引き続き使用されます。API または SDK に破壊的変更はありません。

Copilot stack × Copilot ecosystem

Inspire の Satya の Keynote では Copilot stack の第 3 層の部分に「Your data」という層が追加されました。私が Azure OpenAI Developers セミナーですでに何度も言及しているとおり、組織の持つデータの重要性について改めて明確化したと言えます。この中には Microsoft Fabric も入ってきます。

それだけではありません。この Copilot stack に合わせてアプリケーション開発を行う様々なパートナー様のロゴを挙げ、「Copilot ecosystem」の構造を示しました。このエコシステムこそが Microsoft が Azure OpenAI Service を使って取り組んでいきたい大きな戦略の一つです。

Copilot stack に合わせたアプリケーション開発の例としてはやはり ChatGPT 規格のプラグイン開発でしょう。多くのパートナー様がプラグイン開発に参画しています。さらに AI CoE を持つ SIer が、お客様の環境に合わせたソリューションの構築を支援したり、AI を活用した独自の製品やサービス、さらにはビジネスモデル全体を開発する ISV やスタートアップもエコシステムに含まれます。

パートナービジネス

Inspire のアップデート全体はこちらを参照してください。Inspire では、すべてのパートナー様が Microsoft AI と Microsoft クラウドを活用して顧客価値を提供できるようにする次世代のパートナー プログラム「Microsoft AI Cloud Partner Program」を発表しました。

Microsoft AI Cloud Partner Program

Microsoft のパートナー様であればどなたでもこれらのリソースを活用することができます。

• 新しい AI Transformation Partner Playbook の公開
  スキルの習得からイノベーション、マーケティングから販売までのガイダンスを提供するコンテンツモリモリのプレイブックです。パートナー様は今すぐダウンロードしてください！ AI 技術に特化した専門集団 である Azure AI Center of Excellence（CoE） を組織内に立ち上げて成功している世界各国のパートナー様の成功事例が掲載されています。
• 新しい「AI の時代」のマーケティングキャンペーン アセットを使うことができます
  Azure OpenAI Service のプレゼン資料などをパートナー様の顧客に対してカスタマイズして利用できます。

プログラムの詳細はコチラ。さらに新しい AI 固有のサービスとメリットに加えて、ソリューション パートナーの指定を拡大し、技術的能力を差別化し、顧客の成功を実証する機会を提供します。

また、日本での取り組みとして「Azure OpenAI Service リファレンスアーキテクチャ」への賛同パートナーを募集しており、こちらのページにて賛同パートナーの掲載が始まりました。

さいごに

あなたの組織に AI CoE はありますか？