MLOps Advent Calendar 2023 の21日目です。
遅れても年末にやるぞ、年始にやるぞ、と言いつつぬくぬくスルーし続けてしまいそうだったのでここで気合をいれて書きたいと思います。

最初は Azure Machine Learning (AzureML) と最近登場した Azure AI Studio (AI Studio)(プレビュー) で利用可能になっている Prompt Flow について書こうと思っていましたが、ネットを検索したところ既に様々な方が記事を投稿されていました。今まで Azure のプロダクトでここまで反響のあった機能はあったでしょうか。大変喜ばしい事です。

ということで(！？) Prompt Flow は、既にかなりの内容が記事化、動画化されていていて改めて私が語ることはあんまりないかなという気持ちになってしまったので、本記事はこれから学ぶ方向けに歩き方的なリンク集をサラッと共有させて頂くぐらいに留めさせて頂き、
代わりに実案件でかじった AzureML のモデル監視について、13日目の記事でちょっと深く語らせて頂こうと思います。

宣伝

Azure OpenAI ServiceではじめるChatGPT/LLMシステム構築入門という書籍を、1/24 に技術評論社より出版いたします。ChatGPT/LLM システムを構築するのに必要な要素を初級者～上級者レベルまでカバーしていますので、本格的な活用を目指していらっしゃる方はぜひお手に取って頂けると幸いです。

告知

生成AI MLOps LT大会！！！が 1/18 に開催されます。ぜひご参加ください。

prompt flow Deep Dive リベンジも 1/7 にあります！

Prompt Flow とは

AzureML と AI Studio (プレビュー) で提供されるLLMアプリケーション作成のための開発ツールで、AzureML では既に一般提供開始しています。LLM への入力となるプロンプトの設計や文章検索ツールなどの外部ツールとの連携を含め、AI アプリケーションのプロトタイプ作成から、試行錯誤、完成後のデプロイまで包括的にサポートしています。

Webブラウザから AzureML と AI Studio のスタジオにアクセスして利用することができます。また、CLI/SDK や Visual Studio Code (VS Code) の拡張機能からも利用可能です。

サクッと一通りできることを知りたい/試したい方向け

まずはサクッと一通りできることを試したい/知りたい方向けには、こちらの記事がおすすめです。

Prompt Flowが使えるようになったから、もうLangChainとか自分でホストしなくていい世界になったのかもしれない。
世界一わかりみの深いAzure OpenAI Service/統合開発環境Promplt flow

Azure 今すぐ使えないよという方に向けては、お手元の PC で VSCodeやCLI で Prompt Flow 動かすことができますので是非試してみてください！

Prompt Flowをローカルで動かす＆コードで管理する
 Prompt flowをCLIから使ってみる

動画でサクッと知りたい方向け

英語ですが動画も出ています！YouTubeの翻訳字幕で日本語字幕で見ることもできます。

End-to-End AI App Development: Prompt Engineering to LLMOps | BRK203
Getting Started with Azure AI Studio's Prompt Flow - Part 4

ちょっとマニアックですが、Semantic Kernel を Prompt Flow 上で利用する方法も動画で公開されています。

Semantic Kernel in Azure Prompt Flow For Your Plugins

LLM アプリのテスト/評価

LLM をアプリに組み込んだら、回答内容の正確性を評価したくなりますよね。こちらで詳しく解説しています。

Azure Machine Learning Prompt flow 評価メトリクス解説
 OpenAIのモデルアップデートに備えてPrompt Flowでモデルの評価フローを作る
 Prompt Flowで評価Flowを自作してRAGのイケてるLLMOpsを実現してみた

LLMOps 文脈での prompt flow

機械学習のライフサイクル管理を行うためのベストプラクティスである MLOps (Machine Learning Operations) の大規模言語モデル版である LLMOps (Large Language Model Operations) という考え方が生まれています。
データ準備、モデル検討・ファインチューニング、検索拡張生成 (RAG: Retrieval Augmented Generation) 開発、デプロイ、モデルの監視と管理といった一連のライフサイクルをどのように管理すればよいか整理されています。

An Introduction to LLMOps: Operationalizing and Managing Large Language Models using Azure ML

公式から豊富なサンプルコードも提供されています。

LLMOps with Prompt Flow (preview)

ユースケース

使い方が分かったら具体的なユースケースで試してみたくなりますよね。既にいくつかのユースケースでの開発方法を解説した記事も公開されています。ありがたや。

ChatGPTで社内ナレッジの回答をするLINEボットを作ってみた
 Prompt flowでブログ記事の紹介をXにポストする

MS公式情報

最後に公式情報を記して締めたいと思います。利用した方からの評判もかなりよい開発ツールとなっていますので、ぜひ使てみてください！

[公式ドキュメント]Azure Machine Learning プロンプトフローとは
 [公式サンプルコード]Prompt flow