OpenAIから始まり、自社でAIを使ったソリューションを開発、運用し始めている方が増えています。
開発しているAIアプリのレスポンスタイムや品質の管理をどうするか検討されていたりしませんか？
そんな今まさに困っている開発者の方々には朗報です！！
New RelicではAIアプリのパフォーマンスを計測し、コスパの良いAIアプリ開発に役立ててください!
このアップデートの詳細はこちら。
New Relic アップデート(2024年2月)
New Relic アップデート
始め方
New RelicでAI Monitoringを始めるためには、対応しているバージョン以上のNew Relic APMエージェントのインストールが必要になります。
2024年5月20日現在の対応状況は以下の通りです（今後更新される想定となりますので、最新情報はドキュメントをご参照ください）
各言語毎にAI Monitoringを有効にするかのフラグがありますので有効に変更してください。
こちらのドキュメントに言語毎のconfigファイルおよび環境変数での設定に関して記載されていますので、設定の際にはご活用ください(APMエージェントのインストール自体は、通常のインストールと変わりありません)
例としてRubyを選択した場合は下記のように確認できます。
データを見る
取得したデータは「AI Monitoring」から確認することが可能です。
(左メニューに表示させたい時はAll Capabilitiesからピン留めすることで表示されるようになります)
画面としてはこれまでのAPMと同様ですが、左メニューに「AI Responses」が増えています。
「AI Responses」をクリックすると、リクエスト数や平均レスポンスタイム、トークンの利用状況などを確認することが可能です。
「Responses」に記録されたリクエストをクリックすると、処理の詳細を確認することが可能です。
画面はAPMのTransaction Traceと似ているので、同じように各処理時間の詳細分析を行なっていただけます。
どんな質問に対して回答を返しているのかもわかります。
ログも紐付けて見ることが可能なので、いちいち検索しなくても良いのも便利ポイントです。
機密性のあるデータをNew Relicに送らないようにしたい場合
含まれてしまった機密情報をNew Relicに保存されないようにするためには、事前に下記の方法を設定することで対応することが可能です。
詳細はこちらのドキュメントもご参照ください。
(1)configファイルのai_monitoring.record_content.enabledを falseにする
LLM イベントでキャプチャされた入力および出力コンテンツ (プロンプトや応答からのテキスト文字列など) の情報取得を省略します。
LLM との間で送受信される機密データを記録したくない場合のオプションとして設定することが可能です。
（デフォルトはtrueです）
(2)ドロップフィルターを作成する
個別のドロップフィルターを設定することも可能です。
設定は AI Monitoring -> Drop Filter から行います。
情報を削除するイベントを選択するか、すべてのイベントから選択することが可能です。
正規表現のルールを選択することが可能ですが、現状は1ルールにつき１つまで選択となります。
追加でNRQLを追加することも可能なので、場合によって使い分けることが可能です。
※ルールでDropしたデータは復元することができません。
また保存されてしまったデータを削除したい場合は、サポートにお問い合わせください。
まとめ
これから増えていくことがAIアプリをさらに効率的に開発、運用していくために
是非New RelicのAI Monitoringをご活用ください！！
このアップデートの詳細はこちら。New Relic アップデート(2024年2月)
無料のアカウントで試してみよう！
New Relic フリープランで始めるオブザーバビリティ！
New Relic株式会社のQiita Organizationでは、
新機能を含む活用方法を公開していますので、ぜひフォローをお願いします。