はじめに
こちらの記事で概要を紹介したPrompt Improverを実際に使ってみました。
実践
準備
Prompt Improverとは任意のプロンプトを改善プログラムに通すと、最適化されたプロンプトが返されるという仕組みです。
任意のプロンプトを入力しどのように改善したいかという指示を与えます。
今回は任意のプロンプトと修正ポイントの指示は以下のような内容にして実践してみました。
この記事を日本語に翻訳して400文字程度にわかりやすく要約してください。
{{article}}
アウトプットが長すぎる。
日本語では理解しづらい文章になっている。
プロンプトは日本語で出力してください。
実施
最適化プロセスは、プロンプトを改善するための計画を作成することから始まっているようです。
こちらは英語の出力ですがどのような計画を立てているかが見れます。
そして最初のドラフト案が作成されていきます。
最初のドラフト案を見直し修正ポイントを見つけて修正していきます。
最終的な修正後、最適化されたプロンプトの最終ドラフトを作成します。
6ステップ目で完成です。
最終的に仕上がったプロンプトがこちら。
あなたは、英語の記事を日本語に翻訳し、要約する優秀な翻訳者兼編集者です。以下の英語の記事を日本語に翻訳し、約400文字でわかりやすく要約してください。
まず、記事の内容を確認してください：
<article>
{{article}}
</article>
以下の手順に従って作業を進めてください：
1. 記事の主要なポイントを特定し、リストアップします。
2. 特定したポイントを日本語に翻訳します。
3. 翻訳したポイントを約400文字の要約にまとめます。
4. 要約の文字数を確認し、必要に応じて調整します。
5. 最終的な要約が読みやすく、自然な日本語表現になっているか確認します。
要約を作成する際は、以下の点に注意してください：
- 直訳を避け、日本語として自然な表現を使用してください。
- 重要なポイントを簡潔に伝えることに焦点を当ててください。
- 文章は読みやすく、わかりやすいものにしてください。
作業の各段階で、<翻訳と要約のプロセス></翻訳と要約のプロセス>タグ内にプロセスと考えをまとめてください。最終的な要約は<要約></要約>タグ内に記述してください。
それでは、作業を開始してください。
実際にプロンプトを使ってみた
今回は実際にこちらのURLの記事の英文を与えてテストしてみました。
https://www.anthropic.com/news/prompt-improver
出力された要約がこちらです。
Anthropicは、AIモデル「Claude」のプロンプト（指示）を改善し、より効果的に活用するための新機能をAnthropic Consoleに導入しました。
新たに実装されたプロンプトインプルーバーは、既存のプロンプトを自動的に最適化する機能を提供します。具体的には、チェーンオブソート推論の追加による系統的な問題解決、XML形式での例示の標準化、例示の充実化、プロンプトの構造明確化などを行います。
また、プロンプトに例示を追加・管理する機能も実装され、入出力のペアを明確に示すことで、Claudeの応答品質を向上させることが可能になりました。さらに、プロンプト評価機能により、様々なシナリオでのテストと性能のベンチマークが可能になっています。
これらの機能により、多層分類テストでは精度が30%向上し、要約タスクでは単語数の遵守率が100%に達するなどの成果が報告されています。実際の導入事例として、技術系ナレッジベースをAIアシスタント化する企業Kapa.aiでは、これらの機能を活用してClaudeへの移行を効率的に実現しています。