AIエージェントのトークン量を減らす工夫何してますか？
Discussion
Closed
AIエージェントのトークン量を減らす工夫は何してますか？
最近参画する案件が変わってClaude MaxプランからGithub CopilotのBisinessプランの5000クレジットに制限されてしまっていて、頭のいいモデルが満足に使えないどころか、普通に使っててもクレジットがオーバーしてしまう環境になりました。
そこで皆さんがやっているトークン量を減らす工夫について意見交換したいです。
自分がやっているトークン量を減らす工夫
cavemanプロンプト
これはちょっと前に話題になっていた、AIの口調を変化させることで必要最低限の言葉での会話にし、トークン量を減らすというものです。
CLAUDE.mdやcopilot-instructions.mdの最適化
CLAUDE.mdやcopilot-instructions.mdは便利ですが、毎回のやり取りで読み込まれる為、トークン消費量が増えてしまいます。そのため、必要最低限のもののみを記述しています。
モデルオーケストレーション
モデルを実行するタスクに応じて変更するというものです。
- コードリーディングやコード検索などの単純タスクはClaude Haikuに。
- コーディングなどの実装タスクはClaude Sonnetに。
- 要件定義や設計など、重めのタスクは Claude Fableに。(Opus君は最近不調なのでお休み中)
みたいに、必要に応じてモデルを切り分けています。
ちなみにGithub CopilotにはAutoモードがあって自動で切り替えてくれるのですが、あまり信用していないので、手間ではありますが、手動で切り替えたりしています。
皆さんのやっている工夫を教えてください。
1 likes
