使い切りました！
3,000リクエストなんて使い切れないだろう？と思ってましたが、あまりの使い勝手の良さにホイホイ使っているとあっという間に使い切れてしまいました！
VSCodeのgithub copilotでkimi-k2.6を使い倒す！
使い方としてはOpenAI互換のコーディング支援です。
8月に入ってから毎日くらいkimi-k2.6、kimi-k2.7-codeを合計400リクエスト近くを実行し続けて、8/8に使い切り。
tpmかrpmかの制限で、常時回し続けていた、という訳にはいかなかったのですが、さくらのAIの反応の良さや、kimi-k2.6の持つ賢さで、大きなストレスなく利用できました！
3,000リクエストを投入したのは
3,000リクエストを使わせてもらって開発していたのは、以前作ったFF14名前消し動画編集アプリの作り直しです。
このアプリは、リリース後もコツコツと改善を積み重ねてきたのですが、
- 改善の積み上げの結果、TensorRT-RTXとDirectMLでどちらもほぼ70FPSと処理速度の差がなくなってきていました。本来ならTensorRT-RTXの方が速そうですが…？
- 私の技術力のなさや当時の生成AIの能力などからffmpeg.exeを別プロセスで動かすことしかできなかった
- ffmpeg.exeを別プロセスで利用しているため、CPU-GPU間のメモリーコピーを回避できない
- DirectMLはレガシー扱いで今後の更新は原則なく、またTensorRT-RTXは更新毎にアプリへの適用・更新が必要でメンテナンスやサポートの面で気になっていた
ちょっと今のままだとこれ以上は望めないなー、みたいな。
こんな風にモヤモヤとしている間にOBS版をリリースしまして、CPU-GPU間のコピーを排除した結果、OBSリアルタイム処理ながらDirectMLで59FPSを実現できたんですね。
生成AIもMCPでgithubやmicrosoft-learnなど、参考となるコードやAPI仕様などを参照できるようになって、かなり精度よく生成できるようになってきた印象もありました。
というわけで3,000リクエストを投入して、
- FFmpeg APIでスレッド対応
- CPUーGPU間のメモリーコピー無し
- WindowsML対応
とコア機能の刷新を目標に、さくらのAIを無償枠を投入してみました。
3,000リクエストを投入した結果と感想
1.実装できたこと
- FFmpeg APIでスレッド対応：完了！
- CPUーGPU間のメモリーコピー無し：完了！
- WindowsML対応：完了！
試行錯誤含めて、一番工数がかかるし難しいなーと思っていたC++のコア機能はだいたい実装してくれました。
実は最後の最後でUI側のコードを破壊されたのですが、89FPSで実行できることが確認でき、従来版の性能を超えることもできそうです。
2.AIの進化
初めて生成AIでPythonからC#、C++に移植した時からの生成AIと関連機能の進化も実感できました。
以前は公開コードをうまく動かせるようにAIに微調整や補間のコードを提案してもらいつつ最終的には自分で書くスタイルでした。
今はMCPなどを利用しながら指示に基づきエージェントが主体的にコーディングを進めてくれます。APIの仕様を確認しながら勝手に書いてくれるのはまだまだ先、と以前の記事投稿時は考えていましたが、ほんと進化のスピードが著しいことを感じました。
3.さくらのAI Engineを使ってみて
kimi-k2.6は、賢く、またさくらのAIさんのGPU火力で、かなりレスポンス良く反応し、さくらのAIさん、これが無料でほんとに大丈夫？と心配になるレベル。
この無償枠がいつまで続けてもらえるサービスなのかわかりませんが、さくらインターネットの株が（私の中で）爆上がり！
まだ使ってない人は、もったいないと思います！