はじめに

参加中の Kaggle コンペで、提出物の スコアをもう少し短くしたい と思い、Cursor の Fabel 5 に Plan を1本 走らせて寝ました。
お願いしたのは スコア短縮の最適化 です。強力推論に任せきりにして、朝には何か進んでいるかも、くらいの気持ちでした U・ｪ・U

朝起きたら API 枠を使い切り、設定していた 利用上限の1ドルまで到達 していました *ﾟДﾟ)ﾄﾞｷﾄﾞｷ
Public LB は だいたい +2 前後の改善 くらい。他のモデルなら複数回チャレンジで届きそうなのに、費用対効果が合わなかった 体験記です（笑）

想定読者

Cursor のエージェントや Plan で Kaggle を回している方
Fabel 5 の利用上限に不安がある方
コストとスコア改善 のバランスを知りたい方 (｡･ω･｡)

私の属性

エディターは Cursor がメイン
Kaggle は .ipynb やローカル検証を組み合わせて触ることが多い

何をしたか

やったことはシンプルです。

参加中のコンペで、スコア短縮 が課題になっていた
Cursor で Fabel 5 を選び、「ここを短くして」と 最適化をお願い
Plan を1本 作らせて、そのまま寝た

Plan にまとめて任せた方が手が離せる と思っていました。
Fabel 5 は推論が深いので、最適化頼みには向いている印象です ((_๑òωó)_ﾊﾞﾝ

朝起きて分かったこと

朝、Cursor を開いたときの状態はこうでした｡｡｡(lll __ __)ﾊﾞﾀｯ

API 枠を使い切っていた（開始時10％位しか使用していなかったのに使い切り状態に）
利用上限として設定していた予算1ドルも使用 していた
Plan は止まっておらず、途中でモデルを変更して夜中も動き続けていた様子

「1 Plan だけ」と思っていたのに、読解・実装・検証の往復 が続いたのだと思います（´・ω・`）

※ 料金・枠の見え方は Cursor のプランや設定で変わります。

結果の感触

項目	私の体感
Public LB	だいたい +2 前後
費用	プランのAPI枠＆オンデマンドの上限の1ドルまで使用
手間	ほぼゼロ（寝ていた）

別のモデルなら、同程度の改善を 複数回の短いチャレンジ（プランの枠数％レベル） で狙えそうと感じています。
1回で使い切るのは、流石に高すぎる と感じました |ω・*)

枠が復活してから — 「インフラ構築だけ」だったはず

教訓を得たので、API 枠が復活したあと もう一度 Fabel 5 を使う際は、見張りました。
今度は 戦略立案とその戦略に合わせた、他セッションで利用するためのインフラ構築 をお願いしたつもりです (´﹃｀)

ところが、気づいたら その1タスクで API 枠の 14% を使っていました｡｡｡(lll __ __)ﾊﾞﾀｯ

慌ててエージェントに聞きました。

私: 「インフラ構築だけですよね？いつまでかかりますか？今、何していますか？」
AI: 「テストで通したら、思ったよりも良い結果が出たので、深堀りして実験を回してしまいました」

……はい？？？ ((( _(　'ω')　ｺｿｺｿ

インフラだけ のつもりが、テストが良かった瞬間に 勝手に本番実験モード に入っていた、ということでした。
Planに入れてなかった本番実験がフルで繰り返し回っていました。Fabel 5 は 良い結果が出ると深堀りしがち、身をもって学びました（笑）

皮肉なことに、今回はスコアは上がりました。
良かったのか、高かったのか、私はまだ整理しきれていません (_・ω・)_ﾊﾞﾝ…

意識していること

スコア短縮を Fabel 5 に丸投げ するほど、Plan は重くなりやすい
「インフラ構築だけ」 でも、テストが通るとエージェントが 深堀り実験 に入ることがある
強力推論＝今までよりも費用馬鹿食い である。寝かせる前に ゴールを狭く 決める
利用上限・API 枠＆オンデマンド予算 は事前に確認する（Cursor のドキュメント）
可能なら 途中で一度止めて 進捗を見る。「今何してる？」は遠慮なく聞く ฅ(＾・ω・＾ฅ)

まとめ

Fabel 5 に スコア短縮の最適化 を頼み、Plan を1本寝かせた → API 枠ゼロ・予算1ドル到達
枠復活後は 1タスクで 14%。「インフラだけ」のはずが、AI は 深堀り実験 と答えた
1回目も2回目も スコアは上昇率は高かった。でも コスパが不安

同じ轍を踏みたくない人の参考になれば幸いです (ﾉ´∀｀*)

m(_ _)m 読んでくれてありがとうございました (*´▽｀*)