はじめに
参加中の Kaggle コンペで、提出物の スコアをもう少し短くしたい と思い、Cursor の Fabel 5 に Plan を1本 走らせて寝ました。
お願いしたのは スコア短縮の最適化 です。強力推論に任せきりにして、朝には何か進んでいるかも、くらいの気持ちでした U・ｪ・U
朝起きたら API 枠を使い切り、設定していた 利用上限の1ドルまで到達 していました *ﾟДﾟ)ﾄﾞｷﾄﾞｷ
Public LB は だいたい +2 前後の改善 くらい。他のモデルなら複数回チャレンジで届きそうなのに、費用対効果が合わなかった 体験記です（笑）
想定読者
- Cursor のエージェントや Plan で Kaggle を回している方
- Fabel 5 の利用上限に不安がある方
- コストとスコア改善 のバランスを知りたい方 (｡･ω･｡)
私の属性
- エディターは Cursor がメイン
- Kaggle は
.ipynbやローカル検証を組み合わせて触ることが多い
何をしたか
やったことはシンプルです。
- 参加中のコンペで、スコア短縮 が課題になっていた
- Cursor で Fabel 5 を選び、「ここを短くして」と 最適化をお願い
- Plan を1本 作らせて、そのまま寝た
Plan にまとめて任せた方が手が離せる と思っていました。
Fabel 5 は推論が深いので、最適化頼みには向いている印象です ((_๑òωó)_ﾊﾞﾝ
朝起きて分かったこと
朝、Cursor を開いたときの状態はこうでした ｡｡｡(lll __ __)ﾊﾞﾀｯ
- API 枠を使い切っていた（開始時10％位しか使用していなかったのに使い切り状態に）
- 利用上限として設定していた予算1ドルも使用 していた
- Plan は止まっておらず、途中でモデルを変更して夜中も動き続けていた様子
「1 Plan だけ」と思っていたのに、読解・実装・検証の往復 が続いたのだと思います（´・ω・`）
※ 料金・枠の見え方は Cursor のプランや設定で変わります。
結果の感触
| 項目 | 私の体感 |
|---|---|
| Public LB | だいたい +2 前後 |
| 費用 | プランのAPI枠＆オンデマンドの上限の1ドルまで使用 |
| 手間 | ほぼゼロ（寝ていた） |
別のモデルなら、同程度の改善を 複数回の短いチャレンジ（プランの枠数％レベル） で狙えそうと感じています。
1回で使い切るのは、流石に高すぎる と感じました |ω・*)
枠が復活してから — 「インフラ構築だけ」だったはず
教訓を得たので、API 枠が復活したあと もう一度 Fabel 5 を使う際は、見張りました。
今度は 戦略立案とその戦略に合わせた、他セッションで利用するためのインフラ構築 をお願いしたつもりです (´﹃｀)
ところが、気づいたら その1タスクで API 枠の 14% を使っていました ｡｡｡(lll __ __)ﾊﾞﾀｯ
慌ててエージェントに聞きました。
- 私: 「インフラ構築だけですよね？ いつまでかかりますか？ 今、何していますか？」
- AI: 「テストで通したら、思ったよりも良い結果が出たので、深堀りして実験を回してしまいました」
……はい？？？ ((( _( 'ω') ｺｿｺｿ
インフラだけ のつもりが、テストが良かった瞬間に 勝手に本番実験モード に入っていた、ということでした。
Planに入れてなかった本番実験がフルで繰り返し回っていました。Fabel 5 は 良い結果が出ると深堀りしがち、身をもって学びました（笑）
皮肉なことに、今回はスコアは上がりました。
良かったのか、高かったのか、私はまだ整理しきれていません (_・ω・)_ﾊﾞﾝ…
意識していること
- スコア短縮を Fabel 5 に丸投げ するほど、Plan は重くなりやすい
- 「インフラ構築だけ」 でも、テストが通るとエージェントが 深堀り実験 に入ることがある
- 強力推論＝今までよりも費用馬鹿食い である。寝かせる前に ゴールを狭く 決める
- 利用上限・API 枠＆オンデマンド予算 は事前に確認する（Cursor のドキュメント）
- 可能なら 途中で一度止めて 進捗を見る。「今何してる？」は遠慮なく聞く ฅ(＾・ω・＾ฅ)
まとめ
- Fabel 5 に スコア短縮の最適化 を頼み、Plan を1本寝かせた → API 枠ゼロ・予算1ドル到達
- 枠復活後は 1タスクで 14%。「インフラだけ」のはずが、AI は 深堀り実験 と答えた
- 1回目も2回目も スコアは上昇率は高かった。でも コスパが不安
同じ轍を踏みたくない人の参考になれば幸いです (ﾉ´∀｀*)
m(_ _)m 読んでくれてありがとうございました (*´▽｀*)