1. キッカケ(なぜ測るのか)
最近、ずっと引っかかっていることがあります。
SNSでよく見る
「AI社員」「仕事をAIにまるなげ」。
正直、あまりピンとこなかった。
仕事は楽になるかもしれない。
でも、コストはどうなの?
普通、業務効率化ならコストも下げるはずです。
人間の作業時間が減ったのはわかる。
見るべきなのは、たぶんここです。
・削減した時間 × 自分の単価
・その時間を作るために AI に払う単価
AI側が小さければ得。
でも本当にそうなっているのかは、投稿からは見えにくい。
だから同じ土俵で同じ処理をさせて、測定する。
感想ではなく、時間と精度とトークンコストで比較する。
具体的には、1つのYouTube URLから字幕データを取得して要約する作業を、
まるなげ / スキル / アプリの3つのやり方で比較します。
2. 想定結論(仮説)
先に、いまの想定は以下の通りです。
想定:
同じ仕事なら、高単価モデルでなくても
Cursor + Composer2.5 で十分戦えるはず。
高いモデル必須、みたいな空気は過大評価だと思っている。
ただ、これは予想です。
検証はきっちりやって、出た数字はそのまま出します。
想定と違う結果なら、そっちを正しい答えとして書きます。
先に勝ち宣言はしません。測ってから言います。
2.5. 別枠(Gemini API 無料枠)
本線(Cursor上のモデル比較)とは切り分けて考える。
別枠で、もう一つ見ていることがあります。
Gemini API の無料枠です。
文章の要約なら、無料枠でも十分戦えるのでは、と思っています。
今回は YouTube が対象で、学習されてもよい前提なので、無料枠も試してみます。
コストだけ見ると、アプリに Gemini API を組み込んで無料枠で回すのが強そう、というのがいまの見立てです。
これは本線(Cursor + Composer2.5 vs 高単価モデル)とは別枠です。
本線の数字とは切り分けて書きます。
3. 何を比較するか(ルール)
比較のルールは以下の通りです。
やり方は3つ。
まるなげ / スキル / アプリ
モデルは2つ。
Composer2.5(Fastでない方)
Claude-Opus-4.8-low-Thinking
見るのは3つ。
1. かかった時間
2. 要約の精度
3. トークン量(ドル換算)
単価の参照はここ:
https://cursor.com/ja/docs/models-and-pricing
名前 Composer2.5 --- Claude Opus 4.8
入力 $0.5 --- $5
キャッシュ書き込み - --- $6.25
キャッシュ読み取り $0.2 --- $0.5
出力 $2.5 --- $25
同じYouTube URLで固定。
方式×モデルごとに各3回。
AI社員が得か損か、ではなく、
同じ仕事を違う形でやったときに何が残るかを見ます。