1
0

Delete article

Deleted articles cannot be recovered.

Draft of this article would be also deleted.

Are you sure you want to delete this article?

夜間のclaude -pジョブをモデル別に計測する — ログからトークン数・所要時間・失敗率を集計する方法

1
Posted at

はじめに:「いくら使っているか」を誰も知らなかった

当社(合同会社ジョインクラス)では、launchd に登録した30個以上のジョブが夜間・日中に claude -p を呼んでいます。記事生成、朝のダイジェスト、部署ごとの backlog 消化などです。

2026年9月に棚卸ししたところ、困ったことがわかりました。

  • コストを記録していたのは 11種類のスクリプトのうち1種類だけ
  • その1件も、0.02 という固定の概算値を足しているだけ
  • 実測すると、「2+2は?」と聞くだけの1回で $0.27〜0.47 かかっていた

つまり、実際の消費は誰も把握していませんでした。この記事では、その後に入れた計測の仕組みを実装ベースで紹介します。ジョブ単位・モデル単位で、トークン数・所要時間・失敗率を集計します。

手順は3つです。

  1. claude -p を共通ラッパー経由で呼び、--output-format json の結果を記録する
  2. 記録側で、モデル別・ジョブ別・日別に積み上げる
  3. 集計スクリプトで「重いジョブ」「落ちやすいジョブ」を洗い出す

1. --output-format json で何が取れるか

まずは手元で1回だけ試してください。

claude -p "2+2は?" --output-format json | jq '{
  is_error, duration_ms, duration_api_ms, num_turns, total_cost_usd,
  usage: .usage | {input_tokens, output_tokens, cache_creation_input_tokens, cache_read_input_tokens},
  models: (.modelUsage | keys)
}'

計測に使うフィールドは次のとおりです。

フィールド 用途
duration_ms / duration_api_ms 全体の所要時間と、そのうちAPI待ちの時間
num_turns ツール呼び出しを含む往復数(ループ暴走の検知に使う)
usage.*_tokens 入力・出力・キャッシュ作成・キャッシュ読み取りのトークン数
modelUsage 実際に使われたモデルごとの内訳(fallback が効いたかどうかもここでわかる)
is_error 失敗フラグ。終了コードとは別に見る必要がある
permission_denials ツールが拒否された記録。応答自体は「成功」のまま返ってくる

僕が最初に驚いたのは cache_creation_input_tokens の大きさです。1回の呼び出しで約41,000トークンのキャッシュを作っていました。そのうち自社の CLAUDE.md・エージェント・スキルが占めるのは5,800トークンほどで、残りは Claude Code 側の固定オーバーヘッドでした。プロンプトを削っても効果は小さく、効くのは呼び出し回数を減らすことだけだとわかったのは、この数字を見たからです。

2. 共通ラッパー:全ジョブをここに通す

各スクリプトに直接 claude -p を書くと、計測が漏れます。そこで lib/claude-run.sh を作り、全ジョブをこの関数経由に置き換えました。実際に本番で動いているコードです(オフィス画面への通知など、計測に関係しない部分は省いています)。

lib/claude-run.sh
#!/bin/bash
# 使い方:
#   source .company/scripts/lib/claude-run.sh
#   RESULT=$(claude_run dept-dev --effort low -p "…")
# 標準出力には応答テキストだけを出すので、従来の `claude -p` と差し替えられる。
# 注意: --bare は認証を読まないため "Not logged in" で失敗する。使わない。

_CLAUDE_RUN_LIB="$(cd "$(dirname "${BASH_SOURCE[0]}")" && pwd)"

claude_run() {
  local label="$1"; shift
  local marker="$_CLAUDE_RUN_LIB/../logs/.usage-limited"
  # 利用上限に当たった直後の60分は呼ばない(失敗を積み増さないため)
  if [ -f "$marker" ] && [ $(( $(date +%s) - $(stat -f %m "$marker") )) -lt 3600 ]; then
    echo "(Claudeの利用上限に当たった直後のため見送り: $(cat "$marker"))"
    return 0
  fi
  local session
  session=$(uuidgen | tr '[:upper:]' '[:lower:]')
  claude --output-format json \
         --session-id "$session" \
         ${CLAUDE_MODEL:+--model "$CLAUDE_MODEL"} \
         --fallback-model "$([ "${CLAUDE_MODEL:-opus}" = sonnet ] && echo haiku || echo sonnet)" \
         --max-budget-usd 3 \
         "$@" 2>>"$_CLAUDE_RUN_LIB/../logs/claude-run.err" \
    | python3 "$_CLAUDE_RUN_LIB/record-cost.py" "$label"
  # パイプの $? は python の値になり、claude の失敗が rc=0 に化ける。claude 側を優先する
  local status=("${PIPESTATUS[@]}")
  local rc=${status[0]}
  [ "$rc" -eq 0 ] && rc=${status[1]}
  [ "$rc" -ne 0 ] && echo "$(date '+%F %T') [$label] rc=$rc (claude=${status[0]} record-cost=${status[1]})" \
    >>"$_CLAUDE_RUN_LIB/../logs/claude-run.err"
  return $rc
}

呼び出し側の変更は1行です。

# Before
RESULT=$(claude -p "$PROMPT" --model sonnet)
# After
source "$SCRIPTS/lib/claude-run.sh"
RESULT=$(CLAUDE_MODEL=sonnet claude_run auto-morning -p "$PROMPT")

ここでハマった落とし穴

① PIPESTATUS を見ないと失敗率が0%になる

claude ... | python3 record-cost.py と書くと、$? は python の終了コードになります。claude が落ちても python は正常終了するので、全ジョブが成功扱いになっていました。2026年11月に気づいて、上のように PIPESTATUS[0] を優先する形に直しています。失敗率を測る仕組みそのものが失敗を隠していた、という笑えない話です。

② --fallback-model を付けるとモデル名で集計できなくなる

主モデルが混んでいると、ジョブは落ちずに Sonnet で完走します。ありがたい仕組みですが、--model に渡した値で集計すると実態とずれます。必ず modelUsage のキーで数えてください。

③ --max-budget-usd は暴走止めとして使う

当社は CLI の定額プランなので、金額は参考値です。それでも --max-budget-usd 3 は残しています。通常の実測は1回$0.02前後なので、通常運転では当たりません。ツール呼び出しがループしたときにだけ効く安全弁です。

3. 記録側:モデル別・ジョブ別・日別に積む

record-cost.py は標準入力から JSON を受け取ります。応答テキストは標準出力にそのまま流し、計測値は cost-tracker.json に積みます。以下は本番コードから集計部分を抜き出し、今回のテーマに合わせて 所要時間とトークン数を追加したものです。

lib/record-cost.py
#!/usr/bin/env python3
"""claude --output-format json | record-cost.py <ジョブ名>"""
import datetime, json, os, pathlib, sys

COST_FILE = pathlib.Path(os.environ.get("COST_FILE")
                         or pathlib.Path(__file__).resolve().parents[1] / "cost-tracker.json")


def main():
    label = sys.argv[1]
    raw = sys.stdin.read()
    try:
        d = json.loads(raw)
    except json.JSONDecodeError:
        sys.stdout.write(raw)  # JSONでなければ素通し(呼び出し側を壊さない)
        return 0

    out = d.get("structured_output")  # --json-schema 指定時
    sys.stdout.write(json.dumps(out, ensure_ascii=False) if out is not None else d.get("result") or "")

    month = datetime.date.today().strftime("%Y-%m")
    try:
        t = json.loads(COST_FILE.read_text(encoding="utf-8"))
    except Exception:
        t = {}
    if t.get("month") != month:  # 月替わりで前月分を退避する
        if t.get("month"):
            COST_FILE.with_name(f"cost-tracker-{t['month']}.json").write_text(
                json.dumps(t, ensure_ascii=False, indent=1), encoding="utf-8")
        t = {"month": month}

    usage = d.get("usage") or {}
    j = t.setdefault("jobs", {}).setdefault(label, {"calls": 0, "errors": 0, "usd": 0.0})
    j["calls"] += 1
    j["usd"] = round(j["usd"] + float(d.get("total_cost_usd") or 0), 6)
    if d.get("is_error"):
        j["errors"] += 1
    for key in ("input_tokens", "output_tokens",
                "cache_creation_input_tokens", "cache_read_input_tokens"):
        j[key] = j.get(key, 0) + int(usage.get(key) or 0)
    # 所要時間は合計と最大を持つ(平均だけだと外れ値が見えない)
    ms = int(d.get("duration_ms") or 0)
    j["duration_ms_total"] = j.get("duration_ms_total", 0) + ms
    j["duration_ms_max"] = max(j.get("duration_ms_max", 0), ms)
    # 実際に使われたモデルで数える(fallback 後のモデルが入る)
    for model in (d.get("modelUsage") or {}):
        models = j.setdefault("models", {})
        models[model] = models.get(model, 0) + 1

    COST_FILE.write_text(json.dumps(t, ensure_ascii=False, indent=1), encoding="utf-8")
    return 0


if __name__ == "__main__":
    sys.exit(main())

本番版ではこのほかに、次の2つも入れています。

  • permission_denials を1件1行で claude-run.err に書く。ツール拒否は応答が成功扱いのまま黙って起きるので、ログに残さないと気づけません
  • is_error で、かつ本文に usage limit などが含まれていたら .usage-limited という印のファイルを作る。ラッパーはこれを見て60分間呼び出しを止め、Slack に通知します

検証方法:本番ファイルを汚さずにテストする

COST_FILE を環境変数で差し替えられるようにしてあるので、偽の JSON を流し込むだけで動作を確認できます。

export COST_FILE=$(mktemp)
echo '{"result":"ok","is_error":false,"duration_ms":4200,"total_cost_usd":0.03,
 "usage":{"input_tokens":12,"output_tokens":80,"cache_creation_input_tokens":41000},
 "modelUsage":{"claude-sonnet-5-5":{}}}' | python3 lib/record-cost.py test-job
echo '{"result":"API Error","is_error":true,"duration_ms":90000,"modelUsage":{"claude-opus-5-5":{}}}' \
  | python3 lib/record-cost.py test-job
jq '.jobs["test-job"]' "$COST_FILE"

calls: 2、errors: 1、duration_ms_max: 90000 になっていれば成功です。当社はこれを record-cost.test.py として単体テストにしています。

4. 集計:重いジョブ・落ちるジョブを出す

最後に、溜まった JSON を表にします。jq だけで書けます。

scripts/job-report.sh
#!/bin/bash
# 使い方: job-report.sh [cost-tracker.json]
F="${1:-.company/scripts/cost-tracker.json}"
jq -r '
  .jobs | to_entries
  | map(.value as $j | {
      job: .key,
      calls: $j.calls,
      fail_pct: (if $j.calls > 0 then ($j.errors * 100 / $j.calls) else 0 end),
      avg_sec: (if $j.calls > 0 then (($j.duration_ms_total // 0) / $j.calls / 1000) else 0 end),
      max_sec: (($j.duration_ms_max // 0) / 1000),
      out_tok: ($j.output_tokens // 0),
      cache_tok: ($j.cache_creation_input_tokens // 0),
      models: (($j.models // {}) | to_entries | map("\(.key | sub("claude-"; ""))=\(.value)") | join(","))
    })
  | sort_by(-.cache_tok)
  | (["job","calls","fail%","avg_s","max_s","out_tok","cache_tok","models"] | @tsv),
    (.[] | [.job, .calls, (.fail_pct|floor), (.avg_sec|floor), (.max_sec|floor),
            .out_tok, .cache_tok, .models] | @tsv)
' "$F" | column -t -s $'\t'

出力はこんな形になります(数値は説明用に丸めたものです)。

job              calls  fail%  avg_s  max_s  out_tok  cache_tok  models
idle-marketing   310    3      95     540    410000   12700000   opus-5-5=290,sonnet-5-5=20
auto-replenish   30     0      240    600    260000   1300000    opus-5-5=30
auto-morning     30     0      40     70     45000    1230000    sonnet-5-5=30

表の読み方

  • cache_tok が大きいジョブ = 呼び出し回数が多いジョブ。前述のとおり固定オーバーヘッドが大半なので、まず回数を減らせるかを考えます。当社では、10分間隔で回していた部署ジョブを「backlog に仕事があるときだけ呼ぶ」ように変えたのが一番効きました
  • models に fallback 先が混ざっているジョブは、主モデルが混む時間帯に走っています。夜間の実行時刻をずらす候補です
  • max_s が avg_s の5倍以上あるジョブは、ツール呼び出しのループかタイムアウト寸前です。num_turns もあわせて記録すると原因を絞りやすくなります
  • fail% が0なのに成果物が出ていないときは、claude-run.err の permission_denied 行を確認してください。当社ではこのパターンが一番多かったです

まとめ

  • claude -p は --output-format json で呼び、duration_ms・usage・modelUsage・is_error を記録する
  • 全ジョブを共通ラッパーに通す。PIPESTATUS を見ないと失敗率が0%に化ける
  • モデル名は --model の値ではなく、modelUsage のキーで数える
  • 集計すると、削るべきは「プロンプトの長さ」より「呼び出し回数」だとわかる

経営の側から見ると、この計測を入れてようやく「どの業務にAIを何回使っているか」を数字で話せるようになりました。感覚で「AIに任せている」と言っていた時期は、実際には誰も中身を見ていなかったわけです。まずはラッパー1本と jq 1本から始めてみてください。

参考:この仕組みを詳しく書いた本

launchd / cron で Claude Code を無人実行する仕組み(ラッパー、監視、自己修復)は『Claude Code 全自動化バイブル』にまとめています。キャッシュやコストの効き方を CLAUDE.md 側から詰めたい方には『CLAUDE.md設計パターン』がおすすめです。

書籍一覧: https://zenn.dev/joinclass?tab=books
社内で同じような仕組みを作りたいが手が回らない場合は、合同会社ジョインクラスで中小企業向けの業務システム開発・DX支援(国内)を受けています。
👉 業務システム・DXの無料相談

1
0
1

Register as a new user and use Qiita more conveniently

  1. You get articles that match your needs
  2. You can efficiently read back useful information
  3. You can use dark theme
What you can do with signing up
1
0

Delete article

Deleted articles cannot be recovered.

Draft of this article would be also deleted.

Are you sure you want to delete this article?