最終更新: 2026-09-29
結論（先に要点）
skill-creator は、Anthropic が公開している「スキルを作るためのスキル」です。意図のヒアリング、SKILL.md の下書き、テストプロンプト2〜3件の作成と進み、各テストを「スキルあり」「スキルなし」の2本で同じターンに並列実行して比較します。最後に、説明文（description）を60/40の訓練・検証分割で自動チューニングするスクリプトまで付いています。
この記事は、Skillselion の skill-creator スキルの掲載ページ にある SKILL.md を節ごとに読んだ深掘り解説 をもとに、Claude Code で実際に評価ループを回すときの手順だけを抜き出したものです。
引用はすべて anthropics/skills（GitHub） の HEAD コミット 8a1541c（2026-09-29 時点）で原文と一致することを確認しています（skill-creator のソースフォルダ）。skills/skill-creator/SKILL.md を最後に変更したコミットは b0cbd3d（2026-03-06）です。
skill-creator をインストールするには？
npx skills add https://github.com/anthropics/skills --skill skill-creator
ほかの導入方法は Claude Code スキルのインストール方法ガイド（英語） にまとめています。
注意点がひとつあります。Skillselion の調査 スキルのクローン調査（Skill Clone Census） では、2026-08-12 時点のカタログで skill-creator のコピーが27件見つかり、複製数の多いオリジナルとして4位でした。入れる前に、公開元が anthropics であることを確認してください。Anthropic 自身も claude-plugins-official 版 skill-creator プラグインの掲載ページ（GitHub）として別枠で配布しています。
手順1: テストはなぜ「2本同時」に走らせるのか？
評価パートの冒頭で、SKILL.md はこう念を押しています。
This is important: don't spawn the with-skill runs first and then come back for baselines later. Launch everything at once so it all finishes around the same time.
出典: skills/skill-creator/SKILL.md 171行目、コミット 8a1541c
（訳: スキルありの実行を先に済ませて、あとからベースラインを取りに戻るのはやめること。全部を同時に起動して、だいたい同じタイミングで終わるようにする。）
ベースラインがないと「出力が良かった」ことしか分かりません。それがスキルのおかげなのかは分からないままです。モデルが素でできることをスキルに書いていないかを確かめられるのは、スキルなしの実行だけです。既存スキルを改善するときは、編集前のバージョンをコピーしておき、それをベースラインにします。
手順2: 結果はどこに保存され、何を採点するのか？
実務で引っかかりやすい点を2つ挙げます。
- 結果は
<skill-name>-workspace/に書き出され、場所はスキルのディレクトリと同じ階層です。一時ディレクトリではないので、早めに.gitignoreに入れておくと安全です。 -
grading.jsonの期待値配列は、フィールド名text・passed・evidenceを使う必要があります。eval viewer がこのキー名をそのまま読むためです。
採点が終わると、ベンチマークの集計（python -m scripts.aggregate_benchmark）と、ブラウザで出力を見比べるビューア（eval-viewer/generate_review.py）に進みます。
手順3: スキルが発火しないときは説明文をどう直す？
説明文のチューニングは、スコアで決めます。
It splits the eval set into 60% train and 40% held-out test, evaluates the current description (running each query 3 times to get a reliable trigger rate), then calls Claude to propose improvements based on what failed.
出典: skills/skill-creator/SKILL.md 394行目、コミット 8a1541c
（訳: 評価セットを訓練60%・検証40%に分け、現在の説明文を評価し（発火率を安定させるため各クエリを3回実行）、失敗したものをもとに Claude に改善案を出させる。）
最終的な説明文は、訓練スコアではなく検証スコアで選ばれます。過学習を避けるためです。
入力のクエリは約20件、そのうち8〜10件を「発火してはいけない」ケースにします。ここで手を抜くと効きません。
The key thing to avoid: don't make should-not-trigger queries obviously irrelevant.
出典: skills/skill-creator/SKILL.md 358行目、コミット 8a1541c
（訳: 避けるべきなのは、発火してはいけないクエリを明らかに無関係なものにすること。）
PDF スキルの負例に「フィボナッチ関数を書いて」を入れても、境界は何も測れません。隣接するけれど対象外、という紛らわしい例を入れて初めて意味が出ます。
Claude.ai でも同じことができる？
一部だけです。説明文の最適化は claude -p を呼び出すため Claude Code 専用で、SKILL.md は Claude.ai ではスキップするよう指示しています。サブエージェントがない環境ではベースライン比較も成り立たないので、定量的なベンチマークも省かれます。
This section requires the
claudeCLI tool (specificallyclaude -p) which is only available in Claude Code. Skip it if you're on Claude.ai.
出典: skills/skill-creator/SKILL.md 432行目、コミット 8a1541c
公式リポジトリのほかのスキルで試すなら？
評価ループの練習台には、公式リポジトリの大きめのスキルが向いています。
- frontend-design スキルの掲載ページ（GitHub）: 新規 UI の構築や既存 UI の作り直しが対象で、複数ステップの作業になります。
- claude-api スキルの掲載ページ（GitHub）: HEAD 時点で SKILL.md が603行あり、skill-creator 自身が示す「500行未満」の目安を超えています。
- mcp-builder スキルの掲載ページ（GitHub）: MCP サーバー構築向けのスキルです。
リポジトリ全体は anthropics/skills リポジトリの掲載ページ で一覧できます。HEAD 時点のスキルフォルダは19個です。GitHub の API によると、2026-09-29 時点でスター178,887、フォーク21,147でした。
数字の確認
| 項目 | 値 | 出典 |
|---|---|---|
| skill-creator の累計インストール数 | 374,263 | Skillselion 掲載ページの表示（2026年9月7日のカタログ同期時点、2026-09-29 確認） |
| anthropics/skills のスター数 | 178,887 | GitHub API（2026-09-29） |
| SKILL.md の行数 | 485行 | GitHub、コミット 8a1541c
|
| skill-creator のコピー数 | 27件 | Skill Clone Census（2026-08-12 のカタログ） |
よくある質問
Q. テスト用のプロンプトは何件用意すればいい？
A. 最初は2〜3件の現実的なプロンプトで始め、手ごたえが出てからテストセットを広げる流れです。説明文のチューニングには約20件を使います。
Q. 1回しか書かない SKILL.md にも使うべき？
A. おすすめしません。テスト1件ごとに毎回2本のサブエージェント実行がかかります。複数のスキルを保守している場合や、使われるべきスキルが発火しない場合に向いています。
Q. ほかのテスト系スキルも探したい。
A. テスト・コードレビュー系スキルのカテゴリ一覧 や AI・エージェント分野のおすすめスキル一覧 から探せます。スキルをゼロから作る流れは skill-creator でカスタムスキルを作る手順ガイド（英語） にあります。
※ 開示: Skillselion は私たちが運営するディレクトリです（運営: Ellelion LLC。Anthropic、OpenAI、Cursor とは無関係）。掲載データは skills.sh、GitHub、MCP レジストリと同期するライブカタログで、実際のインストール数で順位付けしています。本文中の数値は、それぞれに記した日付時点のスナップショットです。日本語でスキルを探すなら Skillselion 日本語版トップページ からどうぞ。