はじめに
これを始めたきっかけは、歯面についているテフロンが擦れて無くなっているところの幅を知りたかった。
claudeに写真を見せて、質問をしても頓珍漢な答えを返してくる。
このアホになぜ出来ないんだと聞いたら、経験が溜まらないからと答えた。
経験値を残してやれば、もう少し使えるAIになるかもしれないと考えて、外部に経験値をのこしてやることにした。
前回の記事「AIの推察力を測る試験を作った」では、走行後の歯車の写真1枚を使い、AIがどこまで自力で決め手に届くかを11問の試験にしました。参考記録は34点満点中21点。私が一言ずつ見る場所を示さないと、AIは決め手に届きませんでした。
今回は、その続きです。過去の歯車関係のチャットから「事例集」を作り、AIに読ませてから同じ試験を解かせました。さらに、事例集に「決め手の見つけ方」を書き足して、もう一度試しました。
結果を先に書くと、次のとおりです。
| 条件 | 3回の点数 | 平均 |
|---|---|---|
| 事例集なし(参考記録) | 21 | 21 |
| 事例集(誤りの記録だけ) | 28・28・26 | 27.3 |
| 事例集+決め手の見つけ方 | 33・33・31 | 32.3 |
事例集の作り方
過去のチャットを、決まった型で1件ずつ抜き出しました。2026年3月から11月までの歯車関係で、18件です。
| 項目 | 中身 |
|---|---|
| 観察 | 私が言葉で述べたことだけ。現物を見た人の記録として、いちばん重く扱う |
| 決め手 | 見立てが分かれた観察 |
| AIの誤り | AIが推測で埋めたこと、どう正されたか |
抜き出してみると、AIは同じ型の誤りを3月から11月まで繰り返していました。
| 誤りの型 | 例 |
|---|---|
| 中心・縮尺を決めずに測る | 目盛りの自動検出で113px/mm(ノギス基準では125px/mm)。中心のない41Tで圧力角を測ろうとした |
| 面・向き・基準の取り違え | 1層目の向き、写真の面、圧力角の基準軸 |
| 仕様・前提の推測 | 歯数、歯幅、樽型かどうか |
| 理屈づけを観察より先に立てる | 「8Tは歯元寄りが削れるはず」と予想して外した |
| 訂正済みの誤りを別のチャットで再発 | 谷底の盛り上がりの原因をZシームとした説明 |
この誤りの傾向の表と、複数の事例で確かめた観察(「8Tと41Tはピッチ円より外側同士で擦れ、内側は潤滑剤が残る」など)を、事例集の柱にしました。
試験の方法
- 写真は前回と同じです。事例集からは、この写真そのものを扱った2件を外しました。
- AIは、会話の経緯を知らない新しいエージェントとして立ち上げました。使ってよいのは写真と事例集だけ。記憶、過去の会話の検索、ほかのファイルは使わせていません。後で道具の使用記録を確かめ、守られていることを確認しました。
- 問いの順番とヒントは前回の試験と同じです。ヒントなしで届けば3点、ヒント1つで2点、2つで1点、3つで0点。仕様を推測せず尋ねたら+1点。形状の上限を超える数値を照合せずに出したら−1点。
- 採点は前回より厳しめの基準にそろえ、同じ条件で3回ずつ試しました。
結果1:誤りの記録だけでは、決め手は見つからない
事例集(誤りの記録だけ)を読ませると、平均は21点から27.3点に上がりました。上がった問いは、事例集に書いた誤りの所とはっきり重なります。
- 仕様を推測で埋めず、尋ねるようになった
- 1層目の向きを取り違えなくなった
- Zシーム説を繰り返さなくなった
一方、写真から自分で決め手を拾う必要がある問いは、点が低く、回によって大きくぶれました。
| 問 | 内容 | 3回の点数 |
|---|---|---|
| 1 | 右端の歯面の向き | 3・2・1 |
| 7 | 削れ幅 | 2・0・−1 |
| 10 | 谷底のボツ | 1・2・2 |
問7の決め手は、「モーター軸の中心と、正面の谷底のずれから、歯車の回転角を求める」ことです。3回とも、自分からはこれに届きませんでした。2回は、右端の歯を「真横から見ている」と思い込み、写った横幅をそのまま半径に換算して、フランク長の上限0.72mmを超える値を出しています。しかも、矛盾に気づいたあと、測り方を疑わずに「干渉している」という説明を付けていました。
なぜ伸びないのか
AI自身に理由を考えさせると、次の4つを挙げました。
- 事例集に書いてあるのは「してはいけないこと」で、「見つけ方」ではない
- 自分が前提を置いていることに気づけない
- 矛盾が出ると、理屈で辻褄を合わせてしまう
- 測る力はあるのに、何を測るかを選べない
4つ目は試験でもはっきり出ています。「白線をモーター軸の中心と考えろ」「谷底とシャフト中心のずれを見ろ」とヒントを出した途端、AIは22画素のずれを正確に測り、正しい答えに着きました。
決め手の見つけ方を書き足す
そこで、私がいつもやっている見方を、手順として事例集に書き足しました。
歯車の回転角度を先に決める(横から撮った写真)
- 写真の中の軸の、左右の縁の中点を中心線とする
- 正面にいちばん近い谷の中心を決める(両脇の谷は片側の歯面が隠れるので使わない)
- ずれを、ノギスで決めた縮尺で長さに直す
- 回転角を出す
\varphi = \arcsin\left(\frac{\text{ずれ}}{\text{歯底円半径}}\right)
- 歯数から各歯の角度を出す
- いちばん外側の歯の歯先が、計算どおりの位置に来るかを輪郭で確かめる
あわせて、「矛盾が出たら、説明を足す前に測り方を疑う」「解析の前に、置いている前提を書き出す」の2つも加えました。
試験用の事例集からは、この写真での答えの数値(谷の位置、回転角、フランク長の上限)を抜いています。
結果2:手順を渡せば使える
| 問 | 内容 | 誤りの記録だけ | +見つけ方 |
|---|---|---|---|
| 1 | 右端の歯面の向き | 3・2・1 | 3・3・3 |
| 6 | 寸法を出せ | 3・4・3 | 4・4・4 |
| 7 | 削れ幅 | 2・0・−1 | 3・3・2 |
| 10 | 谷底のボツ | 1・2・2 | 2・2・2 |
| 合計 | 28・28・26 | 33・33・31 |
- 3回とも、問1の時点で自分から軸と谷底のずれを測り、「歯車は回った位置で写っている」と判断しました。前の3回では一度も出なかった動きです。
- 問7は、2回がヒントなしで満点でした。回転角を7.5°と9.4°と出し、輪郭で照合したうえで、削れ幅を歯面に沿って約0.6〜0.72mm、フランク長の上限以内に収めています。前回、AIが私のヒントを受けて出した結果(回転角7.7°、約0.72mm)とほぼ同じです。
- 矛盾が出たとき、説明を足す前に前提を疑う場面が増えました。縦と横の縮尺が4%違うことに気づき、歯先の丸みを入れて測り直した回もありました。
効かなかった所もあります。
- 1回は、軸の中心を自分で測りながら使わず、3点の当てはめで回転角を3.2°と出しました。手順を書いても、守り方には回ごとの差が残ります。
- 問10の「削れたボツの高さから軸間距離を逆算できる」は、6回とも自力でははっきり出ませんでした。手順に書いていないことは、やはり出てきません。
結果の読み方
伸びたのは、書き足した手順をそのまま当てはめられた所です。同じ写真での試験なので、手順はこの写真の答えにほぼ直結しています。AIが決め手の見つけ方を自分で見つけたのではありません。人が見つけた見方を手順として渡せば、AIは使えるようになった、ということです。
それでも、意味はあると考えています。AIは会話が終わると何も覚えていませんが、手順を一度書いておけば、次のAIが同じ種類の写真で同じ所につまずかなくなります。その効き目は、3回とも数字で出ました。
試験は一人の採点者(しかも答えを知っている者)によるもので、写真も1枚だけです。次は別の写真で、この手順がほかの写真にも通用するかを確かめるつもりです。
まとめ
- 過去のチャットから誤りの記録を作ってAIに読ませると、同じ誤りは減った(21点→27.3点)
- ただし、写真から自分で決め手を見つける力は伸びなかった
- 人が使っている「決め手の見つけ方」を手順として書き足すと、AIはそれを使えた(27.3点→32.3点)
- 手順に書いていない決め手は、相変わらず見つけられない
AIは、見方を教えれば正確に速く測る道具になります。何を見るべきかを決めるのは、今のところ人の側です。
いつまでも人に頼ってないで、AIが答えを出してくれよと思う。
いまはこの写真の専用の暗黙知になっていると思うが、事例が増えていけば違うことに活用できるかもしれない。