1
0

Delete article

Deleted articles cannot be recovered.

Draft of this article would be also deleted.

Are you sure you want to delete this article?

【Claude Codeと麻雀アプリを作る 第1回】Claude Codeと3日で麻雀の点数計算アプリを作った。AIが間違えた5つのことと、その見つけ方

1
Last updated at Posted at 2026-11-16

Claude Code に頼んで麻雀の点数計算アプリを3日で作りました。手牌をスマホで撮ると役と点数が自動で出ます。

アプリの画面

コードはすべて AI が書いています。私がやったのは作りたいものを伝えることと、できたものを触っておかしな点を指摘することだけです。

3日でここまで動くものができたのは正直驚きでした。ただ AI は「できました」と報告しながら何度も間違えていました。この記事ではそのうちの5つについて、何が起きたのか、なぜ見逃したのか、どう気づいたのかを書きます。

先に結論を書くと、5つとも実装したときと同じ条件でしか検証していなかったことが原因でした。条件を変えて確かめ直すと見つかった、というのが共通点です。

使った AI

用途 使ったもの
開発(設計・実装・テスト・デプロイ) Claude Code のデスクトップアプリ。モデルは Claude Fable 5.2
実装の一部(2日目から) Claude Opus。Claude Code のサブエージェントとして並行で動かした
アプリの中で牌を読む 自作のモデル(CNN + CTC、約34万パラメータ、0.7MB)。PyTorch で学習。GPU なしの PC で3〜4時間
牌を読む処理の予備 Gemini API の無料枠(gemini-3-flash-preview と gemini-4-hydrogen)
試してやめたもの Cloudflare Workers AI の画像モデル

牌を読むモデルの学習スクリプトと学習用の画像を合成するコードも Claude Code が書いています。

最初に渡した指示はおおよそ次の4点で、技術選定は AI に任せました。

  • 誰が誰からアガったのかを見た目でわかりやすく選べること
  • Cloudflare に載せること
  • 無料で使える範囲で構成を考えること
  • モダンでかっこいい UI にして UX も考え抜くこと

作ったもの

卓を囲む全員で使う麻雀の点数管理アプリです。

  • 手牌を撮ると役・翻・符・支払いまで自動で出る
  • QR コードか6文字の番号で全員が同じ卓を同時に編集できる
  • ポン・チー・カンも写真の牌の並びから判定する
  • アガると手の大きさに応じた演出が出る
  • サーバー代は0円(Cloudflare の無料枠だけで動く)

アガリを入力する流れは次のとおりです。

shot-flow.png

※ この画面の手牌は牌の絵を並べて作った画像を読み取らせたものです。

構成は次のとおりです。

fig-2-architecture.png

牌の写真はサーバーへ送らずにスマホの中で読みます。点数計算のコードはブラウザとサーバーで同じものを使っています。

3日間の流れ

fig-1-timeline.png

初版ができてから公開までは38分でした。実装の速さは期待以上でしたが、そのコードには間違いも混ざっていました。以降は見つかった順ではなく説明しやすい順に並べています。

間違い1: テストは全部通るのにブラウザでは一盃口が付かない

アプリで実際に手を入力してみると一盃口が付きませんでした。この時点でテストはすべて通っています。

役の判定には riichi というライブラリを使っています。このライブラリは一盃口の判定で2つの面子が同じかどうかを Node.js の assert.deepStrictEqual で比較し、例外が出たら「違う」と判断する実装になっていました。

node_modules/riichi/yaku.js(抜粋)
try {
    assert.deepStrictEqual(v, o.currentPattern[i])
    return true
} catch(e) {}

テストは Node.js で動くので問題なく通ります。
ところが Vite でブラウザ向けにビルドすると Node.js の組み込みモジュールである assert は空のモジュールに置き換えられます。
空のモジュールに deepStrictEqual は存在しないため呼び出しは TypeError になり、それを上の空の catch が握りつぶします。
その結果エラーは一切出ずに一盃口だけが常に不成立になっていました。

fig-3-iipeikou.png

対策は2つです。

  • assert をブラウザでも動く自前の実装に差し替える
  • 空のモジュールがバンドルに残っていたらビルドを失敗させる
vite.config.ts(抜粋)
/** 空に差し替えられた Node.js の組み込みモジュールが束に残っていたらビルドを失敗させる */
export const noBrowserExternal: Plugin = {
  name: 'tenbo:no-browser-external',
  apply: 'build',
  generateBundle(_, bundle) {
    const bad = new Set<string>();
    for (const c of Object.values(bundle)) {
      if (c.type !== 'chunk') continue;
      for (const id of Object.keys(c.modules)) if (id.includes('__vite-browser-external')) bad.add(id.replace(/^\0/, ''));
    }
    if (bad.size) {
      this.error(`ブラウザでは空になる Node.js の組み込みモジュールが使われています: ${[...bad].join(', ')}。vite.config.ts の alias で差し替えてください`);
    }
  },
};

加えて本番と同じ設定でビルドした成果物を実行し、一盃口が成立することを確認するテストも追加しました。

考察

原因は2つありました。

1つ目はテストの対象がソースコードであって、ユーザーに届くビルド成果物ではなかったことです。テスト環境と本番環境の差異は昔からある問題ですが、AI から「テストは全部通りました」と報告されると本番でも動くものだと思い込んでしまいます。

2つ目はエラーが表に出なかったことです。空のモジュールへの置き換えも空の catch もエラーを出さずに処理を続ける仕組みです。この2つが重なったことで、不具合が「役が成立しなかった」という正常な結果に見えていました。

今回の対策で重要なのは assert の差し替えよりもビルドを失敗させるほうです。エラーが握りつぶされる箇所を早い段階で落ちるようにしておけば、同じ種類の問題が次に起きたときにも気づけます。

間違い2: モデルが弱いと思ったら正解データが間違っていた

牌を読むモデルの精度を実物の写真で測っていたときのことです。
結果を見ると九索を六索と読み間違える傾向があるように見えました。

調べてみると間違っていたのはモデルではなく正解データのほうでした。
六索の牌3枚に「九索」というラベルが付いていたのです。

六索は竹の真ん中に節があるため、写真を縮小すると2段の竹が3段に見えます。
縮小した画像を見ながらラベルを付けたせいで六索を九索としてしまい、モデルの正しい答えを不正解として数えていました。

ラベルを直すと正解率は151枚中146枚(96.7%)でした。
同じ時期に単色の索子や筒子を学習データに増やす追加学習も試していましたが効果はありませんでした。

考察

151枚中の3枚なので正解率への影響は2ポイント程度で、数字だけを見れば誤差の範囲です。

問題は誤りが同じ牌に集中していたことでした。バラバラの3枚であればノイズで済みますが、同じ牌で3枚続くと「モデルの弱点」に見えてしまい、存在しない弱点への対策に時間を使うことになります。

評価データが少ないうちは、集計結果から結論を出す前に間違えた事例を1件ずつ元の画像で確認するほうが早くて確実です。精度が悪いとモデルを疑いがちですが、評価データが間違っている可能性も同じくらい疑うべきでした。

間違い3: LLM に牌を読ませたら夜は使えなかった

牌の読み取りは最初、画像を読める LLM に任せていました。

試したもの 結果
Cloudflare Workers AI の画像モデル(無料枠) 14枚まとめて読ませると3〜4枚しか合わない。1枚ずつでも最高で9枚
Gemini API(無料枠) 2種類の画像を計5回読ませて、すべて14枚中14枚正解
夜間帯に応答まで34〜43秒。「高負荷」で断られることもあった

Gemini API を昼に試したときは完璧でしたが、夜に使おうとすると使えませんでした。麻雀を打つのはたいてい夜なのでこれでは困ります。

そこで牌を読む小さなモデルを自作し、ブラウザの中で動かす方式に変えました。学習に使っていない実物の写真14列で比較した結果が次の図です。

fig-4-vision.png

Gemini の読み取り自体は正確で、使えなかった原因は無料枠の混雑でした。

考察

「5回試して全部正解」で確認できていたのは精度だけで、実用に耐えるかどうかは確認できていませんでした。応答時間や失敗率といった非機能要件を、昼間に数回試しただけで問題なしと判断していたことになります。

無料枠の API には応答時間の保証がなく、混雑はこちらで制御できません。アプリの中核機能をそこに依存させるとアプリ全体の使い勝手が外部サービスの混み具合に左右されます。

自作モデルに切り替えた理由は精度ではなく、この依存をなくすことでした。その代わり学習データの管理や再学習といった保守作業が増えています。Gemini は予備として残し、端末で読めなかった場合と利用者が読み直しを選んだ場合にだけ使っています。

間違い4: 精度を上げるための前処理で逆に精度が落ちた

手牌の写真から牌が並んでいる部分だけを切り出す前処理の話です。
上下の余白を詰めれば読みやすくなるだろうと考えて、行ごとの白さを見て上下を詰める処理を入れました。

結果は逆でした。牌の白い側面を「牌の表面」と勘違いして絵柄のある面を切り落としてしまい、正解率は72%まで落ちました。

いまは牌の上端と下端を列ごとに拾って直線を当てはめ、傾きを直してから読んでいます。この方式に変えて日本の牌99枚の正解数が90枚から99枚に上がりました。

考察

「余白を詰めれば読みやすくなる」という説明はもっともらしく聞こえます。AI の提案には筋の通った理由が付いてくるので、理由の納得感だけで採否を決めているとこうした変更が入り込みます。

この処理を捨てる判断ができたのは、先に評価データがあり変更の前後を同じデータで比較できたからです。評価データがなければ「改善」としてそのまま残っていたと思います。

AI に改善を任せるなら最初に用意すべきものは評価データです。評価データがあれば AI の提案を実験として扱えるので、採用するかどうかを数字で判断できます。

試して不採用にした方法も理由と数字を添えて README に残しています。記録がないと人も AI も同じ案をもう一度思い付いて試してしまうからです。

間違い5: 点数計算を別の実装と突き合わせたらバグがいくつも出てきた

一盃口の件のあと、アプリの判定とは別に役と符を判定するコードをもう1つ書いてもらいました。
ランダムに作った手を両方に渡して答えが一致するかを確かめるためです。
同じ日に符の計算のバグも2つ直しています。

  • 辺張待ちの2符が付かない
  • 鳴いたチーに嵌張待ちの2符が付く

3日目には点数計算を総点検しました。
突き合わせる手を普段のテストの5,000手から20万手に増やしました。
あわせて点数表のすべての組み合わせ、場風と自風のすべての組み合わせ、局の進行を確かめるテストを363件追加しました。

以下はそこで見つかったバグの一部です。

  • ダブル立直に暗カンがあるとき付かないはずの一発が付く
  • 同じ牌の5枚目や存在しない牌が入った手をアガリとして受け付ける
  • チーの牌を並べる順番で答えが変わる
  • 終局したあとでもアガリやリーチを受け付ける
  • リーチを取り消すと供託がマイナスになることがある

3日目に見つかったものは普通に打っているとめったに出会わない形です。手で触って試すだけでは見つかりません。

考察

ここでやったのは差分テストと呼ばれる手法で、同じ入力を2つの実装に渡して結果が食い違った箇所を調べます。

テストケースを1つずつ書く方法では、書いた側が思い付いたケースしか確認できません。実装とテストを同じ AI が書くと、仕様の理解が抜けている部分はテストからも抜け落ちます。実際に見つかったバグは役の複合・不正な入力・終局後の操作など正常系から外れたものばかりでした。AI は正常系の実装は得意ですが、異常系や境界条件はこちらから指示しないとなかなか出てきません。

ただし2つ目の実装を書いたのも同じ AI なので、ルールの理解自体が間違っていれば両方とも同じように間違えます。そのため点数については公開されている点数表の数値をそのまま書き写して正解としました。計算式から正解を作ると式の誤りを検出できないからです。

比較対象には実装とできるだけ独立したものを選ぶことが重要でした。

まとめ

間違い 見逃した理由 気づいた方法
ブラウザで一盃口が付かない テストの対象がソースコードだった 本番と同じビルド成果物で動かす
正解データのラベルが間違っていた 集計した数字だけを見ていた 間違えた事例を元の画像で見る
夜は LLM が使えない 昼間に数回しか試していなかった 実際に使う時間帯に測る
前処理で精度が落ちた 理由がもっともらしかった 変更の前後を同じデータで測る
点数計算のバグ 実装とテストを同じ理解で書いていた 別の実装や公開の点数表と突き合わせる

5つは別々の問題に見えますが原因は共通しています。実行環境・試した時間帯・仕様の理解・書いた AI のどれもが実装したときと同じままで検証していました。条件が同じ検証では、その条件自体に問題があっても検出できません。

AI に「テストも書いて」と頼めばテストは書いてくれますし、そのテストは通ります。ただしそれは実装と同じ条件の中での話です。AI の「できました」は実装が終わったという報告であり、リリースしてよいという判定ではありません。

実装にかかる手間が減ると、人に残る仕事は検証の設計になります。何を正解とするのか、その正解を実装とどれだけ独立したところから持ってくるのか。検証用のコードを書くこと自体は AI に任せられますが、この部分は人が決める必要がありました。

なお、この記事で紹介したのはあくまで見つかった5つです。見つかっていない間違いもまだ残っているはずなので、今後も使いながら検証を続け、見つけたものは続きの記事で紹介していきます。

続きの記事

この記事で触れた話を1つずつ詳しく書いていきます。

  • LLM に麻雀牌を読ませるのをやめて 0.7MB のモデルを自作した
  • Node のテストは全部通るのにブラウザでだけ一盃口が成立しなかった
  • ライブラリなしの JavaScript で麻雀牌を読むモデルを動かす
  • Durable Objects の無料枠だけで卓の全員が同時に編集できる点数表を作る

アプリは無料で使えます。麻雀を打つ機会があればぜひ試してみてください。

1
0
0

Register as a new user and use Qiita more conveniently

  1. You get articles that match your needs
  2. You can efficiently read back useful information
  3. You can use dark theme
What you can do with signing up
1
0

Delete article

Deleted articles cannot be recovered.

Draft of this article would be also deleted.

Are you sure you want to delete this article?