はじめに

網羅編で、「入力のまとめ方を変えただけで、人間の打牌との一致率(Top-1)が+8ポイント上がった」と書きました。この記事はその詳細編①です。

何を変えたのか(最初の設計と、今の設計 v3)
どんな局面で良くなったのか
入力を1種類ずつ壊すと、何が効いていると分かるのか
「点数や順位のような、使わないと思っていた情報が実は効いていたのでは?」という疑問への答え

ここで言う精度は人間の打牌との一致率で、麻雀の強さではありません。モデルは各1本(seed 1)です。

比べた2つのモデル

最初に作ったモデルは、手牌・河・ドラなどを平らな1本の特徴ベクトルにまとめて、全結合層(MLP)で混ぜていました。これを「最初の設計」と呼びます(late fusion)。精度が思ったほど伸びず、牌ごとにトークンを作って1本の系列にする今の設計(v3、early fusion)に作り直しました。

この記事は、その作り直しで何が変わったのかの記録です。情報は同じで、混ぜ方だけが違う2つのモデルを比べます。

	最初の設計(late fusion)	v3(early fusion)
イベント系列(ツモ・打牌・鳴きの時系列)	Transformer 6層に通して1本のベクトルにまとめる	牌トークンと一緒に、1本の系列として Transformer 6層に通す
局情報(点数・順位・風など)と牌ごとの情報	局情報41次元と、牌ごとの20チャネル×37牌を平らにした781次元をMLPに通す	局情報は1トークン、牌は37トークン。牌ごとの情報はそのトークンに乗ったまま
出力	2つのベクトルをつなげて出力MLP	各牌トークンの最終隠れ状態に共通の `Linear(256→1)` をかけ、牌ごとにスコア

最初の設計は、「どの値がどの牌のものか」を、平らにした表からMLPが学ぶ必要があります。v3 は、値が牌トークンに付いたまま、その牌が自分のスコアを出します。

そろえた条件は次のとおりです。

データ: 天鳳2023年(鳳凰卓、4人打ち・赤あり)。学習は2023年のtrain 約5,580万局面、1エポック(27,244 step、バッチ2,048)、学習率3e-4、seed 1
評価: 同じ年のvalid 19,343試合。強制ツモ切りを除いた約872万局面
共通: 幅256、8ヘッド、FFN 1024、Pre-norm、同じイベント埋め込み
どちらも、牌効率やシャンテン数などの派生特徴は使っていない(牌の基本チャネルだけ)

結果は次のとおりです。

	最初の設計	v3	差(95%区間)
ツモ後の打牌	68.90%	77.14%	+8.24pt
鳴いた直後の打牌	67.29%	79.76%	+12.47pt
全局面	68.83%	77.25%	+8.42pt [+8.39, +8.45]

区間は試合単位のブートストラップ(2,000回)です。網羅編の 68.9% → 77.1% は、このうちツモ後の打牌の値です。

パラメータ数では説明できない

「v3 の方が大きいモデルだから」ではありません。

	パラメータ数	推論FLOPs(系列長33)
最初の設計	5,232,678	2.09億
v3	4,824,833	4.47億

v3 はパラメータが約8%少ないです。一方、計算量(FLOPs)は約2.1倍です。v3 は牌トークン37個と局情報トークン1個を系列に足すので、Transformerが処理するトークン数が増えます。計算量の増加が改善の一部を説明する可能性は、この比較では排除できていません(計算量をそろえた学習はしていません)。

どんな局面で良くなったのか

局面を層に分けて、Top-1の改善量(v3 − 最初の設計)を比べました。

層	局面数	最初の設計	v3	改善
聴牌	1,034,350	75.57%	90.39%	+14.82pt
1向聴	2,618,791	68.97%	79.87%	+10.90pt
2向聴	2,804,917	68.33%	75.37%	+7.04pt
3向聴以上	2,257,420	66.20%	70.52%	+4.32pt
他家リーチなし	7,159,580	68.82%	76.96%	+8.14pt
他家リーチあり	1,555,898	68.86%	78.55%	+9.69pt
1〜6巡	4,493,854	68.03%	74.87%	+6.84pt
7〜12巡	3,124,476	68.95%	79.60%	+10.64pt
13巡以降	1,097,148	71.74%	80.30%	+8.56pt

(どの区間の幅も±0.1〜0.2pt程度です。)

手が進んでいるほど、改善が大きいです。聴牌では最初の設計でも75.6%ですが、v3 は90.4%まで届きます
他家リーチ中、鳴いた直後、中盤も大きく伸びています

聴牌の打牌は「待ちが残る牌を選ぶ」「当たり牌を避ける」判断で、牌ごとの残り枚数や他家の現物が決め手になります。牌ごとの数量が決め手になる局面ほど、改善が大きいという並びです。

一方、点数・順位・親・オーラスで分けた層では、改善量はほぼ同じでした。

層	改善
自分の順位 1位 / 2位 / 3位 / 4位	+8.38 / +8.40 / +8.38 / +8.51pt
子 / 親	+8.41 / +8.44pt
オーラス以外 / オーラス	+8.45 / +8.10pt

入力を壊して、何を使っているかを調べる

「どこで良くなったか」の次は、「何を使って良くなったか」です。学習済みモデルの入力を1種類ずつ、同じバッチ内の別の対局の局面の値に差し替えて、Top-1の落ち方を見ました。大きく落ちる入力ほど、モデルがそれを使っています。

(2023年validの約43.6万局面、強制ツモ切りを除く。)

壊した入力	最初の設計の低下	v3 の低下
牌ごとの見えている枚数	7.0pt	34.9pt
牌ごとの残り枚数	9.5pt	40.8pt
手牌	33.0pt	24.5pt
イベント系列(河・ツモの時系列)	20.2pt	27.8pt
他家の現物(3人分)	0.9pt	3.5pt
点数・順位	0.2pt	0.8pt
風・親	1.5pt	2.2pt

v3 は、牌ごとの「見えている枚数」「残り枚数」に強く頼っています(−35pt、−41pt)。最初の設計は同じ情報を持っているのに、ほとんど頼れていません(−7pt、−10pt)。平らにした表の中から、「この値はこの牌のもの」という対応を学べていないのだと考えています。

さらに、改善が大きかった局面と、頼り方の差が大きい局面が同じ向きに並びました。

シャンテン数	見えている枚数・残り枚数を壊した低下(v3 − 最初の設計)
聴牌	+46.1pt
1向聴	+34.5pt
2向聴	+28.4pt
3向聴以上	+24.5pt

リーチ中の現物

他家リーチ中に、他家の現物のチャネルを壊すと、次のようになります。

	最初の設計	v3
他家リーチ中	−0.3pt	−16.9pt
リーチなし	−1.0pt	−0.6pt

最初の設計は、リーチ中でも現物の情報をほとんど使えていません。v3 の「他家リーチ中の改善が大きい」(+9.7pt)ことは、これで説明できます。

「点数・順位のような、使わないと思っていた情報が効いていたのでは?」

上の表を見ると、小さな寄与は実際にあります。

点数・順位: v3 の方が最初の設計より0.53pt余計に落ちる(95%区間 [+0.46, +0.60])
風・親: 0.69pt(区間 [+0.61, +0.77])
オーラスでは、点数・順位の差が1.92pt([+1.63, +2.21])まで大きくなる

v3 の方が、点数・順位のような静的な情報を少し多く使っています。ただし、大きさは牌ごとの数量(見えている枚数・残り枚数)の1/50以下です。それに、改善量そのものはオーラスでも他の局面と変わりません(+8.10pt 対 +8.45pt)。

結論は、「小さな寄与は実際にあるが、+8ポイントの主な出どころではない」です。効いていたのは新しい情報ではなく、最初の設計も持っていた牌ごとの情報を、使える形で渡したことだと考えています。

牌効率やシャンテン数などの派生特徴を追加しても、差は0.1ポイント未満でした(seed 1本)。入力に枚数や河や現物が入っていれば、モデルが自分で導けているようです。

限界

モデルは各1本(seed 1)、2023年だけ、1エポックです。区間は試合の抽出のばらつきだけで、学習のseedによるばらつきは入っていません。16年分で学習した最終モデルで、同じ形になるかは確かめていません(最初の設計の16年分モデルがありません)
入力の差し替えは、局面として矛盾した入力を作ることがあります(手牌と合法手が合わないなど)。低下の絶対値は「その情報が無い状況」の値ではなく、最初の設計とv3の比較と順位を見るものです
入力のまとまりは互いに独立ではありません(見えている枚数と残り枚数は手牌と関係します)。単独で壊した値は足し合わせられません
「最初の設計が牌と数量の対応を学べていない」のは、推論時の依存の差から考えた説明です。確かめるには、最初の設計に牌トークン単位のスコアだけを足した条件で学習する実験が要ります(未実施)
計算量の違いを統制していません(上記)
層ごとの比較は多重比較の補正をしていません

まとめ

同じ情報・同じデータで、混ぜ方だけを変えると、Top-1が68.8% → 77.3%(+8.4pt)
改善は、聴牌・1向聴、他家リーチ中、鳴いた直後など、牌ごとの数量が決め手になる局面に集中する
v3 は「見えている枚数」「残り枚数」(−35pt、−41pt)、リーチ中の現物(−16.9pt)に強く頼る。最初の設計は同じ情報を持っていても、ほとんど頼れていない(−7pt、−10pt、−0.3pt)
点数・順位のような静的な情報はv3 の方が少し多く使うが、主因ではない
パラメータ数は新の方が少ないが、計算量は約2.1倍

次の詳細②では、AIは相手のリーチで降りるのか、安牌を持つのかを調べます。