はじめに

麻雀AIの記事は、いきなり「Transformer」「Attention」「埋め込み」といった言葉が出てきて、麻雀だけやってきた人には読みにくいと思います。この記事は、麻雀の知識だけで読めるように、私が作った麻雀AI(v3)の中身を、最初から順に説明します。

先に結論です。

v3 は「ある局面で、人間は何を切ったか」を当てるAIです。天鳳の牌譜16年分で学習し、人間の打牌との一致率(Top-1)は 77.81% でした
局面を、牌と出来事を並べた「文章」のようなものに直して、Transformer という仕組みに読ませています
Suphx(Microsoft の麻雀AI)とは、入力の作り方・使っている仕組み・学習のしかたが違います。違いは、後半の表にまとめました
NAGA との違いも、公開されている記述の範囲で書きました

この記事のシリーズ
全体の結果は網羅編に、牌譜データの読み方は天鳳の牌譜(mjlog)をPythonで読み切るにあります。この記事は、それらの前提になる「モデルの中身」の解説です。

1. AIがやっていること: 「何切る」を当てる問題

v3 がやっているのは、麻雀の「何切る」問題を、天鳳の実際の打牌で答え合わせする学習です。

局面を入力する(自分の手牌、河、ドラ、点数、リーチの有無など)
切る牌の候補ごとに点数をつける
人間が実際に切った牌の点数が高くなるように、AIを調整する

これを、天鳳の牌譜の数十億回分くり返します。AIは強さを直接教わるわけではなく、人間の上手な打牌をまねすることで打ち方を覚えます(模倣学習)。

候補は37種類です。34種類の牌に、赤5(萬・筒・索)の3種類を加えています。赤5を別の牌として数えるのは、赤を切るかどうかで、麻雀の判断が変わるためです。

2. Transformer とは何か(麻雀の言葉で)

Transformer は、もともと文章を読むために作られた仕組みです。ChatGPT のような文章AIも、同じ仲間です。文章を読むとき、一語ずつ順番に追うのではなく、文中のすべての語の関係を同時に見て、意味をつかみます。

麻雀に置き換えると、次のようになります。

文章の世界	麻雀の世界
単語(トークン)	牌、あるいは「誰が何を切った」という出来事
文章	1つの局面(手牌・河・ドラ・出来事の流れ)
次の単語を当てる	人間が切った牌を当てる

Attention: 「どこを見るか」を学ぶ仕組み

Transformer の中心にあるのが Attention(注意) です。1つのトークンが、ほかのトークンのうち「どれに注目するか」を、重みで決めます。

図は、東を切るか迷っている場面のイメージです。東が場にすでに2枚見えているなら、残りは少なく、安全度が高い、と人間は考えます。Attention は、こうした情報を、離れた位置にある出来事(他家の打牌など)から集めて、自分の表現に混ぜる働きをします。

仕組みを少しだけ書くと、次のとおりです。

各トークンは、「探している情報(質問)」と「自分が持っている情報(見出し)」と「中身」の3つを持つ
質問と見出しが似ているほど、そのトークンを強く見る。重みを全部足すと1になる
見た相手の「中身」を、重みをつけて足し合わせ、自分の新しい表現にする

どこを見るかは、人が決めません。牌譜から学習で決まります。見る視点を8つ(ヘッド)用意して、別々の見方を同時に持たせています。これを6層重ねたものが、v3 の本体です。

CNN との違い

Suphx のような従来の麻雀AIは、CNN(畳み込みニューラルネットワーク)という仕組みを使うことが多いです。画像を読むための仕組みで、小さな窓を少しずつずらして、近くにあるものの関係を見ます。

CNN は、数字が隣り合う牌(三・四・五など)の関係を見るのが得意です。一方、遠い牌どうしの関係(河のリーチ宣言牌と、手牌の安全度など)は、層を重ねて少しずつ伝える必要があります。Transformer は、離れていても直接つなげます。

ただし、どちらが麻雀に向いているかは、この記事の実験では比べていません。同じ条件で CNN を作って比べたわけではないためです。

3. v3 の入力: 局面を「トークン列」にする

ここから、v3 の具体的な作りです。局面を、次の3種類のトークンを1本に並べたものにして、Transformer に渡します。

局情報トークン(1個)

局の状況を、まとめて1個にしたものです。場風・自風・親、何局目・何本場・供託、巡目、山の残り枚数、自分の点数と他家との点差、順位、他家のリーチ(何巡目に宣言したか)と副露の数など、41個の数字が入っています。

牌トークン(37個)

打牌の候補そのものです。37種類の牌それぞれに、1個ずつトークンがあります。各トークンには、その牌についての次の情報が乗っています。

自分の手牌に何枚あるか、自分の副露に何枚あるか
ドラとしての価値
場に何枚見えているか、あと何枚残っているか
他家3人それぞれについて、河に何枚あるか、そのうち手出しは何枚か、現物か、リーチ宣言牌か、副露に含まれるか

「この牌を切ってよいか」を判断するための材料を、牌ごとに集めたものです。シャンテン数や受け入れ枚数といった、人間が計算した特徴は、入れていません。牌の枚数や河の情報から、AIが自分で導けるようになっているかを見たかったためです。

シャンテン数・受け入れ・安全度(スジなど)を派生特徴として足す実験もしましたが、Top-1 の差は 0.1ポイント未満でした(seed 1本の結果です)。強いAIの学習では、これらを入れていません。

イベント系列(最大128個)

局の最初から、いまの判断までに起きた出来事を、時系列で並べたものです。ドラ表示、自分のツモ、全員の打牌、チー・ポン・カン、リーチが入ります。他家のツモは、牌が伏せられていて分からないので入れていません(打牌の「ツモ切りか手出しか」で、必要な情報は足りるためです)。いまの判断より後の出来事が混ざらないことは、テストで確かめています。

1つの出来事は、次の6つの意味を足し合わせて、1個のトークンにしています。

「誰が」は自分から見た相対席(自分・下家・対面・上家)です。「その人の何巡目」(その人が何回目に切った牌か)まで入れています。打牌には、ツモ切りか、リーチ宣言牌か、リーチ後の打牌か、鳴かれたか、というフラグも付けています。

トークンを足し算で作る方法は、文章AIが単語に「位置」の情報を足すのと同じ考え方です。

4. 全体の流れ

3種類の入力を、それぞれ256個の数字(ベクトル)に変換する
「局」「牌」「出来事」のどれかを表す印を足して、1本に並べる(1 + 37 + イベント数。イベント数は平均約36、全データでの最大は114で、上限は128)
Transformer を6層通す。各層で、全トークンが全トークンを見て、情報を混ぜ合わせる
牌トークン37個の出力だけを取り出し、それぞれに「256個の数字 → 1個の数字(スコア)」の変換をかける
切れない牌(手牌にない牌など)を除いて確率にし、いちばん高い牌を AI の答えにする

出力のしかたがポイント

多くのAIは、最後に「37個の答えを一度に出す」層を置きます。v3 は、牌トークンごとに、同じ変換でスコアを1つずつ出します。「この牌を切るスコア」が、牌の側で計算されるわけです。

この作りのおかげで、手牌にない牌のスコアを無視する処理(合法手のマスク)が、そのまま使えます。また、牌ごとの情報(見えている枚数など)が、その牌のトークンに直接乗るので、「牌とその特徴の対応」を学びやすくなります。

最初に作った版は、特徴を1本のベクトルにまとめて全結合層で混ぜていました。牌と特徴の対応をうまく学べなかったので、この「牌ごとのトークン」の構造に作り直しました。同じ条件の比較で、一致率は 68.9% から 77.1% に上がっています(詳しくは詳細①)。

コードにすると

中核は、これだけです(要点だけ抜き出した簡略版で、入力トークンの作り方と dropout は省いています)。

import torch
import torch.nn as nn


class EncoderLayer(nn.Module):
    def __init__(self, d=256, heads=8, d_hid=1024):
        super().__init__()
        self.attn = nn.MultiheadAttention(d, heads, batch_first=True)
        self.norm1, self.norm2 = nn.LayerNorm(d), nn.LayerNorm(d)
        self.ffn = nn.Sequential(nn.Linear(d, d_hid), nn.GELU(), nn.Linear(d_hid, d))

    def forward(self, x, pad):                       # x: (B, N, d), pad: (B, N) Trueは空き
        h = self.norm1(x)
        x = x + self.attn(h, h, h, key_padding_mask=pad)[0]   # 全トークンが全トークンを見る
        return x + self.ffn(self.norm2(x))


class MiniV3(nn.Module):
    def __init__(self, d=256, layers=6):
        super().__init__()
        self.layers = nn.ModuleList(EncoderLayer(d) for _ in range(layers))
        self.final_norm = nn.LayerNorm(d)
        self.score = nn.Linear(d, 1)                 # 牌トークンごとに、同じ重みで1つスコアを出す

    def forward(self, round_tok, tile_toks, event_toks, pad, legal):
        x = torch.cat([round_tok, tile_toks, event_toks], dim=1)   # (B, 1+37+L, d)
        for layer in self.layers:
            x = layer(x, pad)
        tile_h = self.final_norm(x)[:, 1:38]                       # 牌トークン37個だけ取り出す
        logits = self.score(tile_h).squeeze(-1)                    # (B, 37)
        return logits.masked_fill(~legal, float("-inf"))           # 切れない牌は選ばない

実際のモデルは、これに入力の変換(局情報・牌特徴・イベントを256次元にする部分)が付いたものです。パラメータ数は、全体で約482万(1層あたり約79万 × 6層が大部分)です。

5. 学習のしかた

データ: 天鳳の牌譜、2009〜2024年の16年分
1サンプル = 1回の打牌判断。正解は、人間が実際に切った牌
損失: 正解の牌の確率を上げる(交差エントロピー)
最適化: AdamW(学習率 3e-4、weight decay 0.01、2,000 step のウォームアップ、最後は 1e-6 まで減衰)、dropout 0.1
規模: バッチ2048、121.8万 step(3エポック)。見たサンプルは延べ約25億
環境: RTX 4080 SUPER 1枚、約7.3日

結果は、validation で Top-1 が 77.81%、Top-3 が 97.65% です(強制ツモ切りを除いた約670万局面)。一致率は人間の打牌との一致であり、強さそのものではありません。

6. Suphx との違い

Suphx は、Microsoft Research Asia が 2020年に発表した麻雀AIで、天鳳で安定段位 8.74段に達したと報告されています。論文(arXiv:2003.13590)の記述と、v3 を並べます。

項目	Suphx(論文の記述)	v3(この記事)
仕組み	CNN(畳み込み)。打牌モデルは約100層	Transformer 6層
入力	34種類の牌 × 838個の特徴の表	局情報1 + 牌37 + イベント最大128 の系列
先読み特徴	あり。100個以上。「この牌を切るとN枚入れ替えで○点の和了に届くか」を、探索で人が計算して入力	なし。入れても差は0.1ポイント未満
パラメータ数	約2,000万(論文の図から私が概算)	約482万
打牌モデルの学習データ	1,500万サンプル	延べ約25億サンプル(3エポック)
打牌以外	リーチ・チー・ポン・カンを、別々の4モデルで	同じ骨格の判断モデルを別に作成(対局エンジンには未接続)
強化学習	あり(打牌モデル)	なし。人間の模倣のみ
実戦での強さ	天鳳で安定段位 8.74段	未測定(一致率だけ)
打牌の一致率	76.7%	77.81%

違いの読み方

入力の作り方。 Suphx は、牌の種類(34個)を並べた表を、画像のように CNN で読みます。v3 は、牌と出来事を1本の系列にして、全部を互いに見られる形にしています。

人が作る特徴。 Suphx は、先読み特徴など、人が設計した特徴を大量に入力しています。v3 は、枚数・河・現物といった生に近い情報だけを入れました。派生特徴を足しても精度が変わらなかったので、この入力量なら、Transformer が自分で導いているようです。

学習のしかた。 ここが一番大きな違いです。Suphx は、人間の牌譜で学ぶ段階(教師あり学習)のあと、自己対戦の強化学習で打牌モデルを強くしています。報酬の予測や、他家の手牌を見られるAIを先に作って情報を減らしていく手法(oracle guiding)なども使い、44GPU・2日・150万ゲームの規模です。v3 は、最初の段階(人間の模倣)だけです。

つまり、v3 は「Suphx の、人間の牌譜で学ぶ段階に当たる部分」を、別の仕組みで作ったものです。強化学習をしていないので、人間より強くなる方向の学習はしていません。

一致率の 77.81% と 76.7% は、条件がそろった比較ではありません。学習・評価に使ったデータが違い、強制ツモ切りを除くかどうかなど、数え方も違う可能性があります(Suphx 側は論文に明記がありません)。また、Suphx の一致率は教師あり学習の段階の値で、最終的な強さは強化学習で上がっています。「v3 のほうが強い」という意味ではありません。

7. NAGA との違い

NAGA は、ドワンゴが開発した麻雀AIです。牌譜の解析サービスとして使われています。公開されている記述の範囲で、v3 との違いを書きます。

NAGA の構造は、ドワンゴの技術記事(Dwango Media Village の紹介記事)に、概要だけが書かれています。私が読んだ範囲では、次のとおりです。

打牌・鳴き・リーチ・カンの4つの CNN モデルで構成される
学習には、天鳳の最上位卓の牌譜を使う
入力は、ほぼすべての卓の情報を使う
予測の確信度を学習に使う仕組みがある
層の数・ユニット数、損失関数、データ量、強化学習の有無は、記事には書かれていない

ここから言える違いは、次のとおりです。

骨格: NAGA は CNN、v3 は Transformer です(Suphx と同じ関係です)
目的: NAGA は、強さを目的に作られたAIだと理解しています(強さの根拠は、私は確認していません)。v3 は、人間の打牌をまねするAIで、強さを目指したものではありません
比較できないところ: NAGA の層数や学習データ量などの詳細は公開されていないので、規模や精度を直接比べることはできません

NAGA の出力や解析結果は、この記事では扱っていません。

8. v3 の中身を覗く(次の記事へ)

Transformer は、中で何をしているかを調べる手がかりが多い仕組みです。たとえば、層4の牌トークンの表現を3次元に落として見ると、「端からの距離」が似た牌(1と9、2と8など)が近くに集まっていました。

ただし、これは探索的な可視化です(層4の、手牌にあるときの局面平均を PCA で見たもので、因果の証拠ではありません)。Attention がどこを見ているか、中間層から「シャンテン数」などの概念を読み出せるか、といった解析は、詳細③に書きました。

9. 限界

一致率は、人間の打牌との一致です。強さは測っていません
実際に対局するAIにはなっていません。打牌以外の判断モデルは別に作りましたが、対局エンジンにはまだ組んでいません
強化学習をしていないので、人間のくせまでまねします(悪い打牌もまねします)
CNN と Transformer を、同じ条件で比べてはいません。比較したのは、入力の混ぜ方(最初の設計と今の設計)だけです
Suphx との比較は、データも評価条件も違う、参考値です

まとめ

v3 は、局面(局情報・牌37・出来事の系列)を1本のトークン列にして、Transformer 6層で読む、打牌予測のAIです
牌トークンごとにスコアを出す作りで、合法手のマスクもそのまま使えます
Suphx との大きな違いは、CNN か Transformer か、人が作る特徴の量、そして強化学習の有無です
NAGA とは、公開されている範囲では、骨格(CNN か Transformer か)と目的の違いが言えます
人間の打牌との一致率は 77.81%。ただし強さの指標ではありません

質問や「ここを詳しく」があれば、コメントで教えてください。

参考

Li, J. et al. (2020). Suphx: Mastering Mahjong with Deep Reinforcement Learning. arXiv:2003.13590
Dwango Media Village: 麻雀AI NAGA
Vaswani, A. et al. (2017). Attention Is All You Need. arXiv:1706.03762
牌画像: FluffyStuff/riichi-mahjong-tiles(CC0)