0
0

Delete article

Deleted articles cannot be recovered.

Draft of this article would be also deleted.

Are you sure you want to delete this article?

Inkling 2 Miniの仕組み:中間層3周のループ型TransformerとローカルAI

0
Posted at

個人開発しているもの

日々の開発で得た知識を発信しながら、「あったら便利」「作ってみたい」と思ったアイデアを形にしています。

これまでに、グループ旅行アプリ Trip Supporter、スコア管理サービス PointPia、リアルタイム共有サービス JustNow などを開発しました。

さらに、刺繍やオリジナルキャラクターを中心としたアパレルブランド MAD TOMMY WITH... も運営しています。

開発したサービスや技術記事は chicchi.work で紹介しています。

結論(TL;DR)

  • Thinking Machines Labは米国日付2026年11月20日、重みを公開したAI「Inkling 2 Mini」を発表しました。中間層を3回通すループ型TransformerとMoEを組み合わせたモデルです。
  • 26.4Bの全パラメータを持ちながら、約20GBの重みでローカル動作を目指す設計です。ただし、動作に必要なメモリや推論コストは20GBとは限りません。
  • 開発で試すなら、対応ランタイム・32GB以上のメモリ・実際のコード作業での精度を確認し、エージェントによる破壊的な操作には承認を残すのが安全です。

「パソコンで動く強いAI」は、何を変えたのか

「AIモデルを賢くするには、パラメータ(学習した数値)をどんどん増やすしかない」と思いがちです。しかしモデルの中には、同じ計算部品を繰り返し使い、保存する重みを増やさずに計算を深める設計もあります。

2026年11月21日(日本時間)、Thinking Machines LabのInkling 2 MiniがHacker Newsで注目されました。11月21日18:02 JST頃に投稿ページを確認した時点で937ポイント、175コメント。これは英語圏中心の掲示板の投票・議論の件数で、閲覧数でも「世界で一番人気」を意味する数値でもありません。発表元の掲載日は11月20日であり、日本時間11月21日付の新発表と断定せず、今日注目されている前日発表の技術として扱います。

Hacker Newsの元投稿 / Thinking Machines Lab公式発表(確認日:2026年11月21日)

このモデルのポイントは、小さいモデルなのに魔法のように何でもできるという話ではありません。保存する重みの量、1トークン(AIが読み書きする文字列の単位)を処理する計算量、答えの精度を別々に設計していることです。

普通のTransformerと「3周するTransformer」はどう違う?

Transformer(トランスフォーマー)は、文章中の単語どうしの関係を計算して、次のトークンを予測するAIの基本構造です。通常は前の層から次の層へ、各層を1回ずつ通ります。

Inkling 2 Miniでは、保存された24層を6層ずつ4つのブロックとして扱います。

ブロック 通過回数 役割のイメージ
1番目(6層) 1回 入力を内部の表現に変換
2・3番目(計12層) 3回 同じ中間層の重みを再利用して計算を重ねる
4番目(6層) 1回 最後の出力につなげる
合計 48層分の適用 ただし保存される重みは24層分

つまり、流れを簡略化すると「入力 → 最初の6層 → 中間12層を3周 → 最後の6層 → 出力」です。中間層を3倍コピーするのではなく、同じ重みを再使用する点が重要です。24層のモデルをそのまま48層の別モデルとして保存するわけではありません。

公式発表では、中間12層を繰り返すほうが最後の12層を繰り返すより、28種類の評価中27種類で大きな精度改善を示したと報告されています。ただし、これは開発元の特定の比較実験です。あらゆるモデルで中間層を3周すれば必ず賢くなる、という一般法則ではありません。

ループのたびに「最初から考え直す」のではない

同じ層を通すだけだと、2周目以降は同じことの繰り返しになりそうです。そこで使われるのが、前の周回で得た情報を次の周回へ渡すmessageと、その情報をどれだけ使うかを学習する**gate(ゲート)**です。

さらにattention residualsという方法によって、現在の層は過去のブロックが出した情報から使いたい情報を組み合わせます。単純に直前の出力を上書きするのではなく、以前の状態と新しい計算結果を調整しながら先へ進む設計です。

学習初期には前周回からのmessageをゲートでほぼ通さず、学習が進むにつれて利用度を増やすと、公式技術解説は説明しています。これがループ導入時の安定化策です。

一次情報:Looping designの説明(確認日:2026年11月21日)

26.4Bなのに「3.4B active」? MoEの数え方

もう一つの仕掛けがMoE(Mixture-of-Experts)です。AI内部の複数の専門的な計算経路(expert)から、その入力に合う一部だけを選んで動かします。Inkling 2 Miniでは各層で128個のexpertのうち8個を使うとモデルカードにあります。

ここは数字の読み違いに注意が必要です。

公表値 何を意味する?
26.4B 保存されるモデル全体のパラメータ数(264億)
3.4B active 通常の活性化パラメータ数として記載される値(34億)
5.4B weight activations/token 中間層の3周を含め、トークンごとに重みが使われる延べ量(54億相当)
約20GB 公開チェックポイントのファイルサイズ・重みのメモリ規模の目安

「3.4B activeだから、34億パラメータのモデルと同じ計算量」という意味ではありません。ループで同じ重みを再び使うため、延べ5.4B相当の活性化が発生します。逆に、48層分を計算するから重みの保存容量も48層分必要、という意味でもありません。

開発元は学習途中でexpertを384個から128個に減らし、その後、大きなモデルから得た1兆トークンの学習データを用いて性能を回復させたと説明しています。これは**枝刈り(pruning)と回復学習(healing)**という設計です。

重みの多くは4ビット浮動小数点のNVFP4、最後の4層は8ビットのMXFP8で学習・配布しています。小さいビット数で表現することでメモリを抑える一方、機種や推論ソフトによって動作速度は異なります。

精度が良いのはどんな仕事? 苦手な仕事もある

公式ベンチマーク(共通の課題を使う性能試験)のうち、代表例を抜き出します。開発元が公表した評価結果であり、筆者が同じ環境で独立再測定した値ではありません。

評価 Inkling 2 Mini 比較例 読み方
DeepSWE v1.1 48.2% Qwen3.8-27B:42.2% 指定条件でソフトウェア課題を解決した割合
Terminal Bench v2.1 71.6% Qwen3.8-27B:73.0% すべての開発課題で勝つわけではない
DeepSearchQA 85.3% Qwen3.8-27B:79.7% 検索・道具を使う構成での評価
GPQA Diamond 86.6% Qwen3.8-27B:90.5% 難しい知識・推論課題では負ける場合もある

同じベンチマークでもエージェントの設定、検索・ツールの有無、モデルの思考量で結果が変わります。公表表にある値だけで「常に最高性能」とは言えません。

また、ループによって増えやすいのは計算を順に進める能力であり、事実を記憶する容量ではないと開発元も説明しています。検索を利用すれば知識不足を補いやすくなりますが、ハルシネーション(もっともらしい誤情報)や長い指示を守れない問題がなくなるわけではありません。

一次情報:能力・比較表・Limitations / Model Card(確認日:2026年11月21日)

ローカルで動かしたいとき、先に確認すること

チェックポイントが約20GBでも、20GBのRAMがあれば十分とは限りません。モデル本体以外に、一時的な計算領域、会話履歴を扱うメモリ、推論実装のオーバーヘッドが必要になります。

公式モデルカードが挙げる対応例は、Apple Siliconなら32GB以上のメモリを搭載したMacとOllamaなどの推論ランタイム(モデルを実行するソフト)、NVIDIA環境ならDGX Sparkなどです。ほかのGPUでは32GB以上のVRAMを推奨しています。最大コンテキスト長は100万トークン対応ですが、その長さをローカル機で実用速度・実用メモリ量で扱える保証ではありません。

導入前に、次の順で確認するのがよいでしょう。

  1. 利用条件:配布ライセンスはApache 2.0。利用規約・モデルカードの用途制限も確認する。
  2. 実行環境:手元のMac/GPUのメモリ量、Ollamaやllama.cppなどの対応状況、対応する量子化形式を確認する。
  3. 自分の用途の評価:英語のベンチマーク順位だけで決めず、日本語の回答や実際のリポジトリ修正で試す。
  4. 安全対策:エージェントは隔離環境で動かし、ファイル削除、上書き、外部送信には明示的な承認を設ける。

特にモデルカードは、ローカルAIエージェントが確認を取らずにファイルを削除・上書きする可能性や、実施内容を正確に報告できない場合があると警告しています。ローカル実行だけで安全な運用になるわけではありません。

外部へのソースコード送信を避けるAIの使い方は、NTTのAI脆弱性解析が48%→63%に改善:ソースコードを外部に出さない「ソブリンAI」とはでも紹介しています。これは別の研究ですが、ローカル環境でAIを活用するときの設計・検証の考え方を補足できます。

「中で考える」AIは、どうやって監査する?

ループ型にはもう一つの重要な論点があります。通常のAIは考えを文章として出力することがありますが、中間層の計算が増えると、文章に書かれない内部計算も増えます。

Thinking Machines Labは、周回数を変えられる研究用の別モデルを用い、言葉に推論を書かずに処理できる課題の長さなどを調べました。発表では、1周で16秒だった指標が3周で37秒になったとしています。ただし、これは人間の時間を指標に換算する特定ベンチマークであり「AIの実際の思考時間が37秒」という意味ではありません。

周回を増やすと文章として現れる推論は短くなりましたが、今回の規模の実験では、文章の読みやすさや監査可能性が明確に悪化する傾向は確認されなかったとしています。一方で、その結果がより大規模なモデルにも当てはまるかは未解明です。見える推論が短いから、内部で何も考えていないとも言えません。

モデルの性能だけでなく、どこまで観察・制御できるかは、エージェントの安全性に関わります。モデルの選び方やAPI経由の実行用途を比較する例として、Codex Day 22:GPT-6.1 Terraを徹底解説|性能・API料金・Computer Useも参考になります。これは同一アーキテクチャの比較ではなく、用途と実行方式の違いを考えるための関連記事です。

結局、何が新しく、何を期待しすぎないほうがいい?

Inkling 2 Miniは、中間層を3周するループ、MoE、低ビット精度、expertの枝刈りを組み合わせ、保存する重みと推論に使う計算量を異なる軸で調整しました。単に「巨大モデルを小さく圧縮した」だけではなく、モデルの内部で計算を何度行うかを工夫した点に面白さがあります。

ただし、ループ型Transformerそのものは今回初めて発明された方式ではありません。開発元も2018年のUniversal Transformersなどの先行研究を引用しています。新規性は既存の発想を実用的な公開モデルの設計・学習・評価に組み合わせたところにあります。

開発現場では、小型であることと、手元の仕事を確実に終わらせることを分けて測るのが重要です。モデルの重みの大きさ、実行時のメモリ、処理速度、正答率、許可の必要な操作をセットで比べて初めて、用途に合うか判断できます。

出典と確認日

本文の数値は公表元の条件によるものです。ベンチマークの独立再測定やMac上での実機検証は行っていません。

0
0
0

Register as a new user and use Qiita more conveniently

  1. You get articles that match your needs
  2. You can efficiently read back useful information
  3. You can use dark theme
What you can do with signing up
0
0

Delete article

Deleted articles cannot be recovered.

Draft of this article would be also deleted.

Are you sure you want to delete this article?