0
0

Delete article

Deleted articles cannot be recovered.

Draft of this article would be also deleted.

Are you sure you want to delete this article?

ドイツ発のオープンウェイトLLM「Kolibri」の仕組みと得意・不得意

0
Posted at

海外の記事から

📰 海外事例

元記事:Aleph Alpha Kolibri: How the sovereign German LLM works(tej.as)


ざっくり概要

ドイツのAI企業Aleph Alphaが2026年10月3日に公開したLLM「Kolibri」について、ベルリン在住のAIエンジニアTejas Kumar氏が、技術レポートと自分の実験をもとに仕組みと得意・不得意をまとめた記事です。Kolibriはドイツ語と英語に絞り、ドイツとフィンランドの設備で一から学習した「主権AI」をうたうモデルで、重みは誰でもダウンロードできます。Hacker Newsでも400点を超える注目を集めました。


記事の要点

「主権AI」とはどういう意味か

Aleph Alphaの言う「主権」は、自分たちのサーバーで動かせて、データが建物の外に出ず、誰かに勝手に変えられたり止められたりしない、という意味です。役所や自動車部品メーカーが社内だけで使える、というのが売りです。

ただし、海外の要素がゼロという意味ではありません。学習データの言い換えにはGoogleのGemmaなど海外のモデルも使っていると、Aleph Alpha自身が書いています。

仕組み:6つの工夫

Kolibriは、ドイツ語を「安く・長く・正直に」扱うための6つの工夫を重ねたモデルです。

1. 専門家の分担
中身は780億パラメータありますが、1語ごとに動くのは約35億だけです。小さな専門家を384人用意して、毎回6人だけを呼ぶ仕組み(MoE)です。計算は軽い一方、384人全員を待機させておくので、メモリは780億分まるごと必要です。

2. ドイツ語の長い単語を切り刻まない
ドイツ語は単語をつなげて長い合成語を作ります。「連邦憲法裁判所」は、GPT-5の切り方だと6つに分かれますが、Kolibriでは2つで済みます。レポートでは11.2%、著者がドイツの憲法全文で試した実験では15%、少ないトークンで同じ文章を扱えました。英語では差がありませんでした。

3. ほとんどの層は近くだけを見る
50層のうち40層は、直前の512語だけを見て処理します。全体を見渡すのは5層に1層です。これで最大100万トークンの長い文書を、手の届くコストで読めるようにしています。

4. ドイツ語で考える
推論モデルの多くは、ドイツ語で聞かれても頭の中は英語で考えています。Aleph Alphaの実験では、ドイツ語で考えるデータを少しだけ足すと、かえって数学の点が70.2から48.3に下がり、大量に足してようやく回復しました。Kolibriはその「大量」を入れたモデルで、ドイツ語の数学では同じ規模のモデルの中で最高点です。

5. 「分からない」と言う訓練
資料の大事な部分を隠して質問し、根拠が無ければ「分からない」と答えるよう鍛えています。分からない問題で作り話をせずに認めた割合は44%で、同じ規模のQwen3.5(11.1%)を大きく上回りました。

6. 考える深さを選べる
1回ごとに「考えない」から「じっくり」まで4段階を選べます。

得意なこと

同じ規模のオープンなモデルと比べると、総合点は英語・ドイツ語ともにトップです。ただし差は1点ほどの僅差です。目立って強いのは数学で、英語の難関数学テストでは比較したMoEモデルすべてを上回りました。見たことのない社内文書を読ませて答えさせるテストでも上位です。

苦手なこと

Aleph Alphaは弱点も同じ場所に並べて公開しています。

  • 記憶だけで答える問題は12モデル中最下位。「分からないと言える」代わりに、知っていること自体が少ない
  • 何度もやり取りしながら道具を使う作業と、コーディングエージェントとしての性能は、同じ規模のQwenに劣る
  • メモリが78GB要るので、データセンター用のGPUが必要。ノートPCでは動かない
  • 対応はドイツ語と英語だけ(狙ってそうしている)

著者自身が長いドイツ語の文章で試した比較では、Claude Sonnet 5.5に136回すべてで負けました。

どんなときに選ぶか

ドイツ語の文書を社内で扱いたい役所・銀行・製造業などで、資料を読ませて答えさせる使い方(RAG)が一番向いています。トークンの少なさ、長い文書を読めること、分からないと言えること、の3つが全部効くからです。著者も、ベルリンの病院で患者の症状の緊急度を判定するAIに使うことを検討しています。

逆に、コーディング、記憶だけで答える質問、ほかの言語、GPUを用意できない場合には向きません。


編集者のひとこと

ドイツが、ドイツ語に強い専用モデルを自国で作る。この試み自体が大事だと思います。

成果のほうは、レポートを流し読みした限り、そこまで突き抜けてはいないっぽいです。Sonnet 5.5に136回全敗というのも、まあそうだろうなという感じ。そう簡単に大手の壁を突破できるわけはない。

ただ、自国で作る意味は、性能の高さとは別のところにあるかなと。中国のオープンウェイトモデルが優れてるから、クラウドならOpenAIやAnthropic、Geminiが優れてるから、それでいいや、とやっていると、自国の外に依存することになります。AIがまだインフラになりきってない今はいいんですが、完全にインフラになったあとで、AI技術の輸出を止めるような強硬な判断を米中が下したら、政策の手綱を握られかねません。

だからGeminiより劣っていても、全然いいと思います。国産の開発を進めておいて、いざというときに独立したインフラとして整えられる状態にしておく。これは国防の面でも大事です。日本でも国産AIの開発が進んでますが、ああいう試みを続けること自体に意味があるかなと。

性能は世界一を目指さなくていいです。コスパの良いゾーンまで作れれば、国防としては十分に機能するはず。最先端を切り開くのは、新しい手法を10個試して1個効けばいい方、という大変な世界です。2番手以降は、有効と分かった手段を真似ればいいので、低コストで追いつけます。AIに限らず、何でもそうですね。

技術面で面白かったのは、トークンの切り方の話。ドイツ語は接頭辞や接尾辞をくっつけた合成語が多い、というのは、なんとなくそんな気はしてたけど、やっぱりそうなんですね。英語中心の切り方だと単語が細切れになるので、AIにとっては扱いにくいはず。ネイティブの人がその言語に合わせて設計すると、ちゃんと最適化できるんですね。実際にやってみたら11〜15%もトークンが減ったという実測が出たのは面白い。

推論の学習の話も興味深い。ドイツ語で考えるデータを少しだけ足すとかえって悪くなって、大量に入れてようやく良くなった。中途半端に学習させると混乱する、ということですよね。つまり、今の技術では、付け焼き刃で国産AIを作るのはハードルが高いということです。英語圏の開発環境の強みになりますね。日本語に対応するにしても、今のAIは英語で考えきってから翻訳している、というのが実態だと思いますが、それを続けるなら日本人開発者には負担になるし、かといって日本語ネイティブでゼロから作るのは、それはそれで覚悟の要る開発です。

出典

0
0
0

Register as a new user and use Qiita more conveniently

  1. You get articles that match your needs
  2. You can efficiently read back useful information
  3. You can use dark theme
What you can do with signing up
0
0

Delete article

Deleted articles cannot be recovered.

Draft of this article would be also deleted.

Are you sure you want to delete this article?