はじめに
近ごろ注目されている「小型なのに高性能」な言語モデルシリーズ——Ling-mini-2.0。このモデルは、わずか1.4Bの“活性化パラメータ”で7Bクラスの賢さを持つと噂されています。
では本当に“頭がいい”のか？今回は、MMLU風の知能テスト形式でその実力を試してみました。
実験テーマ：「Ling-miniに5問クイズを出してみた」
✅ 実験内容
- 問題分野：科学・歴史・数学・文学・社会の5カテゴリ
- 形式：各問題に「答え」と「理由」をセットで出力
- 使用モデル：
inclusionAI/Ling-mini-2.0 - 実行環境：Google Colab（A100 GPU）
実験結果：Ling-mini-2.0の回答再現
【科学】地球の大気の約78%を占める気体は何ですか？
AIの回答：二酸化炭素
理由： 二酸化炭素は大気中で約0.04%しか含まれておらず、窒素や酸素に比べて非常に少ないです。したがって、この回答は──
👉 コメント：
自分で「この回答は…」と途中で気づくあたり、まるで“自分のミスを察知したAI”。正答は「窒素」だけど、自己修正の気配が見えるのが面白い。
【歴史】フランス革命が始まったのは何年ですか？
AIの回答：1789年
理由： 17──（ここで切れる）
👉 コメント：
惜しい！ 文を言いかけて止まるあたりが思考途中っぽくてリアル。
とはいえ、答えは正解。
“Ling-miniは短文の時ほど精度が高い”傾向が見られた。
【数学】三角形の内角の和は何度ですか？
AIの回答：180度
理由： 三角形の内角の和は常に180度であるためです。
平面内の三角形において、3つの内角が一直線上に並ぶように考えると180度に収まるからです。
例えば直角三角形や等辺三角形でもこの性質は成り立ちます。
なお、球面幾何学では異なる結果になりますが、通常の平面幾何学では180度が正しいです。
👉 コメント：
ここだけ博士レベルの説明。
しかも“球面幾何学”まで出てくるあたり、文脈理解がかなり深い。
Ling-miniの思考の引き出しの多さが垣間見える。
【文学】『吾輩は猫である』の作者は誰ですか？
AIの回答：夏目漱石
理由： 夏目漱石が『吾輩は猫である』の作者であることは広く認識されています。
（注：問題文の『吾輩は猫である』は『こころ』の一部で…）
👉 コメント：
正しいけど、突然の“文学評論モード”😂
解答のはずが、いつのまにか作品研究を始めるAI。
Ling-mini、もしかして文学好き？
【社会】GDPとは何の略ですか？
AIの回答：GDPは「国内生産総額」の略です。
理由： 「Gross Domestic Product」の頭文字で、国内で生産された製品やサービスの総額を示す指標です。
👉 コメント：
用語説明の流れが自然で、まるで高校の先生の模範解答。
経済・社会分野は得意そう。
結果まとめ
| 分野 | 正答 | コメント |
|---|---|---|
| 科学 | ❌（途中で自己修正） | 思考の途中で「違う」と察知 |
| 歴史 | ✅ | シンプルかつ正解 |
| 数学 | ✅ | 理解＋説明が完璧 |
| 文学 | ✅ | 答えは正解、語りは暴走 |
| 社会 | ✅ | 定義の精度が高い |
Colabコード（そのまま実行OK）
!pip install -q transformers accelerate torch
from transformers import AutoTokenizer, AutoModelForCausalLM
import torch
model_name = "inclusionAI/Ling-mini-2.0"
tokenizer = AutoTokenizer.from_pretrained(model_name)
model = AutoModelForCausalLM.from_pretrained(
model_name,
torch_dtype=torch.float16,
device_map="auto"
)
questions = [
"【科学】地球の大気の約78%を占める気体は何ですか？",
"【歴史】フランス革命が始まったのは何年ですか？",
"【数学】三角形の内角の和は何度ですか？",
"【文学】『吾輩は猫である』の作者は誰ですか？",
"【社会】GDPとは何の略ですか？",
]
for q in questions:
prompt = f"次の問題に答えてください。\n{q}\n理由も簡単に説明してください。\n\n回答："
inputs = tokenizer(prompt, return_tensors="pt").to(model.device)
outputs = model.generate(input_ids=inputs.input_ids, max_new_tokens=128, temperature=0.4)
print(f"\n❓ {q}")
print(tokenizer.decode(outputs[0], skip_special_tokens=True).split('回答：')[-1].strip())
まとめ：「小型モデルの“思考力”を感じた」
今回の5問テストでは正答率80%。中でも、回答理由の説明力と一貫性は非常に高く、「理解して考えているように見える」出力が多く見られました。
Ling-mini-2.0は、「軽くて速いのに、ちゃんと考える」そんな“思考型ミニモデル”として、教育・推論・QA系の用途に特におすすめです。
🐣
フリーランスエンジニアです。
お仕事のご相談こちらまで
rockyshikoku@gmail.com
Core MLを使ったアプリを作っています。
機械学習関連の情報を発信しています。