結論
合成データの作成元の Gemma 4 31B IT を、PLaMo 3 Translate が超えたとは言えません。訳の総合的な質を見る COMET-22 では、PLaMo 3 Translate の 8B と 31B は Gemma 4 と区別できないか、少し下でした(差は −0.0024 から −0.0040)。一方、人手の参照訳との語の近さを見る chrF では、2B 以上が Gemma 4 を上回りました(31B で +1.02 から +1.70、区間は 0 を含みません)。指標によって答えが割れたので、「超えた」とも「超えていない」とも言い切れません。
PLaMo 3 Translate の良いところは、サイズを下げても精度が落ちにくいことです。2B 以上は 31B と区別できず、39 倍小さい 0.8B でも、COMET-22 の差は −0.0073(1% 未満)でした。サイズを 2 倍にしたときの COMET-22 の伸びは +0.0014 で、Hy-MT2(+0.0063)や TranslateGemma(+0.0076)の 4 分の 1 以下です。
使い方としては、小さいモデルで効率よく使うのがよいと考えています。2B は 31B と区別できないのに、重みは約 11 分の 1 です。0.8B なら約 36 分の 1 で、メモリや推論時間を節約したい用途に向いています。
ただし、測ったのは WMT24++ の英語から日本語への翻訳だけです。PFN が公開している社内ベンチマークの PFTB では、0.8B は 31B より約 6% 低い値が示されています。
疑問
2026-11-05 に、Preferred Networks(PFN)が翻訳特化のモデル PLaMo 3 Translate を公開しました。0.8B、2B、8B、31B の 4 サイズがあり、重みが公開されています。PFN の記事によると、ほとんどのデータは、原文を Web などから集め、訳文を LLM で合成して作っています。訳文の合成には Gemma 4 31B IT を使い、複数の訳を融合して勝ち抜かせる「トーナメント式データ合成」で磨いています。人が書いた自然な文章を出力側の教師にする「逆翻訳」のデータも併用し、8B 以下は 31B からの蒸留もしています。
ここで目を引いたのが、記事の「反復的自己蒸留によるデータ改善」の節にある次の主張です。「トーナメント式データ合成」と「逆翻訳」の仕組みによって、「LLMによる合成データで学習しているにも関わらず、PLaMo翻訳モデルは合成元のLLMよりも良い翻訳を出せるモデルとして進化していきます」。記事は続けて、こうして完成した最新のモデルを使えば訳文の品質をさらに改善できるとし、その手順を「反復的自己蒸留」と呼んでいます。最新のモデルで複数の訳を作り、トーナメント式データ合成で良い訳を作り、いまのデータセットの訳と比べて良ければ入れ替え、そのデータでまた学習する、という循環です。計算コストの都合で、適用は 2 段階目の教師あり学習のデータだけだそうです。
では、実際に合成元の Gemma 4 を超えているのでしょうか。PFN の 2 つの記事(重みの公開と、先行の製品の紹介)の比較に、Gemma 4 は入っていません(記事の本文による)。入っていないなら、自分で測るしかありません。重みが公開されているので、同じ条件で動かして測りました。
測定と原稿の作成には Claude Code を使いました。数字はすべて、測定の記録と突き合わせて確かめました。
用語
| 語 | この記事での意味 |
|---|---|
| 合成元 | PLaMo 3 Translate の学習データのほとんどの訳文の合成に使われた Gemma 4 31B IT |
| 指示文 A、指示文 B | 合成元に毎回与えた固定の指示(システムプロンプトにあたる部分)。A は短い指示、B は翻訳者の役割を与える長めの指示。入力ごとに変わるのは原文だけ。実装では、API の system の役割は使わず、指示と原文を 1 つのユーザー発話にまとめて渡した。PFN は指示文を公開していないので、私が用意した 2 通り |
| WMT24++ | 機械翻訳の評価データ。英語から 55 の言語・方言への翻訳に、人手の参照訳がついている。この記事では英語から日本語を使う |
| 参照訳 | 評価の基準にする人手の訳文。この記事では、元の訳を人が直したもの(post-edit)を使う |
| COMET-22 | 原文、訳文、参照訳を入れると品質の点数を返す、学習済みの採点モデル。人の評価に近づくように学習されている |
| chrF | 訳文と参照訳の文字列の重なりを数える指標。単語は見ない |
| 95% 区間 | 平均の差が収まる範囲。0 を含むなら、差があるとは言えない |
測り方
- 評価データは WMT24++ の英日です(Deutsch ら、2025 年。ライセンスは Apache-2.0)。データカードの推奨に従い、HTML や URL などを含む不良な原文と、評価用の目印の行の合計 38 行を除いた 960 文(170 文書)を使いました
- 指標は COMET-22(Unbabel/wmt22-comet-da)と chrF(sacrebleu 2.6.0 の既定の設定)です
- 生成は貪欲法で、すべて BF16 です。PLaMo 3 Translate はモデルカードの方法のとおり、Gemma 4 31B IT は思考を切って、指示文 A と B の 2 通りで動かしました
- 差の検定は、同じ文の差を取り、文書単位(170 文書)で再標本化して 95% 区間を求めました(10000 回)。同じ文書の文は似た傾向をもつので、文ごとの再標本化より区間が広くなります
- PFN がモデルカードに載せた WMT24++ の COMET-22(0.8724、0.8780、0.8805、0.8799)と、私の測定値の差は最大でも 0.0010 で、ほぼ同じ値が再現できました
Gemma 4 に与えた指示文(システムプロンプトにあたる、毎回同じ固定の部分)の全文です。入力ごとに入れ替えたのは、指示の後ろに続ける原文だけです。API の system の役割は使わず、指示と原文を 1 つのユーザー発話にまとめて渡しています。
- 指示文 A:
Translate the following English text into natural Japanese. Output only the translation, with no explanation.に、空行を挟んで原文を続けます - 指示文 B:
You are a professional English (en) to Japanese (ja) translator. Your goal is to accurately convey the meaning and nuances of the original English text while adhering to Japanese grammar, vocabulary, and cultural sensitivities. Produce only the Japanese translation, without any additional explanations or commentary. Please translate the following English text into Japanese:に、空行を挟んで原文を続けます
同じ指示を、API の system の役割に置いた場合は測っていません。置き場所で結果が動くかどうかは分かりません。
注意が 1 つあります。PFN の記事は、Gemma 4 の 1 回出しには改善の余地が残るので、複数の訳を融合して勝ち抜かせる方法で訳文を合成した、と述べています(予備実験では、多数の候補から選ぶ方法などより質が高かったそうです)。私が測ったのは、合成元の 1 回出しとの比較です。合成の工程で作られた訳文そのものの品質を超えたかどうかは分かりません。
合成元の Gemma 4 を超えたかの結果
| モデル | COMET-22 | chrF |
|---|---|---|
| PLaMo 3 Translate 0.8B | 0.8722 | 36.88 |
| PLaMo 3 Translate 2B | 0.8775 | 37.70 |
| PLaMo 3 Translate 8B | 0.8796 | 37.92 |
| PLaMo 3 Translate 31B | 0.8795 | 38.12 |
| Gemma 4 31B IT(指示文 A) | 0.8820 | 36.42 |
| Gemma 4 31B IT(指示文 B) | 0.8835 | 37.10 |
COMET-22 では、PLaMo 3 Translate の 8B と 31B は、指示文 A の Gemma 4 とは区別できず、指示文 B の Gemma 4 には少し届きません。chrF では、2B 以上が両方の指示文の Gemma 4 を上回っています。
差と 95% 区間は次のとおりです(文書単位の再標本化)。
| 比較(左 − 右) | COMET-22 の差(95% 区間) | chrF の差(95% 区間) |
|---|---|---|
| PLaMo 3 Translate 0.8B − Gemma 4 31B IT(指示文 A) | −0.0098 [−0.0138, −0.0057] | +0.46 [−0.09, +0.98] |
| PLaMo 3 Translate 0.8B − Gemma 4 31B IT(指示文 B) | −0.0114 [−0.0151, −0.0076] | −0.21 [−0.77, +0.34] |
| PLaMo 3 Translate 2B − Gemma 4 31B IT(指示文 A) | −0.0045 [−0.0085, −0.0003] | +1.27 [+0.81, +1.73] |
| PLaMo 3 Translate 2B − Gemma 4 31B IT(指示文 B) | −0.0060 [−0.0099, −0.0021] | +0.60 [+0.10, +1.10] |
| PLaMo 3 Translate 8B − Gemma 4 31B IT(指示文 A) | −0.0024 [−0.0067, +0.0021] | +1.50 [+0.98, +2.01] |
| PLaMo 3 Translate 8B − Gemma 4 31B IT(指示文 B) | −0.0040 [−0.0078, −0.0001] | +0.82 [+0.31, +1.37] |
| PLaMo 3 Translate 31B − Gemma 4 31B IT(指示文 A) | −0.0024 [−0.0069, +0.0019] | +1.70 [+1.17, +2.21] |
| PLaMo 3 Translate 31B − Gemma 4 31B IT(指示文 B) | −0.0040 [−0.0085, +0.0002] | +1.02 [+0.49, +1.56] |
どちらの指標を見るか
答えが割れたので、どちらを信じるべきかが問題になります。
訳の質を問うなら、主役は COMET-22 だと考えています。WMT21 の指標の比較論文(Kocmi ら)は、人手評価と同じ側のシステムを選べる割合を、COMET が 83.4%、chrF が 75.6% と報告し、「主指標は COMET、文字列の指標は副指標に」と勧めています。ただし同じ論文に、訳先が日本語、中国語、韓国語のときは、学習型の指標の順位が少し下がり、chrF は相対的に良かった、という注記もあります。論文が測ったのは古い版の COMET で、COMET-22 そのものではありません。日本語では、どちらの指標も単独では決め手にならないと考えて、両方を載せます。
chrF の差が、句読点や全角半角の癖によるものかも調べました。表記を揃えて記号を取り除いても、31B の優位は +1.65(指示文 A)と +0.91(指示文 B)のままで、生の値(+1.70 と +1.02)とほぼ同じでした。差は語の選び方から来ています。PLaMo 3 Translate は、人手の参照訳に近い語を選んでいます。参照訳は 1 つだけなので、chrF は妥当な言い換え(Gemma 4 の自由な訳)も減点します。つまり、chrF は「参照訳との語の近さ」、COMET-22 は「訳としての総合の質」を見ている、というのが私の理解です。
サイズを下げたときの精度の落ち方
PLaMo 3 Translate のサイズ間の差です。
| 比較(小さいサイズ − 大きいサイズ) | COMET-22 の差(95% 区間) | chrF の差(95% 区間) |
|---|---|---|
| PLaMo 3 Translate 0.8B − PLaMo 3 Translate 31B | −0.0073 [−0.0104, −0.0041] | −1.24 [−1.74, −0.74] |
| PLaMo 3 Translate 0.8B − PLaMo 3 Translate 8B | −0.0074 [−0.0103, −0.0048] | −1.04 [−1.49, −0.59] |
| PLaMo 3 Translate 2B − PLaMo 3 Translate 31B | −0.0020 [−0.0049, +0.0009] | −0.42 [−0.85, +0.00] |
| PLaMo 3 Translate 8B − PLaMo 3 Translate 31B | +0.0001 [−0.0029, +0.0036] | −0.20 [−0.62, +0.23] |
- 2B 以上は、31B と区別できません。COMET-22 では、2B が −0.0020 で区間が 0 を含み、8B は +0.0001 です。chrF では、8B が −0.20 で区間が 0 を含み、2B は −0.42 で区間の上端がちょうど 0 と、すれすれです
- 0.8B だけは、COMET-22 で 31B より −0.0073 低く、区間が 0 を含みません。ただし、31B の値の 1% 未満の差です
- 0.8B は、chrF では指示文 A の Gemma 4 とも、指示文 B の Gemma 4 とも区別できません(+0.46 と −0.21)。COMET-22 では、どちらの Gemma 4 にも下回ります(−0.0098 と −0.0114)
「サイズを下げても落ちにくい」ことを、ほかのモデルの族と比べました。サイズを 2 倍にしたときの COMET-22 の伸びの平均です。
PLaMo 3 Translate は 39 倍の範囲で +0.0073 しか伸びていません。Hy-MT2 は 4 倍で +0.0124、TranslateGemma は 3 倍で +0.0114 です。比べられるサイズが 2 つしかない族もあり、サイズの範囲も違うので、目安として読んでください。TranslateGemma 12B には、短い文に複数の案を「または」でつなぐ出力が 20 文あり、最初の案だけにすると COMET-22 が +0.0034 上がります。実際の伸びは、図よりもう少し大きくなります。
0.8B を、ほかの翻訳特化モデルと比べると、次のとおりです(COMET-22 の差)。
| PLaMo 3 Translate 0.8B − 相手 | COMET-22 の差(95% 区間) |
|---|---|
| PLaMo 3 Translate 0.8B − TranslateGemma 4B | +0.0079 [+0.0025, +0.0132] |
| PLaMo 3 Translate 0.8B − TranslateGemma 12B | −0.0035 [−0.0076, +0.0008] |
| PLaMo 3 Translate 0.8B − Hy-MT2-1.8B | −0.0044 [−0.0089, +0.0002] |
| PLaMo 3 Translate 0.8B − PLaMo 2 Translate | −0.0103 [−0.0136, −0.0069] |
| PLaMo 3 Translate 0.8B − Hy-MT2-7B | −0.0169 [−0.0216, −0.0121] |
TranslateGemma 4B(5 倍大きい)は上回り、TranslateGemma 12B(15 倍大きい)と Hy-MT2-1.8B(2.5 倍大きい)とは区別できません。PLaMo 2 Translate(12 倍大きい)と Hy-MT2-7B(10 倍大きい)には下回ります。PFN は、0.8B が 30 倍以上大きい既存の翻訳特化モデルを上回ったと述べていますが、私が測れたのは 15 倍までです。PFN は複数のベンチマークの平均で述べており、私の測定は WMT24++ の COMET-22 だけなので、この主張を覆すものではありません。
最後に注意です。PFN がモデルカードに載せた PFTB では、0.8B は 0.5862、31B は 0.6244 で、0.8B は約 6% 低くなっています。「落ちにくい」というのは、WMT24++ の英語から日本語での話です。
小さいモデルの使いどころ
PLaMo 3 Translate の良さは、小さいサイズでも精度が落ちにくいことなので、小さいモデルで効率よく使うのがよいと考えています。精度と、メモリ、時間を並べます。
| モデル | COMET-22 | chrF | BF16 の重み(GB) | 測定時のメモリの最大値(GiB) | 998 文を訳した時間(秒) | バッチの大きさ |
|---|---|---|---|---|---|---|
| PLaMo 3 Translate 0.8B | 0.8722 | 36.88 | 1.78 | 2.1 | 53 | 32 |
| PLaMo 3 Translate 2B | 0.8775 | 37.70 | 5.76 | 6.3 | 78 | 32 |
| PLaMo 3 Translate 8B | 0.8796 | 37.92 | 17.06 | 16.5 | 187 | 16 |
| PLaMo 3 Translate 31B | 0.8795 | 38.12 | 63.51 | 60.1 | 680 | 8 |
重みの大きさは PLaMo 3 Translate のモデルカードの値です。メモリの最大値と時間は私の測定で、998 文を訳したときの値です。バッチの大きさが揃っておらず(32、32、16、8)、測定中に別の処理が動いていた場合もあるので、時間の比は目安として読んでください。
- 2B は、COMET-22 で 31B と区別できません(−0.0020)。それでいて、重みは約 11 分の 1(5.76GB 対 63.51GB)です。効率を優先するなら、最も無理のない選択だと考えています
- 0.8B は、重みが 1.78GB で、31B の約 36 分の 1 です。COMET-22 は 31B より −0.0073(1% 未満)低く、chrF は Gemma 4 31B IT と区別できません。メモリが特に限られる用途では、有力な選択肢です
- 同じ 998 文を訳す時間は、0.8B が 53 秒、31B が 680 秒で、約 13 倍の差がありました。理屈の上でも、1 語を出すための計算量は、おおむねパラメータ数に比例して小さくなります
- 16GB の GPU 1 枚に載る目安は、BF16 の重みが約 14GB 以下で、0.8B と 2B が入ります。8B(17.06GB)は載りません。実際に 16GB で動かして確かめてはいません
- 量子化した配布形式も公開されています(0.8B の 4 ビット版は、GGUF の Q4_K_M が 0.57GB、MLX の 4 ビットが 0.98GB)。モデルカードは、GGUF の Q2_K 以外は BF16 に近い精度を保つとしています。ただし 0.8B の 4 ビット版には、PFN 自身のベンチマークで BF16 より低い値も載っています(PFTB で −0.0030 と −0.0089、SaaS で −0.0079 と −0.0054)。WMT24++ の COMET-22 では、−0.0008 と 0.0000 で、ほとんど変わりません。私は量子化した版の精度は測っていません
- PFN の記事には、0.8B をスマートフォンの機内モードで動かすデモが載っています。社内のデモで、アプリが公開されているわけではありません
注意が 2 つあります。精度は WMT24++ の英語から日本語での値です。PFN 自身の PFTB では 0.8B が 31B より約 6% 低いので、使う分野や文体では、実際の文で確かめてください。
訳文の例
数字だけでは感覚がつかみにくいので、訳文の例を載せます。
機械的に選んだ例
不良でない原文のうち、長さが 40 字から 100 字のものを、区分ごとにファイルの先頭から 1 文、機械的に取りました(literary は文学、news は報道、social は SNS の投稿、speech は話し言葉です)。話し言葉は原文が最短でも 141 字あり、100 字以下がないので、140 字から 200 字のものにしました。
原文(文学): "Come on, Tenuk, you've shapeshifted into a Thraki before!"
| 訳 | 文 |
|---|---|
| 参照訳(人手) | 「おいおい、テヌーク、前にもスラキに変身したことがあるだろう！」 |
| PLaMo 3 Translate 0.8B | 「おいおい、テヌク、前にもトラキに姿を変えただろ！」 |
| PLaMo 3 Translate 31B | 「ほら、テヌク、前にトラキに変身したことあるだろ！」 |
| Gemma 4 31B IT(指示文 A) | 「いい加減にしてよテヌク、前にもスラキに化けたことがあるじゃない！」 |
| Gemma 4 31B IT(指示文 B) | 「いい加減にしてよ、テヌク。前にもスラキに姿を変えたことがあるじゃない！」 |
原文(報道): Siso's depictions of land, water center new gallery exhibition
| 訳 | 文 |
|---|---|
| 参照訳(人手) | 大地と水をテーマにしたシソの作品展が新ギャラリーで開催 |
| PLaMo 3 Translate 0.8B | 宍野の大地を描く 新ギャラリー展 |
| PLaMo 3 Translate 31B | シソの大地と水の描写が新ギャラリー展の中心に |
| Gemma 4 31B IT(指示文 A) | シソによる大地と水の描写が、新ギャラリー展の中心に |
| Gemma 4 31B IT(指示文 B) | シソによる大地と水の描写が、新しいギャラリー展の中心に |
原文(SNS の投稿): I guess I should find a job, but I'm quite lazy. Hire me now, I'll drink all your beer.
| 訳 | 文 |
|---|---|
| 参照訳(人手) | 多分仕事探したほうがいい気がするけどさ、俺かなりやる気ないんだよ。今雇ってくれ、お前のビール全部飲んでやるからさ。 |
| PLaMo 3 Translate 0.8B | 仕事を探したほうがいいんだろうけど、俺、結構怠け者なんだ。今すぐ雇ってくれ、ビール全部飲み干してやるよ。 |
| PLaMo 3 Translate 31B | 仕事でも探したほうがいいんだろうけど、かなり怠け者なんだ。今すぐ雇ってくれ、ビール全部飲み干してやるよ。 |
| Gemma 4 31B IT(指示文 A) | 仕事を探すべきなんだろうけど、かなり怠け者なんだよね。今すぐ雇ってよ、ビール全部飲んであげるから。 |
| Gemma 4 31B IT(指示文 B) | 仕事を探すべきなんだろうけど、かなり怠け者なんだ。今すぐ雇ってくれ、ビール全部飲んでやるから。 |
原文(話し言葉): Starfire. The princess of Tamaran. Comfortable, I hope. Lord Bagrok! Oh! Such a formidable spirit. Your sister was wise to hand you over. Garbler neck!
| 訳 | 文 |
|---|---|
| 参照訳(人手) | スターファイア。 タマランの王女。くつろいでおるか？ ヴァブレルネルク卿！おお、なんとも勇ましい。妹がお前を引き渡したのは賢明だった。 ヴァブレルネルク！ |
| PLaMo 3 Translate 0.8B | スターファイア。タマランの王女。安らかであらんことを。バグロク卿！おお！なんと気概ある方か。妹が賢明にもあなたを引き渡してくれたのだな。ガーブラーネック！ |
| PLaMo 3 Translate 31B | スターファイア。タマランの王女。心地よく過ごせていることを願うよ。バログ卿！おお！なんと強靭な精神だ。お前を引き渡した妹の判断は正しかったな。ガラクタ野郎め！ |
| Gemma 4 31B IT(指示文 A) | スターファイア。タマランの王女か。心地よく過ごせていることを願うよ。バグロック卿！おお！なんと恐るべき精神だ。妹殿が貴殿を引き渡したのは賢明な判断だったな。ガルブラー・ネック！ |
| Gemma 4 31B IT(指示文 B) | スターファイア。タマランの王女か。心地よく過ごせていることを願うよ。バグロック卿！おお！なんと恐るべき精神だ。妹殿が貴殿を引き渡したのは賢明な判断だったな。ガーブラー・ネック！ |
差が大きかった例
PLaMo 3 Translate 31B と、指示文 A の Gemma 4 で、COMET-22 の差が大きかった文です。差は、PLaMo 3 Translate 31B から Gemma 4 を引いた値です。差の大きさで選んだので、全体の代表ではありません。
PLaMo 3 Translate 31B が Gemma 4 を上回った文:
原文(差 +0.362): "THAT'S GONNA BE TRICKY!"
| 訳 | 文 |
|---|---|
| 参照訳(人手) | 「それは難しいわね！」 |
| PLaMo 3 Translate 0.8B | 「そりゃ、ずるいよ！」 |
| PLaMo 3 Translate 31B | 「それは一筋縄ではいかないぞ！」 |
| Gemma 4 31B IT(指示文 A) | それは骨が折れそうだな！ |
| Gemma 4 31B IT(指示文 B) | 「それは骨が折れそうだな！」 |
原文(差 +0.257): I hate lava #firetemple
| 訳 | 文 |
|---|---|
| 参照訳(人手) | 溶岩憎し #firetemple |
| PLaMo 3 Translate 0.8B | 溶岩は大嫌い #firetemple |
| PLaMo 3 Translate 31B | 溶岩嫌い #firetemple |
| Gemma 4 31B IT(指示文 A) | 溶岩まじで無理 #火の神殿 |
| Gemma 4 31B IT(指示文 B) | 溶岩大嫌い #火の神殿 |
Gemma 4 が PLaMo 3 Translate 31B を上回った文:
原文(差 −0.375): this year's seed order
| 訳 | 文 |
|---|---|
| 参照訳(人手) | 今年の種の注文 |
| PLaMo 3 Translate 0.8B | 今年の種順 |
| PLaMo 3 Translate 31B | 今年のシード順 |
| Gemma 4 31B IT(指示文 A) | 今年の種子の注文 |
| Gemma 4 31B IT(指示文 B) | 今年の種子の注文 |
原文(差 −0.311): Plougheth mine feeldes
| 訳 | 文 |
|---|---|
| 参照訳(人手) | 我が畑を耕し候う |
| PLaMo 3 Translate 0.8B | プラウエス鉱山の露頭 |
| PLaMo 3 Translate 31B | プラウエス鉱山の鉱脈 |
| Gemma 4 31B IT(指示文 A) | 私の畑を耕せ |
| Gemma 4 31B IT(指示文 B) | 私の畑を耕せ |
PLaMo 3 Translate が負けた 2 文は、古い英語の綴り("Plougheth mine feeldes")と、文脈のない短い句("seed order")で、「鉱山」「シード順」と別の意味に取っていました。勝った 2 文は、台詞の口調(「一筋縄ではいかないぞ！」)と、ハッシュタグの扱いです。参照訳はハッシュタグを原文のまま残していて、PLaMo 3 Translate もそのまま残し、Gemma 4 は「#火の神殿」と訳しています。いずれも 2 文ずつの観察で、傾向の根拠にはなりません。
他の翻訳特化モデルとの比較
ついでに、ほかのモデルも測りました(COMET-22 と chrF、貪欲法)。全モデルを、サイズを横軸にして並べると次のとおりです。
横軸は、モデルのパラメータ数(対数軸)です。PLaMo 3 Translate は名称のサイズ、ほかは Hugging Face が示す実際の数の位置に置きました。(a) の縦線は 95% 区間です(chrF には区間を付けていません)。橙色の破線と一点鎖線は Gemma 4 31B IT の水準(指示文 A と B)です。PLaMo 2 Translate と Hy-MT2-7B は、PLaMo 3 Translate の 8B と重ならないよう、横に少しずらして描きました。Hy-MT2 の推奨のサンプリングと、TranslateGemma 12B の最初の案だけの版は、図に入れていません。
数値は次のとおりです。
| モデル | COMET-22 | chrF |
|---|---|---|
| Hy-MT2-7B | 0.8890 | 37.61 |
| PLaMo 2 Translate | 0.8825 | 34.00 |
| Hy-MT2-1.8B | 0.8766 | 34.70 |
| TranslateGemma 12B | 0.8757 | 33.07 |
| TranslateGemma 4B | 0.8643 | 29.82 |
- COMET-22 で最も高かったのは Hy-MT2-7B で、Gemma 4 や PLaMo 3 Translate のどのサイズより、区間が 0 を含まずに高い値でした。なぜ高いのかは分かりません。技術報告の要旨には学習方法の記載がなく、COMET に合わせた学習をしている可能性は排除できません。評価データの参照訳を暗記した兆候(参照訳との完全一致の多さ)と、出力の異常は調べましたが、見つかりませんでした
- PLaMo 2 Translate は、COMET-22 では Gemma 4 と区別できませんが、chrF は 34.00 と低く、PLaMo 3 Translate の 8B(37.92)との差が大きいです
- TranslateGemma 12B は、短い文に複数の案を並べる癖があり、点数が下がっています
測っていないこと
- PFN が評価の中心にした PFTB と SaaS(社内のベンチマーク)、多言語の FLORES+ は測れていません。評価は英語から日本語の一方向です
- 人が読んで比べる評価はしていません。COMET-22 と chrF が割れた理由は、確かめていません
- 比べた Gemma 4 は 1 回出しで、指示文は私が用意した 2 通りです。合成の工程そのものは再現していません
- 生成は貪欲法の 1 回だけです。比較を多数していますが、多重比較の補正はしていません
環境
翻訳は transformers 5.22.1(torch 2.8.0+cu126)で動かしました。PLaMo 2 Translate だけは、モデルカードの方法に合わせて vLLM 0.8.5 で動かしています。COMET-22 は unbabel-comet 2.2.7、chrF は sacrebleu 2.6.0 です。
出典
確認日はいずれも 2026-11-05 から 11-06 です。
- PFN「PLaMo 3 Translate の重みの公開」(2026-11-05): https://www.preferred.jp/ja/blog/tech/plamo-3-translate-weight-release
- PFN「PLaMo 3 Translate」の製品の紹介(先行のリリース): https://www.preferred.jp/ja/blog/tech/plamo-3-translate-product-release
- PLaMo 3 Translate のモデルカード(0.8B): https://huggingface.co/pfnet/plamo-3-translate-0.8b
- PLaMo 2 Translate のモデルカード: https://huggingface.co/pfnet/plamo-2-translate
- Gemma 4 31B IT(Apache-2.0): https://huggingface.co/google/gemma-4-31B-it
- Hy-MT2 のモデルカード: https://huggingface.co/tencent/Hy-MT2-7B
- TranslateGemma のモデルカード: https://huggingface.co/google/translategemma-4b-it
- WMT24++ のデータセット: https://huggingface.co/datasets/google/wmt24pp
- Deutsch ら「WMT24++: Expanding the Language Coverage of WMT24 to 55 Languages & Dialects」(arXiv:2502.12404): https://aclanthology.org/2025.findings-acl.634/
- Kocmi ら「To Ship or Not to Ship: An Extensive Evaluation of Automatic Metrics for Machine Translation」(arXiv:2107.10821): https://arxiv.org/abs/2107.10821
- COMET-22 の重み: https://huggingface.co/Unbabel/wmt22-comet-da
- sacrebleu: https://github.com/mjpost/sacrebleu
Built with PLaMo。この記事に載せた PLaMo 3 Translate と PLaMo 2 Translate の訳文は、それぞれのモデルの出力です。ライセンスは PLaMo コミュニティライセンス(https://plamo.preferredai.jp/info/plamo-community-license-ja)に従います。