はじめに
AIが世の中で使われるようになって間もなくの間は、日本語入力への未対応により英語入力が必要だったケースがありました。しかし、現在利用されているAIのほとんどは日本語の入力でも問題なく回答することが可能です。しかし、多くのモデルの学習データは英語が多いので、英語で考えたほうが得意なのではないか、という疑問は払しょくできていません。これまでに、実際にどうなのか自分では確かめたことがありませんでした。
そこで、同じ課題を日本語版と英語版で用意し、Geminiに投げて比較しました。答えが一意に決まる数学や論理のパズルと、項目数やJSON構造などの制約を守れるかという2種類の課題です。
検証環境は Gemini Developer API(GEMINI_API_KEY)、モデルは gemini-3.5-flash、SDK は google-genai です。
結論
先に結論をお伝えします。
- 数学や論理のパズル12問、制約遵守12問のどちらも、日本語と英語で正答率・遵守率がまったく同じだった。数学は10/12対10/12で、しかも同じ問題で同じ誤答をしていた
- 精度には差がなかったが、トークン数には差があった。同じ内容の指示文でも、日本語は英語よりおよそ20%多くのトークンを消費していた
検証方法
2種類の課題を用意しました。
数学や論理のパズル12問:答えが一意の数値に決まる問題です。「定価の割引後価格」「余りの条件を満たす最大の自然数」「じゃんけんであいこにならない確率」などを、日本語版と英語版で用意しました。同じ数値、同じ条件で、文面だけを翻訳しています。
【日本語版の例】
ある商品の定価は2400円です。まず15%引きになり、そのあとさらにその価格から10%引きになりました。
最終的な価格はいくらですか。数字のみで答えてください。
【英語版】
The list price of an item is 2400 yen. It is first discounted by 15%, and then the
resulting price is discounted by another 10%. What is the final price? Answer with the number only.
制約遵守12問:項目数、JSON構造、数値の合計条件など、複数の制約を同時に守れるかを見る課題です。
【日本語版の例】
1から10までの整数の中から、ちょうど4つを選んでカンマ区切りで並べてください。
選んだ数字の合計はちょうど20にしてください。数字以外は一切出力しないでください。
【英語版】
Choose exactly 4 integers from 1 to 10 and list them separated by commas.
The chosen numbers must sum to exactly 20. Output nothing but the numbers.
すべて temperature=0 で固定し、採点はプログラムで機械的に行いました。数学は数値の完全一致、制約遵守は個数やJSON構造、数値条件などをコードでチェックしています。主観的な判断が入る余地はありません。
※各プロンプトの回答そのものは付録して掲載しているので、必要に応じてご参照ください。
検証結果①数学や論理のパズル
結果です。
| 条件 | 正答数 |
|---|---|
| 日本語 | 10 / 12 |
| 英語 | 10 / 12 |
正答率が同じだっただけではありません。間違えた問題も同じで、しかも間違え方まで一致していました。5人でじゃんけんを1回したときにあいこにならない確率を問う問題(正解は37%)で、日本語版も英語版も「17」という同じ誤答を返しました。
日本語版の回答:17
英語版の回答:17
この問題は thinking_level を最小に設定していたため、モデルの思考過程は見えません。それでも、言語が違えば別の間違い方をしそうなものが、まったく同じ数字に落ち着いたのは印象的でした。もう1問の誤答(7の倍数でも11の倍数でもない数を数える問題、正解78)では、日本語が76、英語が71とわずかに違う誤答でしたが、どちらも不正解という結果は同じです。
検証結果②制約遵守
結果です。
| 条件 | 遵守数 |
|---|---|
| 日本語 | 12 / 12 |
| 英語 | 12 / 12 |
「ちょうど5個の項目からなる箇条書き」「JSONの配列はちょうど4個のオブジェクト」「合計がちょうど20になる4つの整数」といった複数の制約が絡む課題でも、日英どちらも全問で条件を満たしていました。数値条件を課した問題(1から10の整数から4つ選んで合計を20にする)でも、日本語版は「1,2,8,9」、英語版は「2, 4, 6, 8」と、どちらも正しく合計20になる組み合わせを一発で返しています。
検証からわかったこと
正答率・遵守率では差がつきませんでしたが、usage_metadata からトークン数を集計すると、はっきりした違いが出ました。
| 条件 | 入力トークン平均(制約遵守12問) | 出力トークン平均 |
|---|---|---|
| 日本語 | 43.9 | 77.5 |
| 英語 | 35.8 | 72.0 |
同じ内容の指示文でも、日本語のプロンプトは英語よりおよそ20%多くのトークンを消費していました。数学や論理のパズルのほうは、入力はほぼ同じ(日本語45.8、英語45.0)、出力も同じ(どちらも2.8)でした。これは、数学の指示文が数式や数値中心で言語による差が出にくいことと、出力が「数字だけ」に絞られていて言語の影響を受けにくいことが理由と考えられます。一方、制約遵守の指示文は自然文の分量が多く、日本語のほうが同じ内容を伝えるのにトークンを多く使う傾向がはっきり出ました。
出力トークンも、問題ごとに見ると増減はまちまちでしたが、合計では日本語のほうがやや多い結果でした。
おわりに
今回の範囲では、指示を日本語で書くか英語で書くかによって、Geminiの精度が変わることはありませんでした。数学的な推論も、複数の制約を同時に守る指示追従も、日英で差がつかず、間違えるときですら同じ間違え方をしていました。指示言語を精度目的で使い分ける理由は、少なくともこの種のタスクには見当たりません。
一方で、同じ内容を伝えるのに必要なトークン数には、日本語のほうが多くかかるという実質的な差がありました。大量のリクエストを継続的に投げるような場面では、この差が積み重なってコストに影響します。精度を気にする必要はなくても、コストを気にするなら、指示文を英語で書く選択肢は検討する価値があります。
付録:全48問の生回答
要約せず、実際に返ってきた回答をすべてそのまま載せます。
数学・論理パズル12問(日本語 / 英語)
M1(正解:1836)
日本語 ○
質問:ある商品の定価は2400円です。まず15%引きになり、そのあとさらにその価格から10%引きになりました。最終的な価格はいくらですか。数字のみで答えてください。
回答:1836
英語 ○
Question: The list price of an item is 2400 yen. It is first discounted by 15%, and then the resulting price is discounted by another 10%. What is the final price? Answer with the number only.
Answer: 1836
M2(正解:98)
日本語 ○
質問:3で割ると2余り、5で割ると3余る、100以下の自然数のうち最大のものはいくつですか。数字のみで答えてください。
回答:98
英語 ○
Question: What is the largest natural number of 100 or less that leaves a remainder of 2 when divided by 3 and a remainder of 3 when divided by 5? Answer with the number only.
Answer: 98
M3(正解:37)
日本語 ×
質問:5人でじゃんけんを1回するとき、あいこ(引き分け)にならない確率は何%ですか。小数点以下は四捨五入して整数で答えてください。数字のみで答えてください。
回答:17
英語 ×
Question: When 5 people play one round of rock-paper-scissors, what is the probability, as a percentage, that the round does NOT end in a draw? Round to the nearest whole number. Answer with the number only.
Answer: 17
M4(正解:10780)
日本語 ○
質問:ある店の会員は初月無料、2ヶ月目以降は月額980円です。ちょうど1年間(12ヶ月)利用した場合の合計支払額はいくらですか。数字のみで答えてください。
回答:10780
英語 ○
Question: A store's membership is free for the first month, then costs 980 yen per month from the second month onward. What is the total amount paid over exactly one year (12 months)? Answer with the number only.
Answer: 10780
M5(正解:78)
日本語 ×
質問:1から100までの整数のうち、7の倍数でも11の倍数でもない数はいくつありますか。数字のみで答えてください。
回答:76
英語 ×
Question: Among the integers from 1 to 100, how many are neither multiples of 7 nor multiples of 11? Answer with the number only.
Answer: 71
M6(正解:12.8)
日本語 ○
質問:濃度8%の食塩水300gと濃度20%の食塩水200gを混ぜました。できた食塩水の濃度は何%ですか。数字のみで答えてください。
回答:12.8
英語 ○
Question: 300g of an 8% saltwater solution is mixed with 200g of a 20% saltwater solution. What is the concentration, as a percentage, of the resulting solution? Answer with the number only.
Answer: 12.8
M7(正解:7)
日本語 ○
質問:ある仕事をAさん1人ですると12日、Bさん1人ですると18日かかります。2人で一緒に作業すると何日かかりますか。小数第1位を四捨五入して整数の日数で答えてください。数字のみで答えてください。
回答:7
英語 ○
Question: A certain job takes 12 days if done by person A alone, and 18 days if done by person B alone. How many days would it take if they worked together? Round to the nearest whole number of days. Answer with the number only.
Answer: 7
M8(正解:15.6)
日本語 ○
質問:1辺の長さが6cmの正三角形の面積は何cm²ですか。√3=1.732として計算し、小数第2位を四捨五入して小数第1位まで答えてください。数字のみで答えてください。
回答:15.6
英語 ○
Question: What is the area, in cm², of an equilateral triangle with a side length of 6cm? Use √3=1.732 and round to one decimal place. Answer with the number only.
Answer: 15.6
M9(正解:100)
日本語 ○
質問:ある数列は1, 4, 9, 16, 25, ... のように続きます。この数列の10番目の項の値はいくつですか。数字のみで答えてください。
回答:100
英語 ○
Question: A sequence continues as 1, 4, 9, 16, 25, .... What is the value of the 10th term in this sequence? Answer with the number only.
Answer: 100
M10(正解:50)
日本語 ○
質問:定員40人のバスに、乗客が定員の125%乗っています。乗客は何人ですか。数字のみで答えてください。
回答:50
英語 ○
Question: A bus with a capacity of 40 people is carrying passengers at 125% of capacity. How many passengers are on the bus? Answer with the number only.
Answer: 50
M11(正解:96)
日本語 ○
質問:ある投資信託は1年目に20%値上がりし、2年目に20%値下がりしました。2年後の価値は当初の何%になっていますか。小数点以下は四捨五入して整数で答えてください。数字のみで答えてください。
回答:96
英語 ○
Question: An investment fund rose by 20% in year 1 and fell by 20% in year 2. What percentage of its original value does it have after 2 years? Round to the nearest whole number. Answer with the number only.
Answer: 96
M12(正解:10)
日本語 ○
質問:6人を3人ずつの2つのグループに分ける方法は何通りありますか(グループ自体に区別はないものとします)。数字のみで答えてください。
回答:10
英語 ○
Question: In how many ways can 6 people be divided into two groups of 3, where the two groups themselves are not distinguished from each other? Answer with the number only.
Answer: 10
制約遵守12問(日本語 / 英語)
F1
日本語 ○遵守
指示:健康的な習慣について、ちょうど5個の項目からなる箇条書きを作ってください。各項目は「-」(ハイフン)で始めてください。前置きや説明は書かず、箇条書きだけを出力してください。
回答:
- 栄養バランスの良い食事を1日3食、規則正しく摂る
- 毎日7〜8時間の質の高い睡眠を確保する
- 週に数回、30分程度の適度な有酸素運動を行う
- こまめな水分補給を心がけ、体内の循環を促す
- 瞑想や趣味の時間を取り入れ、ストレスを溜め込まない
英語 ○遵守
Instruction: Create a bulleted list about healthy habits with exactly 5 items. Each item must start with a hyphen '-'. Do not include any introduction or explanation, output only the list.
Answer:
- Drink at least eight glasses of water daily to stay hydrated and support bodily functions.
- Eat a balanced diet rich in fruits, vegetables, lean proteins, and whole grains.
- Engage in at least 30 minutes of moderate physical activity most days of the week.
- Aim for seven to nine hours of quality sleep each night to allow the body to recover.
- Practice daily mindfulness or deep breathing exercises to manage and reduce stress levels.
F2
日本語 ○遵守
指示:光合成の仕組みについて、正確に3段落で説明してください。各段落は空行で区切ってください。数字や記号を使った見出しは付けないでください。
回答:
光合成は、植物や藻類、一部の細菌が太陽の光エネルギーを利用して、二酸化炭素と水から有機物(糖類)と酸素を合成する代謝プロセスです。この反応は主に植物の細胞内にある葉緑体で行われます。葉緑体に含まれるクロロフィルなどの光合成色素が光を吸収することで反応が開始され、地球上の生命活動を支える有機物と酸素の供給源となっています。
光合成のプロセスは、大きく分けて「明反応」と「暗反応(カルビン回路)」の二つの段階で構成されています。最初の段階である明反応は、葉緑体の中のチラコイド膜で行われます。ここで吸収された光エネルギーを利用して水分子が分解され、酸素が放出されるとともに、次の段階で必要となる化学エネルギー(ATP)と還元力(NADPH)が作り出されます。
続く第二の段階である暗反応は、葉緑体のストロマと呼ばれる液状の部分で行われます。この段階では光を直接必要とせず、明反応で得られたATPとNADPHのエネルギーを用いて、取り込まれた二酸化炭素を固定し、最終的にブドウ糖などの有機物を合成します。こうして作られた有機物は植物自身の成長や呼吸のエネルギー源となり、放出された酸素は他の生物の呼吸に利用されます。
英語 ○遵守
Instruction: Explain how photosynthesis works in exactly 3 paragraphs. Separate each paragraph with a blank line. Do not add headings with numbers or symbols.
Answer:
Photosynthesis is the vital biological process by which green plants, algae, and some bacteria convert light energy into chemical energy, sustaining most life on Earth. This complex transformation occurs primarily within the leaves of plants, inside specialized cellular organelles called chloroplasts. These organelles contain chlorophyll, a green pigment that absorbs sunlight, primarily in the blue and red wavelengths. Along with light, plants draw in water through their roots from the soil and absorb carbon dioxide from the air through microscopic pores in their leaves called stomata.
The process unfolds in two distinct stages, beginning with the light-dependent reactions. When sunlight strikes the chlorophyll within the thylakoid membranes of the chloroplast, it excites electrons, initiating a flow of energy. This energy is used to split water molecules into oxygen, protons, and electrons. The oxygen is released into the atmosphere as a crucial byproduct that supports aerobic life. Meanwhile, the energized electrons and protons are used to generate two temporary energy-carrier molecules: adenosine triphosphate (ATP) and nicotinamide adenine dinucleotide phosphate (NADPH).
The second stage, known as the light-independent reactions or the Calvin cycle, takes place in the stroma, the fluid-filled space of the chloroplast. This phase does not require direct sunlight but relies on the ATP and NADPH produced in the first stage. Using these energy carriers, the plant chemically reduces the captured carbon dioxide through a series of enzymatic steps. This carbon fixation process ultimately synthesizes simple sugars, such as glucose, which the plant uses for immediate energy, growth, and structural development, completing the conversion of solar energy into chemical food.
F3
日本語 ○遵守
指示:架空の書籍情報を1つ、次のJSON形式で生成してください。キーは必ず {"title": string, "author": string, "year": number, "genres": 文字列3つの配列} という構造にしてください。JSON以外の文字は一切出力しないでください。
回答:
{
"title": "群青のクロノスタシス",
"author": "神崎 朔太郎",
"year": 2026,
"genres": [
"SF",
"ミステリー",
"青春"
]
}
英語 ○遵守
Instruction: Generate one fictional book's information in the following JSON format. The structure must be exactly {"title": string, "author": string, "year": number, "genres": array of exactly 3 strings}. Output nothing but the JSON.
Answer:
{"title": "The Echo of Clockwork Rain", "author": "Alistair Vance", "year": 2026, "genres": ["Steampunk", "Mystery", "Science Fiction"]}
F4
日本語 ○遵守
指示:1から10までの整数の中から、ちょうど4つを選んでカンマ区切りで並べてください。選んだ数字の合計はちょうど20にしてください。数字以外は一切出力しないでください。
回答:
1,2,8,9
英語 ○遵守
Instruction: Choose exactly 4 integers from 1 to 10 and list them separated by commas. The chosen numbers must sum to exactly 20. Output nothing but the numbers.
Answer:
2, 4, 6, 8
F5
日本語 ○遵守
指示:架空の会社名をちょうど5個、1から5の番号付きリストで、1行に1社ずつ出力してください。会社名以外の説明は書かないでください。
回答:
1. 株式会社青空ネクサス
2. ミライ創研合同会社
3. 富士見デジタルソリューションズ
4. サクラ・バイオテック株式会社
5. 豊穣フードサービス
英語 ○遵守
Instruction: List exactly 5 fictional company names as a numbered list from 1 to 5, one per line. Do not include any explanation other than the company names.
Answer:
1. Omni Consumer Products
2. Weyland-Yutani Corporation
3. Tyrell Corporation
4. Aperture Science
5. Massive Dynamic
F6
日本語 ○遵守
指示:架空の生徒4人分のテスト結果を、次のJSON形式で出力してください:[{"name": 文字列, "score": 0から100の整数}, ...] という、ちょうど4個のオブジェクトからなる配列にしてください。JSON以外は出力しないでください。
回答:
[
{
"name": "佐藤 健太",
"score": 85
},
{
"name": "鈴木 美咲",
"score": 92
},
{
"name": "高橋 陸",
"score": 64
},
{
"name": "田中 結衣",
"score": 78
}
]
英語 ○遵守
Instruction: Output test results for 4 fictional students in the following JSON format: an array of exactly 4 objects like [{"name": string, "score": integer from 0 to 100}, ...]. Output nothing but the JSON.
Answer:
[
{
"name": "Aria Vance",
"score": 88
},
{
"name": "Leo Sterling",
"score": 95
},
{
"name": "Elena Rostova",
"score": 72
},
{
"name": "Marcus Chen",
"score": 61
}
]
F7
日本語 ○遵守
指示:重複しない果物の名前をちょうど6つ、カンマ区切りで1行に出力してください。番号は付けないでください。
回答:
リンゴ,バナナ,ミカン,ブドウ,イチゴ,メロン
英語 ○遵守
Instruction: List exactly 6 distinct fruit names, separated by commas, on a single line. Do not use numbering.
Answer:
Apple, Banana, Orange, Strawberry, Grape, Pineapple
F8
日本語 ○遵守
指示:オンラインショッピングについて、はい・いいえで答えられる質問をちょうど3つ作ってください。1行に1つずつ、疑問符(?)で終わる形にしてください。番号や前置きは不要です。
回答:
これまでにオンラインショッピングで一度でも買い物をしたことがありますか?
実店舗よりもオンラインショッピングで買うことの方が多いですか?
オンラインショッピングで商品の配送トラブルを経験したことがありますか?
英語 ○遵守
Instruction: Create exactly 3 yes/no questions about online shopping. Put one per line, each ending with a question mark. Do not include numbering or any introduction.
Answer:
Have you ever returned an item you bought online because it did not match the description?
Do you prefer shopping on mobile apps rather than desktop websites?
Have you ever abandoned an online shopping cart because the shipping costs were too high?
F9
日本語 ○遵守
指示:2から50までの偶数の中から、重複しない7つを選んで大きい順にカンマ区切りで並べてください。数字以外は出力しないでください。
回答:
50,48,46,44,42,40,38
英語 ○遵守
Instruction: Choose 7 distinct even numbers between 2 and 50 and list them in descending order, separated by commas. Output nothing but the numbers.
Answer:
48, 40, 32, 26, 18, 12, 6
F10
日本語 ○遵守
指示:リモートワークのメリットをちょうど2つ、デメリットをちょうど2つ挙げて、次のJSON形式で出力してください:{"pros": [文字列, 文字列], "cons": [文字列, 文字列]}。JSON以外は出力しないでください。
回答:
{
"pros": [
"通勤時間が削減され、プライベートや睡眠に充てる時間が増加する",
"働く場所の制約がなくなり、静かな環境で業務に集中しやすくなる"
],
"cons": [
"対面での雑談や偶発的なコミュニケーションが減少し、意思疎通が難しくなる",
"仕事とプライベートの境界線が曖昧になり、オーバーワークに陥りやすい"
]
}
英語 ○遵守
Instruction: List exactly 2 pros and exactly 2 cons of remote work, formatted as the following JSON: {"pros": [string, string], "cons": [string, string]}. Output nothing but the JSON.
Answer:
{"pros": ["Eliminates daily commute times, allowing employees to save money and reclaim personal hours.", "Offers greater schedule flexibility, making it easier to balance professional and personal responsibilities."], "cons": ["Can lead to feelings of isolation and loneliness due to the lack of in-person social interaction.", "Blurs the boundaries between work and home life, making it difficult to disconnect and unplug."]}
F11
日本語 ○遵守
指示:お茶の淹れ方を、ちょうど5つの手順として1から5の番号付きで出力してください。各手順は動詞から始めてください。前置きの文章は書かないでください。
回答:
1. 温める:急須と湯呑みにお湯を注ぎ、あらかじめ器具を温めておきます。
2. 量る:急須に茶葉を入れます(1人分あたり約2〜3グラムが目安です)。
3. 冷ます:沸騰したお湯を湯呑みに移し、お茶に適した温度(約70℃〜80℃)まで下げます。
4. 蒸らす:適温になったお湯を急須に注ぎ、蓋をして約1分間静かに待ちます。
5. 注ぐ:湯呑みに少しずつ均等に注ぎ分け、最後の「一滴」まで絞りきります。
英語 ○遵守
Instruction: Describe how to make tea as exactly 5 numbered steps from 1 to 5. Each step must start with a verb. Do not include any introductory sentence.
Answer:
1. Boil fresh water in a kettle to the appropriate temperature for your chosen tea variety.
2. Place the tea bag or loose-leaf tea infuser into your favorite mug or teapot.
3. Pour the hot water directly over the tea to submerge it completely.
4. Steep the tea for three to five minutes, depending on the desired strength.
5. Remove the tea bag or infuser and add milk, honey, or lemon to taste before drinking.
F12
日本語 ○遵守
指示:色の名前をちょうど3つ、Pythonのリスト構文で出力してください(例: ["red", "blue", "green"])。それ以外は一切出力しないでください。
回答:
["red", "blue", "yellow"]
英語 ○遵守
Instruction: Output exactly 3 color names as a Python list literal (e.g., ["red", "blue", "green"]). Output nothing else.
Answer:
["red", "blue", "green"]