結論
結論から言うね。めっちゃ厳しいよ。（AI風）
GLM-4.7-Flash、無料なのはいいけど
- 知識微妙
- 日本語品質悪い
- レスポンス遅い
ということで、実戦投入は現状かなり厳しいという感じです
無料でたくさん叩けるLLM APIといえばgemma-3-27b-itなので、これと比較しました
結果、
gemma3の圧勝でした
検証環境
- GLM-4.7-Flash: Z.AI API（無料）
- Gemma 3 27B IT: Google AI Studio API
APIドキュメントはこちら
https://docs.z.ai/guides/llm/glm-4.7#glm-4-7-flash
この辺の内容をもとに
claude codeにガッとテストコード作ってもらってテストしました
リクエストパラメータで何が変わるか
基本リクエスト
const response = await fetch('https://api.z.ai/api/paas/v4/chat/completions', {
method: 'POST',
headers: {
'Content-Type': 'application/json',
'Authorization': 'Bearer YOUR_API_KEY'
},
body: JSON.stringify({
model: 'glm-4.7-flash',
messages: [{ role: 'user', content: '質問文' }],
max_tokens: 4096,
temperature: 0.5,
stream: true,
thinking: { type: 'disabled' }
})
});
パラメータ別の挙動まとめ
| パラメータ | 値 | 何が起きるか |
|---|---|---|
thinking.type |
disabled |
思考なしで即回答、速いけど精度落ちることも |
thinking.type |
enabled |
英語で思考→日本語で回答、時間2倍だけど精度上がることも |
thinking.budget_tokens |
2048等 | thinking有効時の思考トークン上限 |
temperature |
0.5 | やや安定するけどハルシネーションは防げない |
temperature |
1.0 | ハルシネーション増える、異なるジャンルの知識が混入 |
stream |
true | SSE形式、First byteは約700-800ms |
テスト1: ドラクエ1の発売情報を聞いてみた
質問（両モデル共通）
ドラゴンクエストシリーズの第1作目が発売された年と、
開発に関わった主要人物を教えてください。
GLM-4.7-Flash の回答（thinking無効、temp=0.5、28秒）
ドラゴンクエストシリーズの第1作目（ドラゴンクエスト）が発売された年と、開発に関わった主要人物は以下の通りです。
**発売年：1986年5月27日**
**主要人物：**
* **堀井雄二（原案・総合監修）**
* ドラゴンクエストの生みの親。シナリオや世界観の構築、ゲームデザインを担当しました。
* **堀井雄二（シナリオ・ゲームデザイン）**
* 上記と重複しますが、具体的なゲーム内の展開やシステム設計も担当しました。
* **中村光一（システムプログラマー）**
* ゲームのシステム設計、プログラミングを担当しました。
* **鳥山明（キャラクターデザイン）**
* 主人公「勇者」やモンスター、街の風景などのイラストを担当しました。
* **スギヤマ・カズオ（サウンドデザイナー）**
* ゲームの音楽を作曲しました。※※
* **スギヤマ・カズオ（作曲家）**
* 上記と重複しますが、※※の補足です。
※※：スギヤマ・カズオ氏は、当時「すぎやまこういち」というペンネームで活動しており、後に「すぎやまこういち」として有名になります。第1作目のサウンドデザインも、のちに「すぎやまこういち」として知られる作曲家が担当しました。
**補足：**
ドラゴンクエスト第1作目の開発には、他にも多くのスタッフが関わっていますが、上記の5名が最も中心的な役割を果たしました。
問題点
- 「すぎやまこういち」は昔「スギヤマ・カズオ」だったらしい？
- 「※※」という謎の記号
Gemma 3 27B IT の回答（15秒）
ドラゴンクエスト（ドラゴンクエストI）は、1986年5月27日にファミリーコンピュータ用ソフトとして発売されました。
開発に関わった主要人物は以下の通りです。
* **ゲームデザイナー・シナリオ:** 堀井雄二
* **音楽:** すぎやまこういち
* **キャラクターデザイン:** 鳥山明
* **プログラマー:**
* 石井浩一
* 田中弘道
* **ディレクター:** 植田まさし
堀井雄二氏が中心となり、すぎやまこういち氏の音楽、鳥山明氏のキャラクターデザインが、この作品を大ヒットさせる大きな要因となりました。
評価
- レスポンス早い
- 「すぎやまこういち」の表記が正確
- ただしプログラマーは中村光一が正解（石井浩一、田中弘道、植田まさしはFF系のスタッフ）
テスト2: ゼルダBotWの革新点を説明させてみた
質問（両モデル共通）
ゼルダの伝説ブレスオブザワイルドが従来のゲームと比べて革新的だった点を、
ゲームシステムの観点から説明してください。
GLM-4.7-Flash の回答（thinking無効、temp=0.5、36秒）
『ゼルダの伝説 ブレス・オブ・ザ・ワイルド』は、ゲーム史における「オープンワールドの常識」を覆した作品です。従来のゲームと比較した際、システム面で特に革新的だった点は主に以下の5つに集約されます。
### 1. 「探索」をゲームシステムとして完全に再定義した
これまでのオープンワールドゲーム（特にアクションRPG）では、地図には「クエスト地点」と「敵の配置」がほぼ固定されており、プレイヤーはそれを「消化」するだけのゲームが主流でした。
* **革新的な点:** 本作では「探索そのものが目的」です。地図にはクエストマークが一切表示されません。プレイヤーは地形や自然現象（音、風、鳥の鳴き声など）に耳を傾け、自分で「どこに行けばいいか」を判断します。
* **システムの変化:** これにより、プレイヤーは「攻略ルート」を覚えるのではなく、「世界を探検する」という本来のゲームの楽しみ方に立ち返ることができました。
### 2. 「物理演算」による自由な解決策
従来のゲームでは、敵を倒すには近接攻撃か魔法を使うのが一般的でしたが、本作では物理法則を活用した解決策が「標準」。
* **革新的な点:** **「敵を岩に投げつける」「爆弾で岩を落として敵を潰す」「矢で風車を回転させて敵を攻撃する」**といった、公式な攻略法とは無関係な解決策が、システム上可能かつ有効になります。
* **システムの変化:** 「どうやってクリアするか」が「どうやって敵を倒すか」に変わりました。これにより、プレイヤーの創造性がシステム全体で尊重されるようになりました。
### 3. 「破壊可能な環境」と「素材の収集」の融合
これまでのゲームでは、環境（壁や木）は「見た目」の装飾に過ぎず、破壊してもゲームシステムに影響を与えることは稀でした。
* **革新的な点:** 本作の環境は「素材の供給源」です。木を切れば燃料になり、岩を砕けば鉱石になります。城壁を爆破すれば道が開け、橋を焼けば敵を焼き払えます。
* **システムの変化:** 「視覚的な破壊」と「ゲーム内の資源管理」がリンクしました。プレイヤーは「どう動くか」だけでなく「どの素材を使うか」を常に考える必要があるため、アクションの幅が劇的に広がりました。
### 4. 「冒険の準備」のリアリティと柔軟性
従来のゲームでは、装備の強化やアイテムの入手は「クエストをクリアしたから手に入る」というロールプレイ（役割演技）に近いものでした。
* **革新的な点:** 本作では、**「どんな装備でどんな敵と戦うか」をプレイヤーが自分で決定**します。強敵がいる場所に行く前に、プレイヤーは自分で武器を拾い、防具を集め、薬草を煮詰めて準備を整えます。
* **システムの変化:** 敵の強さが「ゲーム内の難易度設定」ではなく「プレイヤーの装備レベル」とリンクしました。これにより、プレイヤーは「挑戦するか諦めるか」の判断を、ゲームの進行状況ではなく自分の準備状況で行うことになります。
### 5. 「無限の可能性」と「没入感」の両立
これまでのゲームは、システム的に「正解」を用意することが多かったため、プレイヤーはそのルートに従うしかありませんでした。
* **革新的な点:** 本作は「ルールがシンプル（体を切ると痛い、火は燃える）」にもかかわらず、「アクションの幅が無限」です。プレイヤーは自分のやり方で世界を変え、物語を進めます。
* **システムの変化:** プレイヤーが「自分の意志」で世界を操作できるという感覚を、システムレベルで実現しました。これは、ゲームの「操作感」と「没入感」の質を根本から変えたと言えます。
評価
- 今回は明確なハルシネーションないが、「」を多用、文章がやや読みづらい
Gemma 3 27B IT の回答（25秒）
ゼルダの伝説 ブレスオブザワイルド（BotW）が従来のゲームと比べて革新的だった点は、ゲームシステム全体に渡っており、特に以下の点が挙げられます。
**1. オープンワールドの自由度と相互作用**
* **制約の少なさ:** 従来のゼルダシリーズは、物語の進行に合わせてダンジョンやエリアが解放されるなど、ある程度の進行の制約がありました。BotWでは、ゲーム開始直後から広大なハイラル大陸をほぼ自由に探索できます。物語の進行に縛られず、どこへでも行き、何でもできる自由度が圧倒的です。
* **物理演算エンジン:** BotWは、高度な物理演算エンジンを導入しています。これにより、プレイヤーの行動や環境要素がリアルに相互作用し、予想外の展開が生まれます。例えば、木を燃やして上昇気流を作り、グライダーで遠くまで移動したり、金属製の武器で雷を誘導して敵を攻撃したりといった、従来のゲームでは考えられなかったようなプレイが可能です。
* **環境パズル:** ダンジョンに限定されがちだったパズル要素が、フィールド全体に散りばめられています。プレイヤーは、周囲の環境を利用して、様々な問題を解決する必要があります。例えば、炎を利用して草を燃やし、隠された通路を見つけたり、磁力を使って金属製のオブジェクトを移動させたりといった、創造的な解決策が求められます。
**2. 従来のゲームデザインからの脱却**
* **明確な「正解」の排除:** 従来のゼルダシリーズでは、ダンジョン攻略の順番や、特定のアイテムの使用方法など、明確な「正解」が存在することが一般的でした。BotWでは、一つの目標に対して複数の達成方法が存在し、プレイヤーの創意工夫を重視しています。
* **武器・装備の耐久性:** 武器や盾には耐久性があり、使い続けると壊れてしまいます。これにより、プレイヤーは常に新しい武器を探し、状況に応じて使い分ける必要が生じます。このシステムは、従来のゲームのように強力な武器を使い続けるというプレイスタイルを覆し、より戦略的なプレイを促します。
* **料理・錬金術:** 素材を組み合わせて料理を作ったり、エフェクトを付与したりする錬金術システムも、BotWの特徴の一つです。これにより、プレイヤーは自身のプレイスタイルに合わせて、様々な効果を持つアイテムを作成し、冒険を有利に進めることができます。
**3. ストーリーテリングの革新**
* **断片的な記憶:** ストーリーは、ハイラル大陸各地に散らばった「記憶」を収集することで断片的に明らかになります。これにより、プレイヤーは自身のペースで物語を紐解き、過去の出来事を追体験することができます。
* **自由な物語進行:** プレイヤーは、ガノンドロフとの最終決戦に挑むまでの間、自由にハイラル大陸を探索し、様々なクエストをこなすことができます。これにより、プレイヤーは自身の物語を創造し、より深くゲームの世界に没入することができます。
これらの要素が組み合わさることで、BotWは従来のゲームとは一線を画す、自由度が高く、創造性を刺激するゲーム体験を提供しました。BotWの革新的なゲームシステムは、その後のオープンワールドゲームに大きな影響を与え、ゲーム業界全体に新たな潮流をもたらしました。
評価
- 存在しないシステムを挙げずに正確
- 文章が読みやすい
- 具体例（木を燃やして上昇気流、金属で雷を誘導など）が実際のゲーム内で可能なこと
比較まとめ
| 項目 | GLM-4.7-Flash | Gemma-3-27B-IT |
|---|---|---|
| 価格 | 無料 | 無料（制限あり） |
| 日本語の自然さ | 微妙～普通 | 自然 |
| 応答速度 | 28-36秒 | 15-25秒 |
| 出力の安定性 | 低 | 高 |
| ハルシネーション | あり（頻度不安定） | 少ない |
ということで
無料で期待したんですがなかなか厳しいですね
短文BOTくらいならいいかもしれませんが、
僕並みに日本語が下手なので、おそらく入力トークンの日本語の解釈も下手でしょう
話の流れをぶったぎるようなBOTになってしまいそうです
日本語ペラペラなLLM APIが格安で出てくれると
作れるサービスの幅がひろがりんぐなんですがねぇ…
個人的にはgemma3が凄くいいです
あまりエンジニア界隈で話題になってるのを見ないんですけど
無料でたくさん使えて日本語が上手というのがとてもいいです