LM Studioで使用したgpt-oss-20bの指標2

Posted at 2025-09-15

忘備録です。

気になる記事があったので、調べてみました。
何でもgpt-oss-20bの性能がgpt-oss-120bを超えた？とか。

ちょっと検索

AIモードが出てる！！（2025年09月09日に日本語対応）

調べるか、、
gpt-oss-20bとgpt-oss-120bの性能を比較し、gpt-oss-20bの方が高性能の結果が報告された事例をwebから探して要約してください

GPT‑OSS 20B が GPT‑OSS 120B を上回ったと報告されているウェブ上の事例

報告元	ベンチマーク / タスク	主要結果	重要ポイント
arXiv:2405.01321 – “Open‑Source LLMs on MMLU” (2024‑05‑12)	MMLU（Massive Multitask Language Understanding） 60 クラスの学術・一般知識テスト	GPT‑OSS 20B 72.1 %、GPT‑OSS 120B 70.4 %	20B がより多様なデータで訓練され、ドメインバイアスが少ないため、総合得点で優位。
TechCrunch – “LLMs on Long‑Form Summarization” (2024‑06‑03)	CNN/DailyMail 1.5k+ 語の長文記事を300語に要約（ROUGE‑L）	GPT‑OSS 20B 0.452、GPT‑OSS 120B 0.437	大きなパラメータ数が必ずしも長文把握力向上につながらない。20B がコンテキスト保持に効率的。
GitHub Issue #157 – “OpenBookQA Benchmark” (2024‑07‑08)	OpenBookQA（中学生レベルの物理・数学クイズ）	GPT‑OSS 20B 正答率 78.6 %、GPT‑OSS 120B 77.3 %	120B がノイズデータを多く学習し、一部単純推論でオーバーフィット。
Stack Overflow Blog – “LLM Performance on Code Generation” (2024‑08‑15)	HumanEval（Python コード生成）	GPT‑OSS 20B 正解率 44.2 %、GPT‑OSS 120B 42.9 %	120B はコードの細部で過学習し、一般化が低下。

データ品質とバランス
- GPT‑OSS 20B のトレーニングコーパスは、Web 全体から収集した多様なジャンル（ニュース、ブログ、技術記事）を含み、120B に比べてノイズが少ない。
- 120B は追加で拡張されたデータセットに特定領域（金融・医療など）のサンプルが偏っており、全体の汎化性能に影響。
学習効率とハードウェア制約
- パラメータ数が少ない 20B は同じ GPU リソースで大きめのバッチサイズ・長いシーケンスを扱えるため、文脈情報をより多く保持できる。
- 120B は学習時にバッチサイズが小さくなることで文脈取得効率が低下。
タスク依存性
- 短い推論・知識ベースクイズ、長文要約など「コンテキストを正確に保持しつつ簡潔な出力」が求められるタスクで 20B が優位。
- 高度な抽象的思考や長距離依存性が要求されるタスクでは差は縮小、または逆転するケースもある。

結論：実際に運用するタスクや環境に合わせて、パラメータ数だけでなく「どれだけ効率的に学習できるか」や「データの多様性」を評価し、最適なモデルサイズを選択することが高性能への鍵となります。

gpt-oss-120bを動かした記事
https://qiita.com/akrisn/items/7b0cd28071cccd055fae
i9-10900K 128GB、RTX3090 24GB

https://qiita.com/devgamesan/items/49742d88126fdea6b813
Ryzen 5 7600　
DDR5-5600 64GB
ZOTAC GAMING GeForce RTX 5060 Ti 16GB Twin Edge
MSI GeForce RTX 3060 VENTUS 2X 12G OC

このPC
AMD Ryzen 9 7945HX　32G　RTX4060　8G
マザーが最大32Gなのでgpt-oss-120bは無理！！