1
0

Delete article

Deleted articles cannot be recovered.

Draft of this article would be also deleted.

Are you sure you want to delete this article?

OpenAI、GPT OSSシリーズモデルをオープンソース化

Posted at

OpenAI、GPT OSSシリーズモデルをオープンソース化

AIの発展の歴史において、オープンソースとクローズドソースのモデル間の競争は常に注目されてきました。最近、OpenAIはGPT OSSシリーズモデルを発表しました。これはGPT-2以来、同社が公開した最初のオープンソースの大規模言語モデルであり、OpenAIがオープンソースエコシステムにおいて重要な一歩を踏み出したことを示しています。
モデルダウンロードリンク:
https://huggingface.co/openai/gpt-oss-120b
https://huggingface.co/openai/gpt-oss-20b
公式ブログリンク:
https://openai.com/zh-Hans-CN/open-models/
モデル概要:2つの規模
GPT OSSシリーズには、gpt-oss-120bとgpt-oss-20bの2つの主要バージョンが含まれます。名前からわかるように、前者には1170億の総パラメーターが、後者には210億のパラメーターが搭載されています。

ただし、興味深い設計ポイントがあります——両モデルはエキスパート混合(MoE)アーキテクチャを採用しており、実際にアクティブ化するパラメーター数はそれぞれ51億と36億に抑えられています。この設計の直接的な利点は、強力な性能を維持しつつ、計算リソースとメモリ要件を大幅に削減できる点です。

注目すべき点は、120Bモデルは単一の80GB H100 GPU上で実行可能であり、20Bモデルはわずか16GBのメモリで動作する点です。これにより、一般的な開発者でも消費級ハードウェア上でトップクラスのAIモデルの性能を体感できるようになり、これは従来では考えられなかったことです。
技術アーキテクチャ:効率と性能のバランス
技術的な観点から、GPT OSSは数多くの先進的な最適化戦略を採用しています。モデルは位置情報を処理するために回転位置符号化(RoPE)を使用し、128Kのコンテキスト長をネイティブでサポートしています。注意メカニズムにおいては、長距離依存関係を捕捉しつつ計算複雑度を制御するため、交互の全コンテキスト注意とスライディングウィンドウ注意を採用しています。

特に注目すべきはモデルの量子化技術です。GPT OSSは4ビット量子化形式のMXFP4を採用しており、この量子化方式はHopperとBlackwellシリーズGPUで優れた性能を発揮します。MXFP4をサポートしないハードウェアでは、モデルは自動的にbfloat16形式にフォールバックし、広範な互換性を確保しています。

最適化面では、モデルはFlash Attention 3、MegaBlocks MoEカーネルなど複数の加速技術をサポートしています。異なるハードウェア環境に応じて、ユーザーは最適な最適化組み合わせを選択し、最高のパフォーマンスを実現できます。

image.png

以下は最適化のまとめ
CoT思考チェーン

OpenAIの研究では、トレーニング中にモデルの思考チェーンに直接的な「アラインメント監督」(つまり、モデルの思考プロセスに人為的に介入して修正する)を行うと、モデルの異常行動を検出する能力が低下することが判明しました。言い換えれば、モデルに「正しい思考方法」を教えると、モデルは実際の思考プロセスを隠蔽する可能性があり、有害な推論を行っているかどうかを検出するのが困難になります。

そのため、OpenAIはGPT OSSモデルの思考チェーンに直接的な監督を適用せず、思考チェーンの「原生性」を維持し、モデルの思考プロセスを相対的に「原生」の状態に保つことを選択しました。この目的は、モデルの思考チェーンを観察することで以下のことを可能にすることです:
異常な行動の検出
潜在的な欺瞞行為の発見
悪用可能性の識別
性能評価:トップモデルと肩を並べる
OpenAIは、gpt-oss-120b と gpt-oss-20b を標準的な学術ベンチマークテストで評価し、プログラミング、競技数学、医療、およびエージェントツールの使用における能力を測定し、他の OpenAI 推論モデル(o3、o3-mini、および o4-mini)と比較しました。

Gpt-oss-120b は、競技プログラミング(Codeforces)、汎用問題解決(MMLU と HLE)、およびツール呼び出し(TauBench)において、OpenAI o3-mini よりも優れた性能を示し、OpenAI o4-mini と同等またはそれ以上の性能を達成しました。

さらに、健康関連クエリ(HealthBench⁠)と競技数学(AIME 2024 と 2025)において、o4-mini よりも優れた性能を示しました。gpt-oss-20b は規模が小さいにもかかわらず、これらの同じ評価において OpenAI o3‑mini と同等またはそれ以上の性能を示し、競技数学と医療分野ではさらに優れた性能を発揮しました。
ツールの使用
現代のAIアプリケーションでは、モデルがツールを呼び出す能力がますます重要になっています。GPT OSSはこの点でも専用の最適化を実施しています。モデルはブラウザやPythonインタプリタなどの組み込みツールをサポートし、ユーザーが定義したツールも利用可能です。Tau-Benchツール呼び出し評価において、モデルは優れた関数呼び出し能力を示しました。

モデルのチャットテンプレートは柔軟なツール統合ソリューションを提供し、開発者は簡単なパラメーター設定でさまざまなツールを有効化できます。モデルがツールを呼び出す必要がある場合、システム統合と処理が容易な標準化されたツール呼び出しリクエストが生成されます。

image.png

モデルがツールを呼び出す(<|call|> で終わるメッセージで示される)場合、ツールの呼び出しをチャットに追加し、ツールを呼び出し、ツールの結果をチャットに追加して再度生成する必要があります:

image.png

ツールの結果を会話で使用できます。

デプロイメント エコシステム
OpenAIはHugging Faceなどのパートナーと協力し、完全なデプロイメント エコシステムを構築しています。ユーザーはInference Providersサービスを通じてモデルに迅速にアクセスでき、Cerebras、Fireworks AIなどの複数の推論プロバイダーをサポートしています。ローカルデプロイメントの場合、モデルはtransformers、vLLM、llama.cppなどの複数の推論フレームワークをサポートしています。

クラウド展開に関しては、モデルはAzure AI Model CatalogやDell Enterprise Hubなどのエンタープライズ向けプラットフォームに統合されており、企業ユーザーに安全で信頼性の高い展開オプションを提供しています。

from vllm import LLM
llm = LLM(「openai/gpt-oss-120b」, tensor_parallel_size=2)
output = llm.generate(「San Francisco is a」)

オープンソースライセンス
GPT OSSはApache 2.0ライセンスで公開されており、これは比較的緩やかなオープンソースライセンスです。付属の使用ポリシーもシンプルで、ユーザーは適用される法律を遵守するのみであり、商業利用の障害を排除しています。

このオープンなライセンス戦略は、OpenAIがオープンソースエコシステムを重視していることを示しており、AIコミュニティ全体の発展に新たな活力を注入しています。開発者はこれらのモデルを自由に使用、修正、配布できるため、より多くの革新的なアプリケーションの出現が促進されます。
セキュリティ考慮
責任あるAI企業として、OpenAIはオープンソースモデルをリリースする際、セキュリティ要因を十分に考慮しています。モデルは包括的なセキュリティトレーニングと評価を受け、さらに『セキュリティ対策フレームワーク』による追加のセキュリティテストをクリアしています。

GPT OSSは内部のセキュリティ基準テストにおいて、OpenAIの最先端モデルと同等の性能を示しており、開発者に信頼できるセキュリティ保証を提供しています。さらに、OpenAIは外部専門家と協力してセキュリティ手法を審査し、オープンソースモデルのための新たなセキュリティ基準を設定しました。
未来展望
GPT OSSのリリースは、OpenAIの単なる製品リリースを超え、AI業界全体の転換点と言えるでしょう。これは、オープンソースモデルが商業レベルの性能を達成できることを証明し、より多くの開発者や研究者が最先端のAI技術にアクセスする機会を提供します。

これらのモデルの普及に伴い、GPT OSSを基盤とした革新的なアプリケーションが次々と登場するでしょう。個人開発者のクリエイティブなプロジェクトから企業向けのAIソリューションまで、今回のオープンソース化から恩恵を受けるでしょう。

AIエコシステム全体にとって、OpenAIのこの取り組みは、より多くの企業が自社のモデルをオープン化し、健全な競争と協力の雰囲気を醸成するきっかけとなる可能性があります。これにより、AI技術の普及と応用が加速され、より多くの人々がAIの発展の恩恵を享受できるようになるでしょう。

1
0
0

Register as a new user and use Qiita more conveniently

  1. You get articles that match your needs
  2. You can efficiently read back useful information
  3. You can use dark theme
What you can do with signing up
1
0

Delete article

Deleted articles cannot be recovered.

Draft of this article would be also deleted.

Are you sure you want to delete this article?