アルトマンがGPT-5の実測結果を初公開！スーパーアラインメントチームの「遺産」を使用していると報じられる
GPT-5、ついにその真の姿を披露！
最新の実測結果をアルトマン本人が公開し、瞬く間に多くの注目を集めた。
1週間前から激しいヒントを連発していたが、会話の内容はテレビドラマの推薦に限定されていたものの、公式の事例がようやく公開された。
Altman本人としては、情報を公開する一方で、新たな謎を投げかけるのはお約束┓( ´∀` )┏：
SaaSのファストファッション時代が間もなく到来。
このようなオースティン・ペイリー風の操作よりも、今回注目すべきは、素早いネットユーザーが公開時間（秒削除版）をキャプチャした点？？？
さあ、今週の夜は徹夜だ、仲間たち。
詳細な情報が次々と「漏洩」中
Altmanの継続的な公式情報公開に加え、GPT-5に関する断片的な情報が集まり、重要なポイントが整理されつつあります。
例えば、主要な競合相手Claudeが先行するプログラミング分野で、GPT-5がコーディングルールを再定義したと報じられています。
まず、テキスト処理能力と推論層を統合し、モデルが「努力して考える」タイミングを適切に判断するようになった。
次に、GPT-5は実際のエンジニアリング問題に対応できる能力を有し、例えば「ゴミ山」のようなコードのリファクタリングが可能になった……
さらに注目すべきは、内部関係者が明かしたように、GPT-5はIlyaが率いるスーパーアラインメントチームの「遺産」である
ユニバーサル・バリデータ（Universal Verifier）。
この論文は2024年7月に初めて発表され、イリヤがOpenAIを離脱した2ヶ月後でした。
ご存知の通り、イリヤが「超知能の制御」を目的として立ち上げたスーパーアラインメントチームは、彼と責任者のJan Leikeが離脱した後、迅速に解散されました。
数日前、現OpenAI最高研究責任者Mark Chenはこの件について説明した。
彼は、アラインメント研究はOpenAIの核心業務に組み込まれており、モデルが期待通りに機能しなければ意味がないと指摘。現在は既存モデルの アラインメントに焦点を当てるべきで、仮定的なスーパーインテリジェンスに 注目すべきではないと述べた。
より率直に言えば、Ilyaのグループと現在のOpenAIは意見が合わず、関係は冷え切っている。
現在、この論文の6人の著者中、OpenAIに残っているのはYining ChenとNat McAleeseの2人だけです。
スーパーアラインメントチーム技術の使用
噂話は省略し、「汎用検証器」の具体的な役割を見てみましょう。
報道によると、OpenAIはGPT-5の開発过程中に汎用検証器を強化学習に導入し、モデルが高い精度を維持しつつ、より明確な推論プロセスを出力できるようにしました。
スーパーアラインメントチームが発表した論文によると、彼らは「証明者-検証者ゲーム」というトレーニング方法を提案しています。簡単に言うと、モデル内部で証明者と検証者の2つの役割を分け、互いに継続的に対立させる仕組みです：
「信頼できる証明者」は正しい解法手順を提示し、検証者に承認させる役割です。
「狡猾な証明者」は故意に誤った手順を提示し、検証者を欺こうとします。
小型「検証者」は、正しい解と誤った解を正確に区別する役割を担います。
証明者と検証者のモデルはどちらもGPT-4シリーズから採用されており、検証者の規模が証明者よりも小さいことを保証する必要があります。これにより、小型の検証者が一定程度、人間の検証結果と一致するように設計されています。
異なる役割の役割を定量化するため、証明者と検証者の効用関数をそれぞれ設定する。
証明者の効用は報酬関数に基づき、「信頼できる証明者」には解法正しさや検証者の評価と正の相関する報酬を付与し、「狡猾な証明者」には解法の誤りや検証者の評価と正の相関する報酬を付与する。
報酬関数は以下の2つの要件を満たす必要があります。役割が一致した方案（例：「信頼できる証明者」が正しい回答を生成した場合）は、一致しない方案よりも高い報酬を得ます。また、一致した方案において、検証者の評価が高いほど、報酬も増加します。
検証者の効用はクロスエントロピー損失の最小化により誤差を評価します。
その後、複数回の反復訓練を実施し、証明者は強化学習（PPO）により最適化され、各役割の報酬を最大化するように学習します。検証者は正しい解決策と誤った解決策を区別する能力を向上させます。
実験結果によると、各トレーニングラウンドにおいて、「信頼できる」と「狡猾な」証明者は検証者の評価を単調増加させます。そのうち、「信頼できる証明者」の正確性は全体的に上昇傾向を示し、「狡猾な証明者」は誤った回答を生成する割合が最初に低下した後、再び上昇する傾向を示し、最終的に正しい回答と同等の説得力を持つ誤ったソリューションを生成できます。
複数回の対抗トレーニング後、「信頼できる証明者」の正答率と「検証者」の干渉耐性は継続的に向上し、モデルはより正確で読みやすい出力を生成する一方、同時により欺瞞性の高い誤った回答を生成する能力も獲得します。
この技術に基づき、GPT-5は各回答を評価し、正しい回答のみを保持して反復訓練を行うことで、検証可能な読みやすい回答を生成できます。これにより、人間がモデルの高度な推論を完全に理解できなくても、拡張可能な小型検証器を用いて検証可能性の制約を構築できます。
One More Thing
Altmanが激しくアピールし、宣伝（chao）と演出（zuo）の連続技を披露。
ネット上でも真偽が混在する情報が飛び交っています。
先行テスト動画がある：
「予測」ベンチマークがある：
否定的な意見もある。
The Informationは、GPT-5の開発が大きな困難に直面していると報じました。一方では高品質なトレーニングデータの供給不足、他方では大規模な事前トレーニングの効果が低下しており、GPT-5の性能向上はGPT-3からGPT-4のような劇的な飛躍は期待できないとのことです。
さらに、モデル性能の転移におけるギャップ問題も存在する。例えばo3は、内部テストでは非常に優れた性能を示したが、実際のユーザー向け展開後、性能が大幅に低下した。
ネットユーザーが指摘するように、過去のモデル同様、GPT-5もリリース後1週間で性能が低下する可能性もある。
いずれにせよ、GPT-5は間もなくリリースされるため、OpenAIはリリースを避けられないでしょう……？
参考リンク：
[1]https://x.com/sama/status/1952071832972186018
[2]https://arxiv.org/abs/2407.13692
[3]https://gpt5.sh/