1. はじめに
こんにちは、K1と申します。
松尾研のLLMコンペにTEAM RAMENの一員として参加しました。
TEAM RAMENは、Qwen/Qwen3-235B-A22B-Thinking-2507の事後学習によりRAMEN-SHIO-235Bを開発し、Humanity's Last Exam(HLE)において、オープンソースレベルモデルでトップレベルの性能を達成して優勝しました。
私はこのTEAM RAMENの評価班のリーダーとして、チームマネジメントを担当しました。
LLMコンペは、個人参加であり、メンバー全員が自身のプライベートな時間に作業を行うという、通常の会社組織のプロジェクトマネジメントとは異なる特徴があります。そのような状況で、評価班のリーダーとして何を工夫し、気をつけていたのか共有したいと思います。
2. 評価班の担当作業と体制
評価班の役割
TEAM RAMENは、データ班、モデル班、評価班から構成されています。
評価班は、主にモデル班の開発したモデルに対する評価の実行、その評価結果からのモデル性能の分析を担当していました。
評価班の体制
私が評価班のリーダーを務め、他にテックリード1名、評価実行担当4名、分析担当1名の計7名でした。
評価班の成果
TEAM RAMENは、決勝フェーズでは70個のモデルを作成し、評価班はその70個のモデルの性能を評価しました。
特に最後の3日間は20個程度のモデル評価をほぼ24時間切れ間なく行い、モデル評価結果を全体に共有し、提出モデルの選定に貢献しました。
3. 通常のプロジェクトマネジメントと同じこと
個人参加のLLMコンペであっても、基本的なプロジェクトマネジメントの原則は変わりません。
- 優先度の明確化 ：毎朝、タスクに優先度をつけ担当者と期日を明確にしてSlackで連絡する
- 情報共有の徹底 ：情報差異が生じないよう、全体の方針や大まかなタスクの実行状況を何度も情報共有を行う
これらは通常の業務プロジェクトでも当たり前のことですが、個人参加のコンペでも同様に重要です。
むしろ、メンバーが異なる時間帯で動いているからこそ、より一層の明確化と共有が必要になります。
4. 個人参加コンペで工夫したこと
個人参加で時間が限られた環境だからこそ、以下の点を特に意識しました。
属人化の排除
一人が全ての責任をなるべく持たないように、必要に応じてカバーし合える体制を構築
- 評価の実行は3名（手順書を作成し、評価班以外の人も実行できるようにする）
- 評価結果の分析は2名（主担当と私はバックアップとして担当）
これにより、特定メンバーが対応できない時間帯でも作業が止まらず、カバーしあい
最後の3日間で約20個のモデル評価という高速回転を実現できました。
時間的な無理をさせない
メンバーの稼働可能時間を尊重したシフト制の運用
- 対応できない時間、空き時間対応できる時間、即対応できる時間を事前に把握
- 稼働時間を考慮してタスクを割り振り
- 無理な依頼はせず、現実的なスケジュールを組む
個人参加のため、業務やプライベートとのバランスが重要です。一人もかけずに最後まで協力しあえるペースで貢献してもらうことが、結果的にチーム全体のパフォーマンスを高めたのだと思います。
即レスによる待ち時間の最小化
質問や方針、不明点になるべく即座に対応
- メンバーからSlackの投稿があったら、まずは何か反応
- できる限り即座に判断・回答を返す
- 待ち時間を減らし、限られた時間を有効活用
プライベートな時間に作業をしているメンバーにとって、「質問したけど返答がなくて待機」という状態は非常にもったいないです。即レスを心がけることで、メンバーの貴重な時間を最大限活用できるようにしました。
5. まとめ
LLMコンペのような個人参加の環境でも、基本的なプロジェクトマネジメントの原則は有効です。
その上で、
- 属人化を避け、カバーし合える体制を作る
- メンバーの時間的制約を尊重する
- 即レスで待ち時間を最小化
という工夫を加えることで、限られたリソースでも高いチームのパフォーマンスを発揮できました。
TEAM RAMENが1位を獲得できたのは、技術力の高さはもちろんですが、このようなチームマネジメントによって各メンバーが最大限の力を発揮できる環境を作れたことも一因だと考えています。
LLMコンペに参加される方の参考になれば幸いです。
6. 最後に
私はLLM開発の経験もなく、エンジニアでもありませんが、本業でのプロジェクトマネジメント経験を活かし、このLLMコンペでは評価班のマネジメントに徹することで、TEAM RAMENの優勝に貢献することができました。LLM開発の経験がない、エンジニアではないといった理由でLLMコンペへの参加を見送るのではなく、ぜひチャレンジしてみてください。自身の強みを活かして貢献でき、また良い経験になると思います。
本コンペをコーディネートしてくださった松尾研の皆様、TEAM RAMENの鈴木リーダー、チームメンバーの皆さん、お疲れさまでした。特に評価班の方々は、後半はかなり無理をして対応していただいたと思います。本当にありがとうございました。
本プロジェクトは、国立研究開発法人新エネルギー・産業技術総合開発機構(以下「NEDO」)の「日本語版医療特化型LLMの社会実装に向けた安全性検証・実証」における基盤モデルの開発プロジェクトの一環として行われます。