1.初めに
team Truth Owlの記事を執筆させていただきます。
松尾研LLM開発コンペ2025について、来年以降開催された場合、出るか迷っている初心者の方に向けて、少しでも後押しとなるようなことを書ければ良いかと思っています。
（タイトルの通り、技術ではなくコンペの感想が中心です。）
2.執筆者のプロフィール
- 学部文系出身
- 会社は金融系
- スキル:Python/SQL
- 資格：統計検定準1級 応用情報技術者
（LLMは初心者）
3.LLMコンペ参加へのモチベーション
生成AIについて勉強しないといけないという漠然とした危機感はありつつも「何から始めれば良いか？」となっていたところ、社内で案内を見つけて「参加して大丈夫かな？」と思いつつ、「えいや！」で参加しました。結論、参加して良かったと思いますが、得られたスキルは予想とは違っていました。
4.コンペの概要
- 既存LLMに対して事後学習を行い、HLEでSOTA(オープンモデルの最高性能)を目指す（配点の90%）、合わせて安全性をDo Not Answer で評価（配点の10%）
- 各チーム 3ノード*8GPU(1GPU=80GB 合計約 1.92TB)
- 各チームのメンバーは約30名（自チームの場合実稼働は15名程度）
- HLE(Humanity's Last Exam):大学院博士課程レベルの難問集 https://lastexam.ai/
Do Not Answer:安全性のベンチマーク https://github.com/libr-ai/do-not-answer
スケジュール
- 7/13 キックオフ
- 8/25 12時 提出締切
5.参加してみて良かった点
- AI開発に不可欠なツール群に触れる機会
Hugging Face や Wandb などAI開発に不可欠なツールも触ったことがなかったので、こういったツールに触れられたのは良かった。
- ローカルLLMが意外と使える？
サーバーリソースが埋まっている際にローカルLLMを自分のPCに入れてみたが、かなりレベルが高くなっていて驚いた。実用までもっと先かと思っていたが、思ったより早く普及しそうだと感じた。
pipインストール位しか、Linuxコマンドを書いたことがなかったが、今回のコンペではサーバーをコマンドラインで動かす必要があったのでをある程度使えるようになった。SCPコマンドでサーバーからデータを出すために、IPアドレスを調べていた時は、「これがクラスAのアドレスか〜」と、応用情報で習ったことの復習ができた。
6.反省点
- LLMの知見を吸収は道半ば…
LLMについては、LoRAを少し触ったくらい（それもコードの写経…）で、精度向上に繋げることができなかった（ただこれは予選参加の全チームがほぼHLEの正答率を上げられていなかった）。正直、自分には課題として難しすぎたので、GPUサーバー無で学習できる小さいLLM（1Bくらい）で簡単な問題の学習→精度向上に取り組む予定（こういったことが手元のPCでできると学べただけでも良かった。）
- 前半からもっと積極的に動けば良かった…
何をやったらいいのかよく分からず、前半はあまりやる気が出なかった。終了間際になって内容が少しわかってきて積極的に活動したが、前半から積極的に活動していればもっと色々得られたと思う。たいていのことは生成AIに聞けば大体のことは何とかなるので、もっとアウトプットを早めに出すべきであった。
7.最後に
LLMに関しては初心者でしたが、いろいろ試したり・学ぶことができてよかったです。サバーからデータを移送するLinuxコマンドの使い方など、班内の記事も5つ執筆できました。LLMの仕組みについては、正直に言ってわかったとは言い難いですが、今後学習する上でいろいろな用語について、「聞いたことある」と言う状態にできたのは大きいと思います。生成AIを使えば意外となんとかなるので、初心者の方についてもやる気と根気さえあれば得られるものは間違いなくあるコンペだと思いました。
8.プロジェクトのクレジット
本プロジェクトは、国立研究開発法人新エネルギー・産業技術総合開発機構(以下「NEDO」)の「日本語版医療特化型LLMの社会実装に向けた安全性検証・実証」における基盤モデルの開発プロジェクトの一環として行われます。