エッジLLM向けファインチューニングのためのデータフィルタリングチャレンジ！！
私はこのチャレンジの担当者です。ご質問などあれば、お気軽にDMしてください。また、以下のDiscordにもぜひご参加ください。
主催: NVIDIA
協賛: Lambda、Turing
このチャレンジでは、革新的なデータフィルタリング手法を開発し、エッジLLM向けに最適化されたデータセットを作成することが求められます。
LLMの進化の大きな原動力の1つは、データの品質です。
🤩 賞金内容
- 最優秀賞：$10,000 ＋ Lambda Cloud クレジット $1,000 分
- 部門別賞（4件）：各 $3,000 ＋ Lambda Cloud クレジット $500 分
- イノベーション賞：$3,000 ＋ Lambda Cloud クレジット $300 分
🛠️ チャレンジ概要
- Nemotron-CC-HQ を起点に、独自のフィルタリング済みデータセットを作成
- Lambdaより A100 GPU 100時間 分の利用権を提供（登録チーム対象）
- 600Bトークン から 10Bトークン をフィルタリング
- 400Mモデル を PEFT（DoRA） でファインチューニング
- 新規データの使用は禁止
📅 スケジュール
- 登録締切：2025年7月1日
- ソリューション提出締切：2025年9月1日
🌐 詳細・登録
👉 チャレンジ公式サイト
👉 Discordに参加する ← ※必要に応じてリンクを更新してください
主催者
SHIZHE DIAO、Yonggan Fu、Xin Dong、Peter Belcak、Lex Whalen、Mostofa Patwary、Mohammad Shoeybi、Wenfei Zhou、Jan Kautz、Yingyan (Celine) Lin、Pavlo Molchanov