AIcrowdでRAGのコンペが開催されているので、参加してみる。AIcrowdはAIに特化したKaggleみたいなコンペ開催コミュニティだ。
CRAG: Comprehensive RAG Benchmark
このコンペは、Meta社が開催するRAGを用いた言語モデルのコンペだ。
CRAGはどんなコンペ？
５つのドメインからの質問をどう答えるかを競うコンペだ。
Taskは３種類あって、徐々に複雑になっていくようです。
- Task #1
5ページのウェブページを使って要約する。 - Task #2
5ページの要約とMock APIを使用して回答を返す。Mock APIとは質問から生成されたパラメータを受け付けて、回答形式のための関連データを取り出す機能を持っている。 - Task #3
50ページのウェブページとMock APIを使って関連する内容とノイズを含めた質問に対して回答を行う。
どんな言語モデルを使うのか？
Meta社提供の大規模言語モデルllama 2を使います。llamaは以前、仕事で使おうとしたがうまく実装できなかったので利用できなかった。今回は、頑張ろう。
実行マイルストーン
- 登録
チームを作るけど、誰か一緒にチーム組んでくれるかな。コミュニケーションコストもかかるし、大変そうだな。 - 環境構築
まずはTask #1に挑戦。Starter Kitがあるので、これをgit cloneして始めよう。開催コンペでクラウド環境は与えられていないみたい。だから自分のパソコンのVirtual Box環境で構築した。 - 最初の動くプログラムの実装
これができれば後は楽なんだけど。 - サブミットの確認
だいたいここらへんでこけるんだよなあ。 - チューニング
楽しいチューニングの時間 - 優勝者の発表
どこまでいけるかな？