はじめに
先日、AWS AI LeagueというAWS が個社向けに開催するプライベート大会が、当社で行われたので参加しました。
普段の業務でAIを使うことは増えていましたが、自分で作る経験はありませんでした。AI/機械学習の知識も初心者レベルで、「過学習」や「LLM」という言葉を聞いたことがある程度。それでも「AIを作る側」を体験してみたいと思い、思い切って参加することにしました。
AWS AI Leagueとは？
AWS AI Leagueのいくつかあるコンペティションの1つに「Tune Whiz」があり、基盤モデルをファインチューニング（特定のタスク用に再学習）して、より優れた回答を出せるAIを作成し、その精度を競います。
今回のテーマは 「日本観光コンシェルジュ」 。外国人観光客からのさまざまな質問に対して、フレンドリーで正確な答えを提供するAIを作ります。
参加者がやることは以下の2つ：
- データセットの作成（AIに学習させる質問と回答のペア）
- 学習パラメータの調整（どのように学習させるかの設定）
Virtual Competition（予選期間）中は順位がリアルタイムで更新されるため、順位が下がると悔しくなり、「もっと良いモデルを作りたい！」という改善意欲が自然と湧いてきました。
戦略立案
まず、大会で提示された評価基準を分析し、戦略を立てました。
方針1: 親しみやすさと簡潔性の重視
評価基準を見ると「簡潔性」と「親しみやすさ」がそれぞれ30%ずつ、合わせて60%を占めていました。ここが最も重要だと判断しました。
具体的には：
- 簡潔で親しみやすい回答を徹底する
- 冗長な情報は排除し、要点を絞る
- 語尾に「♪」「ですよ！」などの親しみやすい表現を使用
方針2: 幅広いトピック対応
運営から提供されたサンプルデータを分析し、よく聞かれる質問のトピックを特定しました。
具体的には：
- 交通、宿泊、観光、文化、食事、安全など主要トピックを網羅
- 各トピックで多様な質問パターン（言い回しのバリエーション）を用意
- 多言語対応（日本語・英語・中国語）
初回提出と結果
作成したデータセットをAmazon SageMaker上にアップロードし、基盤モデルに対してファインチューニング（学習）を実施しました。
初回提出の順位
参加者総数336名中、最初の順位は75位でした。
作成したモデルの実際の出力を確認したところ、こんな回答が生成されていました：
質問：If you want to watch a sumo match, where should you go and how can you purchase tickets?
AIの回答：
Watching a sumo match is an exciting experience! Here's a comprehensive guide:
**History of Sumo:**
Sumo wrestling has a rich history dating back over 1,500 years in Japan. It originated as a Shinto ritual and has evolved into Japan's national sport.
**When to Go:**
Sumo tournaments, known as "basho," take place six times a year:
1. Hatsu Basho (January) in Tokyo at Ryogoku Kokugikan
2. Haru Basho (March) in Osaka at Osaka Prefectural Gymnasium
3. Natsu Basho (May) in Tokyo at Ryogoku Kokugikan
4. Nagoya Basho (July) in Nagoya at Dolphins Arena
5. Aki Basho (September) in Tokyo at Ryogoku Kokugikan
6. Kyushu Basho (November) in Fukuoka at Fukuoka Kokusai Center
**Where to Watch:**
- Ryogoku Kokugikan in Tokyo
- Osaka Prefectural Gymnasium
...（以下続く）
問題点：
- 回答が想定以上に冗長（長すぎる）
- 質問は「どこで見られるか」「チケットはどう買うか」なのに、相撲の歴史から説明している
- 質問者が求めていない情報まで盛り込んでいる
改善のサイクル
この結果を受けて、データセットの見直しと学習パラメータの調整を繰り返し、モデルを改良していきました。
改善後の結果
調整後のモデルを提出したところ、30位まで上昇！
75位から30位へ、大きく順位を上げることができました。
まとめ
AWS AI Leagueに参加して、AIモデル開発の奥深さを実感しました。
学んだこと：
- 情報量や正確さだけでなく、利用者のニーズに合った回答の質が重要
- 「詳しい = 良い」ではない。簡潔で分かりやすい回答が求められる
- データセット作成の大変さと奥深さ（どんな質問と回答を用意するか、どう表現するか）
- 評価基準を正しく理解し、それに沿ったデータを作ることの重要性
AI開発の楽しさと難しさを体験でき、とても良い経験になりました！