はじめに
私が所属しているMLSE(機械学習工学研究会)では、年に一度夏合宿を開催しています。機械学習工学に関連する研究者・技術者・学生がオンラインで一堂に会し、最新の研究成果や新たな研究課題の提案・討論・アイディア交換を行うことを目的とした研究集会で、今年は6/29～7/1にかけて開催されました。
私はローカル委員長と、企画セッションのオーガナイザー（「基盤モデルWG 設立検討」「AI倫理と公平性」）として参加しました。
本記事では、先日行われた2023年の夏合宿の見どころ＆基盤モデルWG設立検討会の様子をご紹介したいと思います！
イベント概要
開催形態：オンライン（Zoom,Discord,Mural）
開催期間：2023年6月29日（木）13:00～7月1日（土）12:00
1日目 (6月29日)
| 時間 | メイン会場 |
|---|---|
| 13:00-13:20 | ウェルカムセッション |
| 13:20-13:30 | オープニング |
| 13:30-15:00 | 基調講演: 岡崎 直観（東京工業大学） |
| 15:00-15:20 | スポンサー講演1(Ubie株式会社様) |
| 15:30-17:00 | 研究発表 |
| 17:00-18:00 | ポスターセッション１ |
| 18:30-19:30 | 交流会 |
2日目 (6月30日)
| 時間 | メイン会場 | 会場1 | 会場2 | 会場3 |
|---|---|---|---|---|
| 9:00-10:30 | [G1]基盤モデルWG | [T1]チュートリアル | ||
| 10:40-12:10 | パネルディスカッション | |||
| 12:10-12:30 | スポンサー講演2(サントリーホールディングス株式会社様) | |||
| 13:30-15:00 | [S1]セキュリティ | [O1]課題を語り合う | ||
| 15:10-16:40 | [S2]セキュリティ | [O2]課題を語り合う | [F1]公平性 | |
| 16:40-17:00 | スポンサー講演3(株式会社Citadel AI様) | |||
| 17:00-18:00 | ポスターセッション２ | |||
| 18:30-18:35 | スポンサー紹介(株式会社Preferred Networks様) | |||
| 18:35-19:30 | ナイトセッション |
3日目 (7月1日)
| 時間 | メイン会場 |
|---|---|
| 9:00-11:15 | OSTによるディスカッション |
| 11:30-12:00 | クロージング |
各セッションの詳細やご登壇者のプロフィールはMLSE夏合宿募集サイトをご覧ください。
ウェルカムセッション
ウェルカムセッションは、私が担当させていただきました。
オープニングの前に参加者の皆さんにツールの利用方法、どのセッションでどのツールを使うか、Discordを使ったアナウンス方法のご案内を行いました。
イベントの最初のセッションということで緊張もありますが、参加者の皆さんとDiscordやMuralを通じてコミュニケーションでき、イベント開催に向け気分が盛り上がります。
基調講演・パネルディスカッション
基調講演
初日の基調講演は東工大の岡崎先生より「自然言語生成の仕組みと最先端」。
ChatGPT以降の主要な出来事や、GPT-4、Bard・PaLM2について触れらた上で、大規模言語モデルの基本的な仕組みをわかりやすく解説いただきました。
- 自然言語研究の最先端
- 自然言語生成の仕組み
- 信頼できる人工知能の実現に向けて
特に「自然言語生成の仕組み」パートは本当にわかりやすくて、何度も見てしまいます。
（特に自分がセミナーやる前とか……）
-
言語モデルの基本的な考え方
条件的確率による言語モデル、条件的確率を統計的に求める
nグラム言語モデル（深層学習以前の言語モデル） -
言語モデルと深層学習
深層学習への準備：単語埋込、単語ベクトルを合成して文の表現を作る
再帰型ニューラル言語モデル（RNNLM）
ニューラル機械翻訳（系列変換モデル）における進展 -
Transformer登場後の言語生成タスク
Generative Pre-Training（GPT）
ファインチューニング -
言語モデルだけでタスクを汎用的に解く
プロンプトとInstruction Tuning(FLAN)
人のフィードバックに基づく強化学習
機械翻訳モデルの応用：自動要約の 見出し生成デモ もご紹介いただきました。
機械翻訳や自動要約タスクは、個別に作った方がよりコンパクトで精度の良いモデルができる。何を目的として、どこまでやるか。など、今後の取り組みについての示唆も含め、夏合宿の議論がより活発になるご講演をいただき心より感謝です。
パネルディスカッション
二日目のパネルディスカッションは「LLM・基盤モデルで変わるソフトウェアエンジニアリング」をテーマに、様々なバックボーンをお持ちの皆さまからお話を伺いました。
- 登壇者（敬称略）
海野 裕也（Preferred Networks）
岡崎 直観（東工大）
加藤 淳（産総研）
萩谷 昌己（東大）
司会：丸山宏（花王）
下記のような話題で様々な意見、議論がありました。
- ChatGPTはAGIになりえるか、AIGはできるのか
- ChatGPTには自己参照があるように見えるが実際どうなのか
- 言語以外のモダリティについて
- 企業人・社会人としてLLMがある時代のリテラシー
以下、気になったコメントです。
- なぜそう判断したのかモデルに聞いて答えてくるのがすごい。しかし、それが正しいのかはわからない。振る舞いだけ見ると、自己参照性があるように見える。
- 自然言語とプログラミング言語が同じスペースの中でエンベデッドされているのがすごい。不思議でならない。
- 画像やロボットのモーションとLLMは一体化してくのだろう。その先がどのくらい難しいものなのか興味深い。センサーデータをみてその状況（腕を曲げている、何かを取ろうとしているなど？）を理解することができるのか。
- 機械にこれはできないだろう、と思われていたところができてしまった。
- 今後は適切に結果を活用できる力が必要。
- 評価指標がマッチしなくなってくる。そもそも過去から評価指標にオーバーフィットしてしまうという問題がある。
- 「2時から4時までエアコンつけておいて」とかよりカジュアルに実装・検証できるようになる。
こちらも動画が公開されています。ぜひご覧ください。
研究発表
研究発表は以下の7件で、予稿ありの発表1は30分、発表2-7は各10分の発表ののち、1日目・2日目に各1時間のポスターセッションを行っていただきました。
- [発表1] 推論結果の不確実性に基づく運用時データシフトの検知（予稿あり）
- [発表2] 前処理に重点を置いたデータ分析環境の提供
- [発表3] 機械学習システムの開発・運用における課題抽出を支援する課題マップの提案
- [発表4] データ分析の実験コードからの Web システム開発高速化
- [発表5] 強化学習における不確実性説明手法の検討
- [発表6] 決定木のパスの全探索に基づく機械学習モデルの公平性テスト手法の考察
- [発表7] 中小企業での AI 導入とその先の成長戦略
Discord音声チャネルとMuralでのポスターセッションでは様々な議論やQAが行われており、盛り上がっていました。
また、皆さんからの投票により「最優秀発表賞」を決定しました。
今年の最優秀発表賞は [発表5] 強化学習における不確実性説明手法の検討 となりました！
松下 康平さん, 間瀬 正啓さん, 土屋 祐太さん, 森 靖英さん おめでとうございます。
最優秀発表賞の皆さまは、JSSST大会での発表へご招待します。
企画セッションとチュートリアル
以下の企画セッション、チュートリアルが行われました。
-
企画セッション
機械学習特有の攻撃に対するセキュリティ
LLM・基盤モデルの到来を経て生き残る／新たに必要となる機械学習工学は何か
機械学習の取組状況や課題を語り合うワークショップ
AI倫理と公平性（事例検討ワークショップ）
基盤モデルワーキンググループ 設立検討ワークショップ -
チュートリアル
生成モデルAPIの品質管理 -- 花王仮想人体生成モデルを例として
基盤モデルワーキンググループ 設立検討
私は「基盤モデルワーキンググループ 設立検討」のメインオーガナイザーでした。
2日目の朝いち、9:00-10:30でのセッションに参加いただいた皆さま、ありがとうございました。
Zoom＋Muralを使ったワークショップ形式で、基盤モデルに対する意見出し、ワーキンググループで何に取り組むか？の方向性を探りました。
当日の進め方
- セッション目的の共有とテーマ投票（10分）
- 全体のディスカッション（70分）
投票結果の上位3つについて、各20分ずつ意見出しとディスカッション - まとめ（10分）
ディスカッション結果まとめ、ワーキンググループ設立投票、参加者募集
ディスカッション
テーマ選定から盛り上がり、当日は下記5つのうち、ビジネスインパクト,データ戦略,パフォーマンス評価と改善の3つについてディスカッションしました。しかし後からMuralを見直してみると、どのテーマも互角でした。
- モデルの適用とビジネスインパクト（Biz）
- 開発と運用の課題（Dev）
- データ戦略（Data）
- モデルの透明性と説明可能性（XAI）
- モデルのパフォーマンス評価と改善（Eval）
後から見たテーマ投票結果 ↓
Mural上の意見をKH Coderでちょっと可視化、こんな感じ。
ワーキンググループ設立投票
意見がたくさん出て、非常に短時間でのまとめとなりましたが、最終的にMLSEに基盤モデルWGは「すぐ設立」の意見が一定数あり、設立の際はWGに参加したいとお名前を残してくれた方が6名という結果になりました！
最後のWG設立投票 ↓
ということで、今後WG申請をして、活動をスタートしたいと思います。
ナイトセッション（交流会）
MLSE夏合宿といえばナイトセッション！今年も1日目、2日目の夜に行いました。
参加者自身が話したいテーマを出し、そのうち人気のある3～4つのテーマについてグループに分かれてディスカッションするOST(オープン・スペース・テクノロジー)という方式での実施です。これを各日の交流会で2回ずつ行いました。
-
1日目のテーマ
ChatGPTてきなものの業務利用・ビジネス活用
岡崎先生の基調講演の内容で話をしたい！
ここ1年の振り返りについて話をしたい
ChatGPTでデータサイエンスはなくなるの？ -
2日目のテーマ
ChatGPTてきなものの業務利用・ビジネス活用
パネルディスカッションの内容
基盤モデルやLLMの開発をそれなりの規模の企業やチームでどう実現するか
企業内における研究活動について
単なる雑談
18:30-19:30までがオフィシャルなナイトセッションの時間で、19:30以降は話したい人が残っての雑談タイムです。
私は2日目の、19:30以降も残って雑談していましたが、様々な話題で盛り上がりました。やはりChatGPT、LLM、マルチモーダルといった内容が多かったですね。
まとめ
今年のMLSE夏合宿2023では、話題の自然言語生成の最新技術、その活用、さらにはこの時代に生き残る機械学習工学とは、などのテーマで活発な議論が行われました。
私自身は基盤モデルWGの立ち上げにあたり良い示唆や協力をいただくことができ、非常に有意義な合宿参加となりました。参加者の皆さまにとっても、これらの意見交換を通じて、新たな知見が生まれるきっかけになっていれば嬉しいです。