自己紹介
- 名前: 中西克典
- X(Twitter): @n_kats_
- 機械学習名古屋研究会主催
- Nagoya.vimにも参加
- NGK発表は3回目
機械学習名古屋研究会
- 論文読み会
- 毎月第3木曜（19:00～）オンラインで
- 次回（2月20日第83回）：https://machine-learning.connpass.com/event/343016/
Nagoya.vim
- vimのもくもく回
（vimでreactを書くでもOK） - 月1くらいで土曜に、オンラインも可
- 9年振りに新主催で開催中（主催の代理の代理で紹介）
- 次回（2月8日第12回）：https://nagoyavim.connpass.com/event/339624/
本編
イントロ（研究会の表の目的）
- 論文を読む習慣付け
- 知識のアップデート
- 発展的・実践的な知見の獲得
イントロ（研究会の裏の目的）
この世の真理と呼べるものを全て知りたい。
（＊去年のコピペ）
おさらい（去年の話）
- arXiv論文のアブストをLLM要約・ずんだもん音声化して散歩して聞く
- 1論文約3分
- 1カテゴリなら、毎日全論文聞ける
去年の課題
- 全体的な傾向や論文同士の関係は、慣れと気合と量で見つけ出さないといけない
そんなことを放置していたある日
選挙報道で見たLLM（ブロードリスニング）
（引用元：https://github.com/ntv-experiment-public/shugiinsenyo2024-tttc/tree/main/scatter）
（放送版等：https://note.com/annotakahiro24/n/ndd21a8ba3eec）
ブロードリスニングとは？
- 市民・国民の多くの声をLLM・クラスタリングを使ってまとめて聞こうというアプローチ
- 点：意見（テキスト）、クラスタ：意見のグループ
- 安野たかひろ氏らが2024年の東京都知事選挙・衆議院選挙で実施
- オードリー・タン氏が元ネタ？
- ソースも公開されている（https://github.com/ntv-experiment-public/shugiinsenyo2024-tttc）（＊AGPL）
よしパクろう
成果物
- 研究会の発表資料（323個）を2次元化してクラスタリング
- 画像（クラスタリング）＋マークダウン（要約＋グループ説明）で出力
（https://github.com/n-kats/ngk_2025/blob/main/_report/clustering_summary_openai_4o_embedding_openai_3_large.md）
クラスタリング可視化（上の部分）
（点：研究会の資料（テキスト）、クラスタ：似たテーマのグループ）
クラスタ一覧（詳しく読みたい人用）（真ん中部分）
- 0: 自己教師あり学習と対比学習を扱ったグループ
- 1: 物体検出技術を扱ったグループ
- 2: 機械学習と深層学習モデルの効率化と性能向上を扱ったグループ
- 3: 画像およびビデオ生成と編集を扱ったグループ
- 4: 強化学習を扱ったグループ
- 5: 言語モデル（LLM）およびAI技術の評価と応用に関する研究を扱ったグループ
- 6: 生成的対抗ネットワーク（GAN）を用いた画像、音声、フォントなどの生成・変換技術を扱ったグループ
- 7: 機械学習とその関連技術を扱ったグループ
- 8: アノテーション技術と点群データ処理を扱ったグループ
- 9: 機械学習とディープラーニングの技術開発と応用を扱ったグループ
- 10: 自然言語処理と対話システムを扱ったグループ
- 11: 深層学習における効率的な学習手法や初期化手法、正規化手法を扱ったグループ
- 12: コンピュータビジョンと3Dシーン解析を扱ったグループ
- 13: ディープラーニングにおけるネットワークの効率化とアーキテクチャ改善を扱ったグループ
- 14: トランスフォーマー技術を活用したマルチモーダルなタスク処理や物体検出・分類・セグメンテーションを行うグループ
- 15: 3Dシーンの再構築とレンダリング技術を扱ったグループ
- 16: 転移学習と知識蒸留を用いた機械学習モデルの精度向上や自動検査システムの開発を扱ったグループ
一覧へのコメント（詳しく読みたい人用）
- 前ページのクラスタ説明もLLMで生成
- 「7: 機械学習とその関連技術を扱ったグループ」のような残念なグループ名がたまにつく
- 「8: アノテーション技術と点群データ処理を扱ったグループ」のように２つのグループがくっつくこともある
- クラスタリングアルゴリズムの使い方をミスっていた疑惑（よくなる余地がある？）
拡大例（左中央）
5番のLLMのグループと、10番の自然言語処理のグループが近くにある（それっぽい）。
仕組み
こんなことして何が楽しいの？何が分かるの？
① 自分が読んだものはどこ？（クラスタ内で自分の発表割合が大きい：黄緑、小さい：青）
拡大１（やたらとLLMの論文を読んでいる）
5: 言語モデル（LLM）およびAI技術の評価と応用に関する研究を扱ったグループ
拡大２（高速化系はサボっている）
13: ディープラーニングにおけるネットワークの効率化とアーキテクチャ改善を扱ったグループ
② 流行りは？（最近：黄緑、昔：青）
つまり、地図にすることで何か分かった気になる遊びができるのだ！
お気持ち（本当に作りたい地図）
- よくある地図（左図）
- 体系的で入門に良い
- 研究には当たり前すぎて役に立たない
- 研究者向きの地図（右図）←本当に欲しいもの
- まさに今研究している・しようとしている部分が知りたい
- 時々刻々と変化するが、研究データからAIで地図が作れるのでは？
- 研究会資料もある意味で研究データ。NGK発表も兼ねて実験してみた
次にやりたいこと
- 地図上を動きながら、まとめを読み上げていく感じのソフトとかにしたいな
- 普段読まない、機械学習以外のテーマを理解したい
- 地図のクオリティも上げたい