LLM(Large Language Model) Calendar 2024
https://qiita.com/advent-calendar/2024/llm
Day 2 投稿予定記事です。
LLM コミュニティに9月から参加している。
４月にさかのぼって勉強するための資料
参加した結果、なにか知見があれば別に記録。
connpassに示されていない仕様のURLを追記。（自己目的ではこれが最大）
LLMコミュニティに記載間違いがないか確認中。
講師名を記載してよいか確認中。
動画URLを追記予定。https://www.youtube.com
開催時間を追記予定。
分類は個人的な記載で、別の分類が良い方は、資料をコピペしてお使いください。
なお、この記事のURLをおつけいただけると幸いです。
<この項は書きかけです。順次追記します。>
This article is not completed. I will add some words and/or centences in order.
20241125版
| 分類 | 行事 | 氏名 | 動画 /@weblab2121 | 日付 | 時間 | 内容 | Qiita/Researchmap | calendar2024 |
|---|---|---|---|---|---|---|---|---|
| Beginning | 松尾研 LLM コミュニティ "Beginning LLM Level 1" https://matsuolab-community.connpass.com/event/315969/ | 2024/04/30(火) | 0から始めるLLMの触り方 | |||||
| 松尾研 LLM コミュニティ "Beginning LLM Level 2" https://matsuolab-community.connpass.com/event/317847/ | 2024/05/16(木) | プロンプティングを駆使して生成AIで画像生成を行う。/ 画像生成コンテスト実施 | ||||||
| 松尾研 LLM コミュニティ "Beginning LLM Level 3" https://matsuolab-community.connpass.com/event/319443/ | 2024/05/30(木) | 画像生成パート2 「Stable Diffusion スタート講座 (SDXLハンズオン)」 | ||||||
| 松尾研 LLM コミュニティ "Beginning LLM Level 4" https://matsuolab-community.connpass.com/event/320877/ | 2024/06/20(木) | サイト生成パート1 「Create.xyz スタート講座 (ハンズオン)」 | ||||||
| 松尾研 LLM コミュニティ "Beginning LLM Level 5" https://matsuolab-community.connpass.com/event/321803/ | 2024/07/11(木) | サイト生成パート2 「Create.xyz スタート講座 (ハンズオン)」 | ||||||
| 松尾研 LLM コミュニティ "Beginning LLM Level 6" https://matsuolab-community.connpass.com/event/321804/ | 2024/07/18(木) | RAG「NotebookLM スタート講座 (ハンズオン)」 | ||||||
| 松尾研 LLM コミュニティ "Beginning LLM Level 7" https://matsuolab-community.connpass.com/event/321805/ | 2024/08/15(木) | AIチャットBOT「Difyスタート講座 (ハンズオン)」 | ||||||
| 松尾研 LLM コミュニティ "Beginning LLM Level 8" https://matsuolab-community.connpass.com/event/321806/ | 2024/08/22(木) | チャットBOT2 「Dify スタート講座 (ハンズオン)」 | ||||||
| 松尾研 LLM コミュニティ "Beginning LLM Level 8" https://matsuolab-community.connpass.com/event/321807/ | 2024/08/29(木) | LLMサービスを用いたクリエイティブコーディング | ||||||
| 【勉強会 #1】小型LlamaモデルのTransformerEngineを用いた事前学習の環境構築 https://matsuolab-community.connpass.com/event/332491/ | 2024/10/13(日) | conda共用環境の作り方 | ||||||
| 【松尾研LLMコミュニティ】面倒なことはLLMにやらせよう "Beginning LLM" https://matsuolab-community.connpass.com/event/321809/ | からあげ https://x.com/karaage0703 | 2024/10/17(木) | 面倒なことはChatGPTにやらせよう https://www.kspub.co.jp/book/detail/5342909.html | 【松尾研LLMコミュニティ】面倒なことはLLMにやらせよう "Beginning LLM" 2024年10月17日 https://qiita.com/kaizen_nagoya/items/efdc23fbe67cdae2126e | からあげ帝国 Calendar 2024 https://qiita.com/advent-calendar/2024/karaage Day11 | |||
| 【勉強会 #2】小型LlamaモデルのMegatron-LMを用いた事前学習と継続事前学習 https://matsuolab-community.connpass.com/event/334130/ | 2024/10/27(日) | トークナイザーの学習, 事前学習, 継続事前学習 | ||||||
| 【勉強会 #3】小型LlamaモデルのTRLライブラリを用いた事後学習 https://matsuolab-community.connpass.com/event/335403/ | 2024/11/24(日) | TanukiモデルのTRLライブラリを用いた事後学習を、手頃な価格で仕立てられるローカルPCやレンタルクラウド環境上で、動作検証をするという実演的な勉強会 | ||||||
| 【勉強会 #4】Tanuki8Bに対してMT-Bench等を用いた性能評価 https://matsuolab-community.connpass.com/event/338243/ | 2024/12/22(日) | |||||||
| 共有 | GENIAC LLM開発プロジェクト 進捗共有会 https://matsuolab-community.connpass.com/event/317824/ | 2024/05/09(木) | GENIAC LLM開発における、コンペ等の進捗共有会 | |||||
| 松尾研LLM開発プロジェクト “Tanuki” 開発報告会 Vol.1 https://matsuolab-community.connpass.com/event/329394/ | 2024/09/10(火) | 「GENIAC」プロジェクトの詳細 https://www.meti.go.jp/policy/mono_info_service/geniac/index.html | ||||||
| 松尾研LLM開発プロジェクト “Tanuki” 開発報告会 Vol.2 https://matsuolab-community.connpass.com/event/329838/ | 2024/09/17(火) | NEDOの採択を受け、公開型での500億パラメータサイズの大規模言語モデル開発を開始します。https://weblab.t.u-tokyo.ac.jp/2024-02-02/ | ||||||
| 松尾研LLM開発プロジェクト “Tanuki” 開発報告会 Vol.3 https://matsuolab-community.connpass.com/event/329840/ | Susumu Ota 白石尽誠(Jinsei Shiraishi) 山口裕輝 | 2024/09/24(火) | ||||||
| 松尾研LLMコミュニティ "LLM講座 もくもく会 Vol.1" https://matsuolab-community.connpass.com/event/331475/ | 2024/09/26(木) | 松尾研LLMコミュニティのSlackに参加していることを前提 | ||||||
| 松尾研LLMコミュニティ "LLM講座 もくもく会 Vol.2" https://matsuolab-community.connpass.com/event/332144/ | 2024/10/03(木) | 20:00 〜 21:30 | 松尾研LLMコミュニティのSlackに参加していることを前提 | |||||
| 松尾研 LLM コミュニティ "リクルート説明会 第1回" https://matsuolab-community.connpass.com/event/332697/ | 2024/10/04(金) | 松尾研LLMコミュニティのコミュニティ運営チームを若干名募集 | ||||||
| 松尾研 LLM コミュニティ "リクルート説明会 第2回" https://matsuolab-community.connpass.com/event/332892/ | 2024/10/07(月) | 松尾研LLMコミュニティのコミュニティ運営チームを若干名募集 | ||||||
| 松尾研LLMコミュニティ "もくもく会 -朝会- Vol.3" https://matsuolab-community.connpass.com/event/333162/ | 2024/10/12(土) | 松尾研LLMコミュニティのSlackに参加していることを前提 | ||||||
| 松尾研 LLM コミュニティ "Season2 開幕キックオフイベント" https://matsuolab-community.connpass.com/event/333677/ | 2024/10/20(日) | Season1での活動内容を振り返るとともに、Season2における新たな取り組みについてご紹 | ||||||
| 松尾研LLMコミュニティ "もくもく会 Vol.4" https://matsuolab-community.connpass.com/event/334743/ | 2024/10/24(木) | 松尾研LLMコミュニティのSlackに参加していることを前提 | ||||||
| 松尾研LLMコミュニティ "もくもく会 Vol.5" https://matsuolab-community.connpass.com/event/335557/ | 2024/10/31(木) | 松尾研LLMコミュニティのSlackに参加していることを前提 | ||||||
| 東京大学松尾・岩澤研究室 LLM コミュニティ "LLMATCHプログラム説明会" https://matsuolab-community.connpass.com/event/335375/ | 2024/11/01(金) | LLMコミュニティで知識、スキルを身に着けた学生に次のステップを提供することで、学生に実績を作ってもらい、次のキャリアに繋げてもらう | ||||||
| 松尾研LLMコミュニティ "もくもく会 Vol.6" https://matsuolab-community.connpass.com/event/335986/ | 2024/11/07(木) | LLMコミュニティで知識、スキルを身に着けた学生に次のステップを提供することで、学生に実績を作ってもらい、次のキャリアに繋げてもらう | ||||||
| LLM Night Hours #1 https://matsuolab-community.connpass.com/event/336833/ | 2024/11/20(水) | コンペディスカッション | ||||||
| LLM Night Hours #2 https://matsuolab-community.connpass.com/event/337987/ | 2024/11/27(水) | |||||||
| P&H | 松尾研 LLM コミュニティ "Paper & Hacks Vol.01"https://matsuolab-community.connpass.com/event/315810/ | 2024/04/09(火) | RAGの手法と実装について | |||||
| 松尾研 LLM コミュニティ "Paper & Hacks Vol.02" https://matsuolab-community.connpass.com/event/315942/ | 2024/04/16(火) | RAGのサーベイ論文紹介 Retrieval-Augmented Generation for Large Language Models: A Survey https://arxiv.org/pdf/2312.10997.pdf | ||||||
| 松尾研 LLM コミュニティ "Paper & Hacks Vol.03" https://matsuolab-community.connpass.com/event/316160/ | 2024/04/23(火) | ChatGPTとその利用可能性 | ||||||
| 松尾研 LLM コミュニティ "Paper & Hacks Vol.04" https://matsuolab-community.connpass.com/event/317326/ | 2024/05/07(火) | MM-LLMs: Recent Advances in MultiModal Large Language Models https://arxiv.org/pdf/2401.13601.pdf | ||||||
| 松尾研 LLM コミュニティ "Paper & Hacks Vol.05" https://matsuolab-community.connpass.com/event/318423/ | 2024/05/14(火) | Retrieval Head Mechanistically Explains Long-Context Factuality https://arxiv.org/pdf/2404.15574 | ||||||
| 松尾研 LLM コミュニティ "Paper & Hacks Vol.06" https://matsuolab-community.connpass.com/event/319287/ | 2024/05/21(火) | End-to-EndのRAGの仕組みの紹介 RAG2.0 | ||||||
| 松尾研 LLM コミュニティ "Paper & Hacks Vol.07" https://matsuolab-community.connpass.com/event/319916/ | 2024/06/04(火) | 「LLMと推薦システム：Large Language Models for Generative Recommendation: A Survey and Visionary Discussions」 https://arxiv.org/pdf/2309.01157 | ||||||
| 松尾研 LLM コミュニティ "Paper & Hacks Vol.08" https://matsuolab-community.connpass.com/event/321389/ | 2024/06/11(火) | GENIAC Phase1 開発の取組 | ||||||
| 松尾研 LLM コミュニティ "Paper & Hacks Vol.09" https://matsuolab-community.connpass.com/event/322042/ | 2024/06/18(火) | GENIAC Phase1 開発の取組 | ||||||
| 松尾研 LLM コミュニティ "Paper & Hacks Vol.10" https://matsuolab-community.connpass.com/event/322400/ | 2024/06/25(火) | GENIAC Phase1 開発の取組 | ||||||
| 松尾研 LLM コミュニティ "Paper & Hacks Vol.11" https://matsuolab-community.connpass.com/event/323269/ | 2024/07/02(火) | GENIAC Phase1 開発の取組 | ||||||
| 松尾研 LLM コミュニティ "Paper & Hacks Vol.12" https://matsuolab-community.connpass.com/event/324103/ | 2024/07/09(火) | LLM主要論文ざっくり解説_Language Modeling Reading List (to Start Your Paper Club) https://eugeneyan.com/writing/llm-reading-list/ | ||||||
| 松尾研 LLM コミュニティ "Paper & Hacks Vol.13" https://matsuolab-community.connpass.com/event/324860/ | 2024/07/23(火) | 「GENIAC Phase1 開発の取組」 | ||||||
| 松尾研 LLM コミュニティ "Paper & Hacks Vol.14" https://matsuolab-community.connpass.com/event/325806/ | 2024/07/30(火) | A Survey of Large Language Models in Medicine: Progress, Application, and Challenge" https://arxiv.org/abs/2311.05112 に掲載されている論文からAIドクターに必要と考えられる研究をピックアップして紹介します。 | ||||||
| 松尾研 LLM コミュニティ "Paper & Hacks Vol.15" https://matsuolab-community.connpass.com/event/326550/ | 2024/08/06(火) | "The Evolution of Multimodal Model Architectures" https://arxiv.org/abs/2405.17927 | ||||||
| 松尾研 LLM コミュニティ "Paper & Hacks Vol.16" https://matsuolab-community.connpass.com/event/327394/ | 2024/08/20(火) | LLM Agentのベンチマーク | ||||||
| 松尾研 LLM コミュニティ "Paper & Hacks Vol.17" https://matsuolab-community.connpass.com/event/328467/ | 2024/08/27(火) | 言語とは何か？集合的予測符号化の言語観 | ||||||
| 松尾研 LLM コミュニティ "Paper & Hacks Vol.18" https://matsuolab-community.connpass.com/event/329264/ | 2024/09/03(火) | 画像とLLM 、CVPR2024におけるLLMの動向 | ||||||
| 松尾研 LLM コミュニティ "Paper & Hacks Vol.19" https://matsuolab-community.connpass.com/event/331740/ | 2024/10/01(火) | 松尾研大規模言語モデル講座第3回 Pre-training 【+α】 | ||||||
| 松尾研 LLM コミュニティ "Paper & Hacks Vol.20" https://matsuolab-community.connpass.com/event/332695/ | 2024/10/08(火) | 「スケーリング法則が何故スケーラブルなのか?」 | ||||||
| 松尾研 LLM コミュニティ "Paper & Hacks Vol.21" https://matsuolab-community.connpass.com/event/333658/ | 2024/10/15(火) | 合成データの作成について | ||||||
| 松尾研DL輪読会 x 大規模言語モデル講座2024 ”特別回"https://matsuolab-community.connpass.com/event/333991/ | 鴨井 遼 氏 （ペンシルベニア州立大学) | 2024/10/17(木) | LLMの自己修正 〜OpenAI o1の関連研究〜 | |||||
| 松尾研 LLM コミュニティ "Paper & Hacks Vol.22" https://matsuolab-community.connpass.com/event/334089/ | 2024/10/22(火) | オフラインデータを用いたアライメントの一般化手法について Generalized Preference Optimization: A Unified Approach to Offline Alignment https://arxiv.org/pdf/2402.05749.pdf | ||||||
| 松尾研 LLM コミュニティ "Paper & Hacks Vol.23" https://matsuolab-community.connpass.com/event/334867/ | 2024/10/29(火) | 論理的飛躍を生み出しLLMに大喜利させる方法 Let's Think Outside the Box: Exploring Leap-of-Thought in Large Language Models with Creative Humor Generation https://arxiv.org/abs/2312.02439 | ||||||
| 松尾研 LLM コミュニティ "Paper & Hacks Vol.24" https://matsuolab-community.connpass.com/event/335384/ | 2024/11/05(火) | LLMはハルシネーションを自覚しているか Physics of Language Models: Part2.2 How to Learn From Mistakes on Grade-School Math Problems https://arxiv.org/abs/2408.16293 | ||||||
| 松尾研 LLM コミュニティ "Paper & Hacks Vol.25" https://matsuolab-community.connpass.com/event/336318/ | 2024/11/12(火) | Google Colabによる Llama3.2 / Qwen2.5 のファインチューニング・ハンズオン | ||||||
| 松尾研LLMコミュニティ【Paper & Hacks Vol.26】 医療LLMの研究紹介 https://matsuolab-community.connpass.com/event/336858/ | 2024/11/19(火) | 医療LLMの研究紹介 Development and bilingual evaluation of Japanese medical large language model within reasonably low computational resources https://arxiv.org/abs/2409.11783 From Medprompt to o1: Exploration of Run-Time Strategies for Medical Challenge Problems and Beyond https://arxiv.org/pdf/2411.03590v1 | 医療LLMの研究紹介 助田一晟 松尾研LLMコミュニティ【Paper & Hacks Vol.26】参加記録 https://qiita.com/kaizen_nagoya/items/86463619054a3ffa8ecc | "LLM(Large Language Model) Calendar 2024 https://qiita.com/advent-calendar/2024/llm Day4 | ||||
| 松尾研LLMコミュニティ【Paper&Hacks#27】FlashAttentionとMoEのしくみ https://matsuolab-community.connpass.com/event/337632/ | 2024/11/26(火) | Flash AttentionとMoEのしくみ Flash Attentionの論文：FlashAttention: Fast and Memory-Efficient Exact Attention with IO-Awareness https://openreview.net/forum?id=H4DqfPSibmx （参考）Flash Attention2の論文：FlashAttention-2: Faster Attention with Better Parallelism and Work Partitioning https://openreview.net/forum?id=mZn2Xyh9Ec MoE：A Survey on Mixture of Experts https://arxiv.org/abs/2407.06204 |
初版
| 分類 | 行事 | 日付 | 内容 |
|---|---|---|---|
| Beginning | 松尾研 LLM コミュニティ "Beginning LLM Level 1" https://matsuolab-community.connpass.com/event/315969/ | 2024/04/30(火) | 0から始めるLLMの触り方 |
| 松尾研 LLM コミュニティ "Beginning LLM Level 2" https://matsuolab-community.connpass.com/event/317847/ | 2024/05/16(木) | プロンプティングを駆使して生成AIで画像生成を行う。/ 画像生成コンテスト実施 | |
| 松尾研 LLM コミュニティ "Beginning LLM Level 3" https://matsuolab-community.connpass.com/event/319443/ | 2024/05/30(木) | 画像生成パート2 「Stable Diffusion スタート講座 (SDXLハンズオン)」 | |
| 松尾研 LLM コミュニティ "Beginning LLM Level 4" https://matsuolab-community.connpass.com/event/320877/ | 2024/06/20(木) | サイト生成パート1 「Create.xyz スタート講座 (ハンズオン)」 | |
| 松尾研 LLM コミュニティ "Beginning LLM Level 5" https://matsuolab-community.connpass.com/event/321803/ | 2024/07/11(木) | サイト生成パート2 「Create.xyz スタート講座 (ハンズオン)」 | |
| 共有 | GENIAC LLM開発プロジェクト 進捗共有会 https://matsuolab-community.connpass.com/event/317824/ | 2024/05/09(木) | GENIAC LLM開発における、コンペ等の進捗共有会 |
| P&H | 松尾研 LLM コミュニティ "Paper & Hacks Vol.01"https://matsuolab-community.connpass.com/event/315810/ | 2024/04/09(火) | RAGの手法と実装について |
| 松尾研 LLM コミュニティ "Paper & Hacks Vol.02" https://matsuolab-community.connpass.com/event/315942/ | 2024/04/16(火) | RAGのサーベイ論文紹介 Retrieval-Augmented Generation for Large Language Models: A Survey https://arxiv.org/pdf/2312.10997.pdf | |
| 松尾研 LLM コミュニティ "Paper & Hacks Vol.03" https://matsuolab-community.connpass.com/event/316160/ | 2024/04/23(火) | ChatGPTとその利用可能性 | |
| 松尾研 LLM コミュニティ "Paper & Hacks Vol.04" https://matsuolab-community.connpass.com/event/317326/ | 2024/05/07(火) | MM-LLMs: Recent Advances in MultiModal Large Language Models https://arxiv.org/pdf/2401.13601.pdf | |
| 松尾研 LLM コミュニティ "Paper & Hacks Vol.05" https://matsuolab-community.connpass.com/event/318423/ | 2024/05/14(火) | Retrieval Head Mechanistically Explains Long-Context Factuality https://arxiv.org/pdf/2404.15574 | |
| 松尾研 LLM コミュニティ "Paper & Hacks Vol.06" https://matsuolab-community.connpass.com/event/319287/ | 2024/05/21(火) | End-to-EndのRAGの仕組みの紹介 RAG2.0 | |
| 松尾研 LLM コミュニティ "Paper & Hacks Vol.07" https://matsuolab-community.connpass.com/event/319916/ | 2024/06/04(火) | 「LLMと推薦システム：Large Language Models for Generative Recommendation: A Survey and Visionary Discussions」 https://arxiv.org/pdf/2309.01157 | |
| 松尾研 LLM コミュニティ "Paper & Hacks Vol.08" https://matsuolab-community.connpass.com/event/321389/ | 2024/06/11(火) | GENIAC Phase1 開発の取組 | |
| 松尾研 LLM コミュニティ "Paper & Hacks Vol.09" https://matsuolab-community.connpass.com/event/322042/ | 2024/06/18(火) | GENIAC Phase1 開発の取組 | |
| 松尾研 LLM コミュニティ "Paper & Hacks Vol.10" https://matsuolab-community.connpass.com/event/322400/ | 2024/06/25(火) | GENIAC Phase1 開発の取組 | |
| 松尾研 LLM コミュニティ "Paper & Hacks Vol.11" https://matsuolab-community.connpass.com/event/323269/ | 2024/07/02(火) | GENIAC Phase1 開発の取組 | |
| 松尾研 LLM コミュニティ "Paper & Hacks Vol.12" https://matsuolab-community.connpass.com/event/324103/ | 2024/07/09(火) | LLM主要論文ざっくり解説_Language Modeling Reading List (to Start Your Paper Club) https://eugeneyan.com/writing/llm-reading-list/ |