Paper & Hacks
Vol.25 11/12(火) 20:00 〜 21:30
「Google Colabによる Llama3.2 / Qwen2.5 のファインチューニング・ハンズオン」
発表者: 松尾研LLMコミュニティメンバー 異業種データサイエンス研究会®代表 井伊篤彦
https://matsuolab-community.connpass.com/event/336318/
翻訳
信頼性の高い機械学習 ―SRE原則を活用したMLOps
https://www.amazon.co.jp/dp/4814400764/
Pythonではじめるバイオインフォマティクス ―可読性・拡張性・再現性のあるコードを書くために
https://www.amazon.co.jp/dp/4814400373/
LLM 大規模言語モデル講座 2023コンテンツ
LLM 大規模言語モデル講座 2023コンテンツ
https://weblab.t.u-tokyo.ac.jp/llm_contents/
2023年度のLLM大規模言語モデル講座のコンテンツ公開は終了しました。
［講座詳細］
https://weblab.t.u-tokyo.ac.jp/education/large-language-model/
2023年の講義資料は非営利目的の２次利用が許可されています。
大規模言語モデル Fine-Tuning
東京大学工学系研究科 修士課程
中筋 渉太
サマースクール2023 大規模言語モデル Day5
https://speakerdeck.com/schulta/llm-fine-tuning-dong-da-song-wei-yan-llmjiang-zuo-day5zi-liao
本資料はクリエイティブ・コモンズのCC BY-NC-SA 4.0 DEED(表示 – 非営利 – 継承 4.0 国際)のライセンスが登録されています。
• ライセンスの表示について
• 各スライドのページ最下部にライセンスの記載がございます。再利用時にはこちらの要素も含めてご利用ください。ただしこちらはスライドマスターに設定されている為、再利用時に複製が困難な場合は、下記のテキストボックスを利用の上、ハイパーリンクも含めてライセンスの表記をする様にお願いします。
LLM 大規模言語モデル講座 講義資料 © 2023 by 東京大学松尾研究室 is licensed under CC BY-NC-ND 4.0
再利用するページに参照論文等の引用がある場合は、巻末にあるReferenceより引用箇所を掲載してください。(引用元の著作権者に対しての再利用の正当性が証明できなくなる可能性がございます。)
[1] https://huggingface.co/docs/trl/index
[2] https://huggingface.co/docs/trl/sft_trainer
[3] https://arxiv.org/abs/2310.05914
[3] https://huggingface.co/datasets/bbz662bbz/databricks-dolly-15k-ja-gozarinnemon
- Llama3.2 (Meta)
https://huggingface.co/collections/meta-llama/llama-32-66f448ffc8c32f949b04c8cf - Qwen2.5 / Qwen2.5-Coder (Alibaba) [9]
https://huggingface.co/Qwen - BitNet-Llama3 (Hugging Face/Microsoft) [10]
https://huggingface.co/HF1BitLLM - Gemma2-2b-jpn (Google) [11]
https://huggingface.co/google/gemma-2-2b-jpn-it
-（おまけ）Qwen2.5-Coder [9]
https://huggingface.co/collections/Qwen/qwen25-coder-66eaa22e6f99801bf65b0c2f
ローカルLLMでbolt.newを動かしてみた
https://zenn.dev/robustonian/articles/bolt_new_local
[1] Hugging Face TRL:
https://huggingface.co/docs/trl/index
[2] Hugging Face SFTTrainer:
https://huggingface.co/docs/trl/sft_trainer
[3] Neel Jain, Pin-yeh Chiang et al. (2023) “NEFTU N E: NOISY EMBEDDINGS IMPROVE INSTRUCTION FINETUNING”
https://arxiv.org/abs/2310.05914
[4] OpenAI Whisper:
https://github.com/openai/whisper
[5] Hugging Face Llama3.2-1B-Instruct:
https://huggingface.co/meta-llama/Llama-3.2-1B-Instruct
[6] Hugging Face Qwen2.5-0.5-Instruct:
https://huggingface.co/Qwen/Qwen2.5-0.5B-Instruct
[7] databricks dolly datasets:
https://huggingface.co/datasets/bbz662bbz/databricks-dolly-15k-ja-gozarinnemon
[8] VOICEVOX:
https://github.com/VOICEVOX
[9] Qwen2.5 Coder:
https://huggingface.co/collections/Qwen/qwen25-coder-66eaa22e6f99801bf65b0c2f
[10] BitNet-Llama3:
https://huggingface.co/HF1BitLLM
[11] Gemma2 JPN:
https://huggingface.co/collections/google/gemma-2-jpn-release-66f5d3337fdf061dff76a4f1