生成AI、MMLなどでよく使うpython ライブラリを一覧し、
どういう機能があり、そういう処理をしているのか調べる出発点としたい。
transformers
transformers(ライブラリ)
https://qiita.com/niship2/items/f84751aed893da869cec
[python / transformers] Rust が原因で pip install transformers できない問題の対策
https://qiita.com/siruku6/items/a133f79ff4c80e73cea3
transformersのモデルのダウンロードについて
https://qiita.com/SoseSose/items/00185f49f245c4d8df16
Huggingface Transformerがエラーを吐かない実行環境は、Python3.6.3 & TensorFlow2.2だと確認した件
https://qiita.com/Afo_guard_enthusiast/items/9fcde2e06588c01a40db
Huggingface Transformer version.3.5.1で、東北大学が作った日本語用の学習済みモデル 'cl-tohoku/bert-base-japanese-char-whole-word-masking'を使って成功した件
https://qiita.com/Afo_guard_enthusiast/items/88ce7d9610073ac1eca2
transformersのTrainerでもにょった
https://qiita.com/payanotty/items/a012a5607279ff7f4056
富岳のspack0.19版python3.10にはtransformersが乗らないのか
https://qiita.com/KoichiYasuoka/items/521087a76186b4432145
transformers,gpt2-large-japaneseをローカル環境で利用する
https://qiita.com/dot-info/items/6d6745d66b7460a16fd5
bitsandbytes
Windows10でのPEFTの実行方法 (bitsandbytes-windows-webui使用)
https://qiita.com/selllous/items/c4880767da45173227c1
PEFTを使用したLoRA (Windows10（WSL2不使用） bitsandbytes==0.37.0使用)
https://qiita.com/selllous/items/fbaa2c3d2d504e436b17
無料版GoogleColabで13BのLLMを動かす方法（OOMにならない！/Fugaku-LLM-13Bも動いたぞォ！）
https://qiita.com/HawkClaws/items/f13c6a4168a6529b06ae
peft環境作成（cudaサポートbitsandbytes 0.41.1）
https://qiita.com/kik0220@github/items/9d67b9458ac42b362431
8-bit最適化アルゴリズム公開した
https://qiita.com/terry_chan/items/28d900f1a62639227e2a
GCPのGPU搭載インスタンスで [Errno 13] Permission denied: '/root/google_vm_config.lock'
https://qiita.com/munaita_/items/88b1a3ffba9efbfd6612
layerdiffusion
https://qiita.com/ma7ma7pipipi/items/8d00a7fa8addb1b9a8d0
accelerate
Google ColabでLoRAを実行する
https://qiita.com/nR9h3kLy/items/a2d2be4c48f253a8e331
huggingfaceのaccelerateを使って訓練時のCUDA out of memoryを回避する
https://qiita.com/m__k/items/518ac10399c6c8753763
限られたリソースの中でLLMを使う
https://qiita.com/Miki7/items/26aab2cb1323ccf9a753
M1 Macでwaifu-diffusion
https://qiita.com/DR623G/items/99c3c784e594c7b21913
[翻訳] Hugging Face transformersの推論パイプライン
https://qiita.com/taka_yayoi/items/fe841afc78c27b153b44
01-ai/Yi-6B-ChatをGoogle Colabで動かしてみた
https://qiita.com/Maki-HamarukiLab/items/df4c70d5300681b9af49
ヅカの芸名を自動生成するAIを作る(6)：GPT-2編(2)
https://qiita.com/muto-jo/items/460ffb50924fd24010d6
datasets
peft
trl
# wandb