LLM(Large Language Model) Calendar 2024
https://qiita.com/advent-calendar/2024/llm
12日目の記事です。
introduction
Hugging Face って何ですか
https://qiita.com/tadokuno/items/c4536dea7f629d37549c
当時は全く知識が無かったので、なんか海外のやばいサイトかなと思ったのと、拡張子がckptのモデルファイルは、マルウェアを仕込むことも可能なので、safetensorを使うように、という情報を得たので、それをダウンロードして使うことはしませんでした。
Hugging Face transformersドキュメントのまとめページ
https://qiita.com/taka_yayoi/items/155f97efbff594df4386
AIプラットフォーム「Hugging Face」の使い方を解説
https://qiita.com/SAKUBUN/items/d02dd7288fbda01995ed
初心者でもわかる！Hugging Faceを使いこなして、RAG風プロンプトエンジニアリングで精度UPする方法
https://qiita.com/ryo18/items/251f5a7baa745e982526
Llama 2向けのDatasetsを作成してHugging Faceに登録するまで
https://qiita.com/yn01/items/54f7ceb4edfaba119d34
Hugging Face Spacesで、plumberで作成したWeb APIをホストする方法
https://qiita.com/Yuuki-Osada/items/72644b62d5a7d1e19eda
Hugging Faceのssh鍵の作り方
https://qiita.com/mae616/items/bbf35f97396301ac2e6d
sd-webui-animatediffで高解像度・高フレームレートのクロマキーの動画を作成（v3_sd15_mm.ckpt）
https://qiita.com/kongo-jun/items/3ce1535fab836fd725af
youtube
【日本語 GPT 文章生成】Hugging Face 入門① 〜Pipelineで、学習済みモデルを使ってみよう〜 【with りんなちゃん】
https://www.youtube.com/watch?v=Fss7czY2R0s
【日本語 BERT 穴埋め問題】Hugging Face 入門② 〜言語モデルの種類と事前学習を理解しよう〜 【エンコーダモデル・デコーダモデル】
https://www.youtube.com/watch?v=5FLiO7F_RpU
【Tokenizer (トークナイザー) とは？】Hugging Face 入門③ 〜TokenizerとModelオブジェクトの使い方〜 【with 日本語GPTモデル】
https://www.youtube.com/watch?v=eeqOO0neq7I
【有名人のツイート生成！】Hugging Face 入門④ 〜GPTモデルのファインチューニング〜 【with 日本語GPTモデル】
https://www.youtube.com/watch?v=GeACtQATkoY
【2023/09/14】【初心者向け】まだ間に合う！HuggingFace入門-TransformersでAI推論&学習
https://www.youtube.com/watch?v=yIL7dZNuH6E
ckpt
Pytorchの.ckptファイルの引っ越し．モデル構造を変更したときの重みの移行
https://qiita.com/fztkm/items/07e73ad8a37b43445793
ckptファイルをload_state_dictで読み込んだ話
https://qiita.com/sarashina/items/bcfd8134ae823a14009a
Otehrs
Hugging Faceで独自データセットを使う
https://qiita.com/izaki_shin/items/70d4c51618c068fbb7a7
Hugging Face CI/CDにおけるエラー解消: Git LFS設定と画像ファイルの履歴削除
https://qiita.com/Maki-HamarukiLab/items/9c2e7da8e4b153307ea4
Hugging Face からのモデルのダウンロード
https://qiita.com/mizutan/items/e79f3ef6b8b833891ee3
Hugging Faceのライブラリを使ってTokenize
https://qiita.com/ishikawa-takumi/items/5fc45ddd121b23db5de9
Hugging Face 画像生成
https://qiita.com/miketorii/items/b559b56b85ab443772fc
Hugging Face🤗の拡散モデル入門
https://qiita.com/hotekagi/items/5afabf5945f125020eb1
Databricks ❤️ Hugging Face
https://qiita.com/taka_yayoi/items/665da50ddf7920d33677
Hugging Faceトランスフォーマーパイプラインを用いてNLPをスタートする
https://qiita.com/taka_yayoi/items/f0540a29b3cfa9868585
Hugging Faceのdbrx-instructを動かしてみる
https://qiita.com/taka_yayoi/items/c67b3f5fb168342a4b90
Hugging FaceとDeepSpeedによる大規模言語モデルのファインチューニング
https://qiita.com/taka_yayoi/items/fadf3ce5b3d4e954ef83
サクッと API を作ろう｜FastAPI, Hugging Face,Docker,Python
https://qiita.com/tregu148/items/73045efce0a6216e1cd9
Reference
[翻訳] Hugging Face transformersのクイックスタート
https://qiita.com/taka_yayoi/items/f3c74c8a242368412615
[翻訳] Hugging Face transformersの推論パイプライン
https://qiita.com/taka_yayoi/items/fe841afc78c27b153b44
[翻訳] Hugging Face transformersにおけるAutoClassを用いた事前学習済みインスタンスのロード
https://qiita.com/taka_yayoi/items/af736dd515c0d12faaf7
[翻訳] Hugging Face transformersにおける前処理
https://qiita.com/taka_yayoi/items/d6300140765b9b1406c5
[翻訳] Hugging Face transformersにおける事前学習済みモデルのファインチューン
https://qiita.com/taka_yayoi/items/597c6b1c36abaf9c1b3c
[翻訳] Hugging Face transformersにおける質問応答
https://qiita.com/taka_yayoi/items/044caf839e83b210042b
[翻訳] Hugging faceのPEFTのクイックツアー
https://qiita.com/taka_yayoi/items/9196444274d6a63cda76
model.save_pretrained("output_dir")
# if pushing to Hub
from huggingface_hub import notebook_login
notebook_login()
model.push_to_hub("my_awesome_peft_model")
from transformers import AutoModelForSeq2SeqLM
+ from peft import PeftModel, PeftConfig
+ peft_model_id = "smangrul/twitter_complaints_bigscience_T0_3B_LORA_SEQ_2_SEQ_LM"
+ config = PeftConfig.from_pretrained(peft_model_id)
model = AutoModelForSeq2SeqLM.from_pretrained(config.base_model_name_or_path)
+ model = PeftModel.from_pretrained(model, peft_model_id)
tokenizer = AutoTokenizer.from_pretrained(config.base_model_name_or_path)
model = model.to(device)
model.eval()
inputs = tokenizer("Tweet text : @HondaCustSvc Your customer service has been horrible during the recall process. I will never purchase a Honda again. Label :", return_tensors="pt")
with torch.no_grad():
outputs = model.generate(input_ids=inputs["input_ids"].to("cuda"), max_new_tokens=10)
print(tokenizer.batch_decode(outputs.detach().cpu().numpy(), skip_special_tokens=True)[0])
'complaint'
[翻訳] Hugging FaceのマルチGPUにおける効率的なトレーニング
https://qiita.com/taka_yayoi/items/ecf3564d62b3c1d1e1cb
[翻訳] Hugging faceのPEFT
https://qiita.com/taka_yayoi/items/67950183d32b112246ba
Related document
DatabricksとHugging Faceを用いた保険Q&Aにおける意図分類
https://qiita.com/taka_yayoi/items/ad1d8970606048e0a0fb
Hugging Face、Databricksモデルサービング、Databricks Appsによるインペイントアプリの構築
https://qiita.com/taka_yayoi/items/9a7be741b08bfec41d5e
DatabricksにおけるHugging Faceモデルの分散ファインチューニング
https://qiita.com/taka_yayoi/items/fdf409f2cf6e7e1f7f22
DatabricksにおけるシングルGPUにおけるHugging Faceモデルのファインチューニング
https://qiita.com/taka_yayoi/items/755d1e52b6b07b760ebe
atabricksモデルサービングによるHugging Face transformersモデルのデプロイ
https://qiita.com/taka_yayoi/items/aebac893b1c2f73245eb
MLflow 2.3のHugging Faceトランスフォーマーのサポートを試す
https://qiita.com/taka_yayoi/items/ad370a7f57c4eae58800
Hugging Face Diffusers、Databricks Appsとモデルサービングで構築する顔ハメ看板アプリ
https://qiita.com/taka_yayoi/items/9ef95cb2f39fddd047af
LoRAによる効率的なファインチューニング：大規模言語モデルにおける最適パラメータ選択のガイド
https://qiita.com/taka_yayoi/items/7f50d3ebbe4bebd6877c