huggingface/TRLのSFTTrainerクラスを使えばLLMのInstruction Tuningのコードがスッキリ書けてとても便利です
はじめに huggingfaceにはTRL（Transformer Reinforcement Learning）というライブラリがあります。これは、LLMをチューニングする際の、Instruc...
59
29
Comment2
56 search resultsShowing 1~20 results
Stocked
You need to log-in
LangGraphとAgentを使って最新のトレンドを考慮した広告文生成をやってみる
はじめに LangGraphの勉強の備忘録として、タイトルの通り最新のトレンドを考慮した広告文生成をやってみます。 といっても内容は非常に薄く、LangChainやLangGraphのチュートリ...
43
41
Comment0
OpenCALM-7BをLoRAでinstruction tuningするための実装解説 / QLoRAの実装も紹介
はじめに ※本記事で「現時点」という言葉は2023/6/1を指すこととします。 先日（2023年5月17日）、サイバーエージェントが日本語に特化したLLM（Large Language Mode...
98
65
Comment0
Vision and Language（特にImage to Text）に関する事前学習モデルの最近の研究（2021.6~2023.1）をいくつかまとめてみた
はじめに 最近Vision and Language、とくにImage to Textに興味がでてきたので、いくつか重要そうな研究の情報収集をしました。 本記事で紹介する内容はあくまでImage...
23
18
Comment0
huggingfaceのTrainerクラスを使えばFineTuningの学習コードがスッキリ書けてめちゃくちゃ便利です
はじめに huggingfaceのTrainerクラスはhuggingfaceで提供されるモデルの事前学習のときに使うものだと思ってて、下流タスクを学習させるとき（Fine Tuning）は普通...
148
85
Comment2
huggingfaceのaccelerateを使って訓練時のCUDA out of memoryを回避する
はじめに 学習スクリプトを実行しているときにGPUにメモリが乗り切らなくてCUDA out of memoryで処理が落ちてしまい、学習スクリプトを最初から実行し直すハメになることがよくあります...
44
26
Comment0
poetry addしようとしたらFailed to unlock the collection!と怒られた
ぱっとググって、直接的な記事が見当たらなかったので、念の為備忘録的に残しておきます。 誰かの助けになれば幸いです。 poetryでpythonの環境構築をしようとして、poetry initとか...
9
5
Comment0
Tweepy(v4.8.0)でユーザのプロフィール欄の取得方法がわからなかったのでTwitterAPIを直接叩いて取得する
はじめに ほぼ備忘録的なものですが、他に困ってる方がいるかもしれないので、一応残しておきます。 当方の手元の環境のtweepyのバージョンは4.8.0です。 !pip list | grep t...
1
3
Comment0
ファインチューニング済みのBERTモデルを、知識の蒸留の考え方を使って軽量化できるか実装して確かめてみる
はじめに Deep Learningのモデルを軽量化する手法に、知識の蒸留（Knowledge Distillation） という考え方があります。 知識の蒸留の考え方については、以下の記事が非...
17
18
Comment0
huggingface / transformersにおいてDatasetの段階ではstringのままにしておきたい場合とTokenizerで処理した状態にしておきたい場合のDatasetとDataLoaderの実装例
はじめに 記事にするようなことでもないかもしれませんが、huggingfaceを使った実装に不慣れな場合、DatasetやDataLoaderの実装の仕方って場合によっては混乱するかなーと思いま...
2
1
Comment0
PyTorchでSeq2Seqを実装してみた
目次 本記事はPyTorchを使って自然言語処理 $\times$ DeepLearningをとりあえず実装してみたい、という方向けの入門講座になっております。以下の順番で読み進めていただくとP...
103
66
Comment2
自然言語処理における敵対的攻撃（Adversarial Attack）の手法を簡単にまとめてみた
はじめに 自然言語処理における敵対的攻撃（Adversarial Attack）の手法とか全然知らなかったので、ちょこっと勉強してみました。なんとなく雰囲気はつかめたので、自分が勉強した内容をす...
34
38
Comment0
TLM（Task-driven Language Modeling）の手法を使って、効率的に事前学習済BERTモデルの精度を超えられるか検証してみる
はじめに TLM（Task-drive language Modeling）という手法を提唱する論文を読んで、内容が面白そうだったので、実際に実装してみて、TLMの効果を検証してみました。 実装...
2
3
Comment0
割当問題のハンガリアン法をpythonで実装してみた
割当問題とは？ 割当問題という問題をご存知でしょうか？ $n$ 人に $n$ 個の仕事を割り当てるとき、最も効率の良い割り当て方は何かを考える問題を「割当問題」といいます。 行列で考えるとわかり...
103
62
Comment6
huggingface/transformers (ver 4.5.0)で日本語BERTを動かすサンプルソースコード
はじめに huggingfaceのtransformersを使って、久しぶりに日本語BERTを動かそうと思ったら、昔書いたソースコードでは、あれよあれよとエラーが出るようになってしまっていました...
61
39
Comment11
Pythonを使ってFORTNITEのキルログを自動集計してみた
はじめに FORTNITEもシーズン6に入り、弓などの新しい武器が追加されたり、クラフトの要素が追加されたりと雰囲気がガラッと変わりましたね。どんな対戦ゲームでもそうですが、環境がガラッと変わっ...
47
31
Comment2
BERT2BERTによるニュース記事のタイトル生成
はじめに huggingfaceを使ったEncoder-Decoderモデルの練習の一貫として、BERT2BERTによる文章生成をやってみました。 BERT2BERTはEncoder-Decod...
29
19
Comment0
huggingface / transformersを使ってVision Transformer（ViT）で画像分類タスクをファインチューニングで解いてみた
はじめに huggingface / transformersを使えば簡単に画像分類系で（今のところ）最先端なVision Transformer（以降ViTと略します）が使えるようなので、手元...
32
36
Comment0
PyTorchを使ってCNNの判断根拠を可視化するGrad-CAMを実装してみた
はじめに AIの説明性とか判断根拠に関するトピックに興味があって、画像系のデータであれば、Grad-CAMとか自然言語ならAttentionとか、いろんな手法が研究されてると思います。 そこで今...
69
72
Comment6
Adversarial Attackされた画像にGrad-CAMで異変に気付けるか実装しながら試してみる
はじめに Adversarial Attackをご存知でしょうか？日本語で敵対的攻撃ですかね。 以下のパンダがテナガザルに誤判定される例は有名かと思います。人間には分からない微小なノイズを画像に...
10
3
Comment0
56 search resultsShowing 1~20 results
Qiita is a knowledge sharing service for engineers.
- You can follow users and tags
- You can stock useful information
- You can make edit suggestions for articles