Chat Vectorを使って日本語LLMをチャットモデルに改造する
はじめに Chat Vector: A Simple Approach to Equip LLMs with Instruction Following and Model Alignment ...
110
80
Comment3
13 search resultsShowing 1~13 results
Stocked
You need to log-in
日本語LLMをDPOと派生手法でファインチューニングする
TL;DR LLMの最適化手法であるDPOとその派生手法 (IPO, cDPO, RSO, KTO) について解説する trlライブラリとLoRAを用いて、それらの手法で日本語LLMを最適化し、...
43
21
Comment0
日本語LLMをPPOでファインチューニングする
TL;DR 3.6Bパラメータの日本語LLMに対し全パラメータをSupervised Fine Tuning (SFT)をした さらにLoRAを使用してProximal Policy Optim...
69
64
Comment0
Flash Attentionを使ってLLMを効率的にフルファインチューニングする
TL;DR Hugging Face transformersライブラリにはLLMでFlash Attention 2を簡単に使える機能がある パディングが必要な場合でも特別な対応をすることなく...
12
9
Comment0
Flash AttentionとDeep Speedを使ってLLMをGPU1枚でフルファインチューニングする
TL;DR Deep Speedのoffload_optimizer機能を使って、VRAM40GBのGPU1枚で3.6BパラメータのLLMをファインチューニングしました。 さらに、Flash A...
13
6
Comment0
【続】Flash Attentionを使ってLLMの推論を高速・軽量化できるか？
はじめに 前回の記事 Flash Attentionを使ってLLMの推論を高速・軽量化できるか？ では、OptimumライブラリのBetter Transformerの機能を利用してHuggin...
9
13
Comment0
Flash Attentionを使ってLLMの推論を高速・軽量化できるか？
概要 Optimizing your LLM in production こちらのHugging Faceのブログ記事では大規模言語モデル(LLM)に関する色々な技術が紹介されているのですが、そ...
35
25
Comment1
WITデータセットの日本語部分を取り出す
Wikipedia-based Image Text (WIT)という、108の言語のWikipediaページから画像とテキストを抽出したデータセットがGoogleから公開されています。 htt...
4
5
Comment0
Universal Sentence Encoderを使って文章の異常検知をする
概要 講談社MLPの「異常検知と変化検知」を読んで、何か具体的な問題で試してみたいと思ったので、「方向データの異常検知」を文章の埋め込みベクトルに適用して、文章群に混じった異質な文章を検知できる...
12
8
Comment0
GANで偽のテーブルデータを生成する
概要 テーブルデータ用のGANの一つであるCTGANをCensus Incomeデータセットに対して試して偽のテーブルデータを生成します。生成したデータを使ってXGBoostを訓練し、元データと...
36
24
Comment1
【日本語版】ELMoとBERTを使って多義語に対して単語の類似度判定をする
概要 ELMoやBERTといった自然言語処理モデルは文脈を考慮した単語分散表現を与えるため、複数の意味を持つ多義語が文章の中でどういった意味で使われているのかを区別することができると期待できます...
7
8
Comment1
ELMoとBERTを使って多義語に対して単語の類似度判定をする
概要 文脈を考慮した単語分散表現（埋め込みベクトル）を計算するエンコーダーモデルであるELMoが複数の意味を持つ多義語を区別できるかどうか、単語の類似度を計算することで検証します。多義語とは例え...
9
5
Comment0
ELMo, BERT, USEを使って文章の異常検知をする
概要 以前に投稿した記事 Universal Sentence Encoderを使って文章の異常検知をする では、Universal Sentence Encoder (USE)を用いて、夏目...
6
12
Comment0
13 search resultsShowing 1~13 results
Qiita is a knowledge sharing service for engineers.
- You can follow users and tags
- You can stock useful information
- You can make edit suggestions for articles