LLM(Large Language Model)Advent Calendar 2024

2024年のKaggleでのLLM利用の調査

Last updated at 2024-11-30Posted at 2024-11-30

はじめに

私はベイズ統計学について大学で専攻していたのですが、MLやLLMについてはあまり把握できていませんでした。

また、以前私のGemma2の論文概要の記事で取り上げたようなモデルがKaggleでも広く利用されているため、本アドベントカレンダーの機会にこれらの使い方を調査したいと考えました。

そのため、本記事の目的は、LLMを学習させるのに必要のありそうなライブラリがなにかをまとめることとします。

コンペの詳細の内容については、nishimotoさんの2023-24年（上期）のKaggleコンペから学ぶ、NLPコンペの精度の上げ方や、それぞれのコンペの解説記事（後述）で綺麗にまとめられてくださっているため、適宜参考にしてください。

まず、今年開催されたLLM関連のコンペを調査し、それぞれの上位解法を調べます（漏れているコンペもあると思います）。

概要: LLMが生成したテキストから、元のプロンプトを推定するコンペティション。
期間: 2024年2月28日～4月17日
詳細な解説記事: s_shoheyさん Kaggle LLM Prompt Recoveryコンペまとめ
- キーワード:
  - EndOfSentenceトークンの処理

上位解法で使用されていたライブラリ: 参照元：Khoi Nguyenさん 1st place 0.71

上位解法で使用されていたライブラリ: 参照元：Qamar mathさん "DeBERTa & LightGBM for Automated Essay Scoring"

参考: コード理解のために私がリファクタリングしたもの
使用ライブラリ：polars, transformers(Trainer, DataCollatorWithPadding, AutoModelForSequenceClassification), spacy

概要: 20の質問で秘密のキーワードを当てるゲーム形式のコンペティション。
期間: 2024年5月16日～8月30日
詳細な解説記事: Isaka-code(ねぼすけAI)さん Kaggle LLM 20 Questionsの解説と上位ソリューションまとめ #Python - Qiita
- キーワード:
  - 二分探索
  - LLM曖昧さ回避のための正規表現の利用
  - レスポンスを減らすための事前にデータの保持

上位解法で使用されていたライブラリ: 参照元： c-numberさん LLM 20 Questions Final Submissions

他のコンペも下の粒度でまとめたかったのですが、時間が取れなかったためこちらのコンペだけ以下の形式でまとめてみました。

ライブラリ	関数/メソッド名	ドキュメントリンク	ソースコード例
torch	`torch.backends`	torch.backends — PyTorch 2.5 documentation	link
	`torch.ones`	torch.ones — PyTorch 2.5 documentation	link
	`torch.load`	torch.load — PyTorch 2.5 documentation	link
	`torch.special.xlogy`	torch.special.xlogy — PyTorch 2.5 documentation	link
	`torch.maximum`	torch.maximum — PyTorch 2.5 documentation	link
	`torch.isnan`	torch.isnan — PyTorch 2.5 documentation	link
	`torch.where`	torch.where — PyTorch 2.5 documentation	link
	`torch.Tensor.bfloat16`	torch.Tensor.bfloat16 — PyTorch 2.5 documentation	link
	`torch.no_grad`	torch.no_grad — PyTorch 2.5 documentation	link
	`torch.nn.Softmax`	Softmax — PyTorch 2.5 documentation	link
	`torch.cuda.empty_cache`	torch.cuda.empty_cache — PyTorch 2.5 documentation	link
transformers	`transformers.pipeline`	Pipelines	link
	`AutoModelForCausalLM(from_pretrained)`	Auto Classes	link
	`AutoTokenizer`	Auto Classes	link
	`BitsAndBytesConfig`	BitsAndBytesConfig — Quantization	link
	`AutoConfig`	Auto Classes	link
	`quantization_config`	Quantize 🤗 Transformers models
	`meta-llama/Meta-Llama-3-8B-Instruct`	meta-llama/Meta-Llama-3-8B-Instruct · Hugging Face

上位のコードやその際に利用していたアルゴリズムの大枠について理解をできました。

こちらの記事を参考に、現在開催中のコンペなどの使用ライブラリの理解の役になれば幸いです。

以下LLMが関連していそうな現在開催中のコンペを記載しています。