LLM（大規模言語モデル）についての概要まとめ

はじめに

近年話題になっているLLM(Large Language Model)について、言葉はよく聞くけど、概要や、何ができるのかなど、いまいち把握できていなかったので、自分なりにまとめました。

目次

項番	目次
1	はじめに
2	LLMとは
3	実装例
4	おわりに
5	参考サイト

LLMとは

概要

文章を扱うAIモデルで、「自然言語」でのやり取りを行う。
単語の予測する様に文章の作成が可能である。

活用例

OpenAIの「ChatGPT」
Googleの「BERT」
など

実装例

transformerを用いた文章生成コードの例を挙げます。
文章の最後が変ですが、一応文がつながる回答にはなっています。
形態素解析・・・・「T5Tokenizer」
訓練済みモデル・・・「rinna」

from transformers import T5Tokenizer, AutoModelForCausalLM

tokenizer = T5Tokenizer.from_pretrained("rinna/japanese-gpt2-medium")
model =　AutoModelForCausalLM.from_pretrained("rinna/japanese-gpt2-medium")

first_sentence = "今日は雨。だから私は"  
x = tokenizer.encode(first_sentence, return_tensors="pt", add_special_tokens=False)  

y = model.generate(x, max_length=100)
generated_sentence = tokenizer.batch_decode(y, skip_special_tokens=True)
print(generated_sentence)

実行結果

['今日は雨。だから私は、いつもより少しだけ早めに起きて、洗濯物を干して、洗濯物を畳んで、洗濯物を畳んで、洗濯物を畳んで、洗濯物を畳んで、洗濯物を畳んで、洗濯物を畳んで、洗濯物を畳んで、洗濯物を畳んで、洗濯物を畳んで、洗濯物を畳んで、洗濯物を畳んで、洗濯物を畳んで、洗濯物を畳んで、洗濯物を畳んで、洗濯物を畳んで、洗濯物を']

おわりに

LLMの概要と、実装例を簡単にまとめました。
Transformerなどの具体的な仕組みについてはまだ理解が進んでいないので、それらも後々理解していきたいと考えております。

参考サイト

・rinna社のGPT-2大規模言語モデル
・Udemy講座　大規模言語モデル（LLM）の仕組み入門