こちらは個人的にGPT3とGPT2の自然言語処理について調べた際に参考にしたサイトを備忘録としてまとめたページです。
GPT2＆GPT3自然言語処理の可能性や実行した際の印象
自然言語処理のスキルが今後必ず必要になると思い立ちました。
GPT3とGPT2を使ったPythonの自然言語処理を実際に行いました。
GPT3は日本語の情報がまだ少ないのですが、精度は高いことを実感できました。
GPT2でテキスト生成された文章はそのまま使うにはクオリティが低いのですが、そのクセのようなものを理解して応用すると文章作成のヒントのような使い方ができます。
GPT2は、ボキャブラリーをたくさん知っている小学3年生といった印象です。
自然言語処理の学習するにあたって参考にしたサイト
OpenAI GPT-3 APIの使い方を解説
【Pythonコード】gpt-3のAPI申請通ったので試してみたら気持ち悪いほど正確なボットができた話
tanreinama/gpt2-japanese
Public
https://github.com/tanreinama/gpt2-japanese
japanese-gpt-1b
13億パラメータ日本語GPT-2を使ってみる
GPT-2をファインチューニングしてニュース記事のタイトルを条件付きで生成してみた。
gpt2-japaneseの使い方 (1) - mediumモデルによる日本語テキスト生成
gpt2-japaneseの使い方 (2) - GPT-2のファインチューニング
gpt2-japaneseの使い方 (3) - largeモデルによる日本語テキスト生成
GPT-2をファインチューニングしてニュース記事のタイトルを条件付きで生成してみた。
Huggingface Transformers 入門 (27) - rinnaの日本語GPT-2モデルの推論
Huggingface Transformers 入門 (28) - rinnaの日本語GPT-2モデルのファインチューニング
Huggingface Transformersのモデルをオフラインで利用する
GPT-2のファインチューニング試す
rinnaの日本語GPT-2モデルを Google Colab で実行してみる
The Illustrated GPT-2 (Visualizing Transformer Language Models)
【ubuntu-20.10】rinnaの日本語GPT-2モデルを動かしてみる
[japanese-gpt-1b] りんなちゃんに自問自答をさせてみる [自然言語生成]
【Python】GPT-2で日本語文章を自動で生成する
タンテキ
AIのべりすと