概要
前回 投稿してから１日足らずで、またビッグニュース。ついに RedPajama 本家 Together から学習済モデル RedPajama-INCITE がリリースされました。
さっそく、このオープンな RedPajama データセットをつかって学習した RedPajama-INCITE-Chat-3B-v1 をチャットボット化してみました。
コンテキストをキープするようにしているので、ちゃんとマルチターンの会話が成立します
↓
チャット内容 日本語訳つき
YOU: Do you know the movie "Titanic"?
「タイタニック」という映画を知っていますか？
AI : Yes, I know the movie "Titanic".
はい、「タイタニック」という映画を知っています。
YOU: Who is starred?
主演は誰ですか？
AI : Leonardo DiCaprio and Kate Winslet
レオナルド・ディカプリオとケイト・ウィンスレットです。
YOU: Who is the director?
監督は誰ですか？
AI : James Cameron is the director.
ジェームズ・キャメロンが監督です。
YOU: Tell me about other movies he made.
彼が作った他の映画について教えてください。
AI : James Cameron is also the writer and producer of many movies,
including Aliens, Terminator 2: Judgment Day, True Lies, and Titanic. He also directed movies such as The Abyss, and Avatar.
ジェームズ・キャメロンは、『エイリアン』『ターミネーター2：審判の日』『トゥルーライズ』
『タイタニック』など、多くの映画の脚本とプロデューサーも務めていますよ。また、『アビス』や『アバター』などの映画も監督しています。
YOU: What happens at the end of Terminator 2?
『ターミネーター2』のラストはどうなるんですか？
AI : After Skynet has destroyed Skynet headquarters, Sarah Connor,
the mother of John Connor, sacrifices herself by driving a car into the
CPU of Skynet's mainframe, effectively destroying the system and saving humanity.
スカイネットがスカイネット本部を破壊した後、ジョン・コナーの母親である
サラ・コナーが自分を犠牲にして、スカイネットのメインフレームのCPUに車を突っ込み、システムを事実上破壊し、人類を救う。
実験環境
- OS: Ubuntu 20.04
- CUDA: 11.7
- GPU: RTX 3090
Windows + CPU でも遅いですが、動作します。
ソースコード
本稿で作ったチャットボットのソースコードはこちらです
環境構築
上のソースコードをつかうときの環境構築です。
conda update -n base -c defaults conda --yes
conda create --yes -n env-rp-3b-chat
conda activate env-rp-3b-chat
conda install python=3.10.10 --yes
python -m pip install --upgrade pip
上は conda をつかっているが、pyenvでも docker でも問題なし
パッケージのインストール
pip install torch torchvision torchaudio --index-url https://download.pytorch.org/whl/cu117
pip install accelerate transformers
実行
python chat.py
ポイント
-
open_llama_7b_preview_300bt に比べると、かなりとっつきやすい
- プロンプトについては公式ページ にちゃんとヒントがあり、とても親切。以下の形式のプロンプトでチャットがうまく動く。
<human>: [Instruction]
<bot>:
- 文章の停止位置検出
- 文章生成で EOS トークンを検出して生成停止するアプローチは、生成中のトークンを監視していても EOS トークンを出してこないようなので、ダラダラと生成しつづけてしまう。そこで、人間パートの生成を検出 して停止させている。ここは、もっとロバストなやり方があるのかもしれない。
- トークナイザーのconfを見る限り、EOS は
<|endoftext|>となっておりデフォルトのままのよう。
{
"add_prefix_space": false,
"bos_token": "<|endoftext|>",
"clean_up_tokenization_spaces": true,
"eos_token": "<|endoftext|>",
"model_max_length": 2048,
"tokenizer_class": "GPTNeoXTokenizer",
"unk_token": "<|endoftext|>"
}
まとめ
- RedPajama-INCITE の 3B モデルのチャット向け版をつかってチャットボットをつくってみました
- オープンなLLMをいろいろさわってきたけど、ほぼ手をかけず、かなりまともな受け答えができる印象です。
- とはいえ、 Limitation に書いてあることが心にささりました
- その制約を十分に理解し、適切な期待を持って使用する
- 複雑で曖昧な質問や、モデルの学習データに含まれていない範囲の質問に対しては、必ずしも正確で関連性のある回答が得られるわけではないのでこの点を念頭に置き、適切な判断を行いながらモデルを活用する