昨日の記事の続きだが、Swallow-7b-instruct-hfに「パソコンのキーボードは，なぜABC順・五十音順ではないのですか」と尋ねてみることにした。プログラムはこんな感じ。
#! /usr/bin/python3
from transformers import pipeline
tgn=pipeline("text-generation","tokyotech-llm/Swallow-7b-instruct-hf",max_new_tokens=128)
nlp=lambda txt:tgn(f"以下に、あるタスクを説明する指示があります。リクエストを適切に完了するための回答を記述してください。\n\n### 指示:{txt}\n\n### 応答:",do_sample=True)[0]["generated_text"]
print(nlp("パソコンのキーボードは，なぜABC順・五十音順ではないのですか"))
実行してみたところ、私(安岡孝一)の手元では以下の結果が出力された。
以下に、あるタスクを説明する指示があります。リクエストを適切に完了するための回答を記述してください。
### 指示:パソコンのキーボードは，なぜABC順・五十音順ではないのですか
### 応答:パソコンのキーボードは、キーボードの配列にアルファベット順や五十音順ではなく、QWERTZ配列を採用しています。QWERTZ配列は、英語圏ではあまり使われていない配列で、ドイツやオーストリアなどのドイツ語圏で主に使われています。
そうきたか。もう一度やってみよう。
以下に、あるタスクを説明する指示があります。リクエストを適切に完了するための回答を記述してください。
### 指示:パソコンのキーボードは，なぜABC順・五十音順ではないのですか
### 応答:パソコンのキーボードは、英語圏の人が使うことを想定して作られたため、アルファベット順になっています。しかし、日本語を使う人にとっては、アルファベット順ではなく、五十音順の方が使いやすいということがあります。
まあ7bモデルだと、この程度ということだろうか。13bモデルや70bモデルも試してみたいのだが、Swallow-7b-instruct-hfですらメモリが40GBほど必要なので、私の手元のマシンだと苦しいなぁ。