大規模言語モデルがリリースされたらとりあえず試す男、それが私です。
ライセンスはcc-by-nc-4.0。
そして、いつもこちらの方が早いです…。コードも参考にさせていただいています。
いつものようにGPUクラスターで以下を実行します。128GBメモリではOOMになったので256GBのg5.16xlargeにしています。
import torch
from transformers import AutoTokenizer, AutoModelForCausalLM
tokenizer = AutoTokenizer.from_pretrained("matsuo-lab/weblab-10b-instruction-sft")
model = AutoModelForCausalLM.from_pretrained("matsuo-lab/weblab-10b-instruction-sft",
torch_dtype=torch.float16,
device_map="auto")
text = "大規模言語モデルについて説明してください。"
text = f'以下は、タスクを説明する指示です。要求を適切に満たす応答を書きなさい。\n\n### 指示:\n{text}\n\n### 応答:'
token_ids = tokenizer.encode(text, add_special_tokens=False, return_tensors="pt")
with torch.no_grad():
output_ids = model.generate(
token_ids.to(model.device),
max_new_tokens=100,
do_sample=True,
temperature=0.5,
top_p=0.9
)
output = tokenizer.decode(output_ids.tolist()[0])
print(output)
以下は、タスクを説明する指示です。要求を適切に満たす応答を書きなさい。
### 指示:
大規模言語モデルについて説明してください。
### 応答:大規模言語モデルは、大量のデータから学習し、大量のデータに適用できる機械学習アルゴリズムを使用して、言語を理解するために使用されます。大規模言語モデルは、多くの場合、言語の認識、分類、
恒例の質問。
text = "Databricksについて説明してください。"
text = f'以下は、タスクを説明する指示です。要求を適切に満たす応答を書きなさい。\n\n### 指示:\n{text}\n\n### 応答:'
token_ids = tokenizer.encode(text, add_special_tokens=False, return_tensors="pt")
with torch.no_grad():
output_ids = model.generate(
token_ids.to(model.device),
max_new_tokens=100,
do_sample=True,
temperature=0.5,
top_p=0.9
)
output = tokenizer.decode(output_ids.tolist()[0])
print(output)
以下は、タスクを説明する指示です。要求を適切に満たす応答を書きなさい。
### 指示:
Databricksについて説明してください。
### 応答:Databricksは、データ分析と機械学習のためのオープンソースプラットフォームであり、Apache Sparkのベースとなるもので、データをリアルタイムで処理し、大規模なデータセットを迅速に分析できるようにします。Databricksは
いい感じですね。