「LLM動かしました」だけ投稿するのもあれですが、こちらと同じノリで。

Hugging Faceに公開されているものであれば、ほぼ同じコードで動かせること、MLflowによって同じようにモデルを管理できることが伝われば幸いです。

ライブラリのインストールから。

%pip install mlflow==2.3.1
%pip install sentencepiece

Python

dbutils.library.restartPython()

Python

import torch
from transformers import AutoTokenizer, AutoModelForCausalLM

tokenizer = AutoTokenizer.from_pretrained("rinna/japanese-gpt-neox-3.6b", use_fast=False)
model = AutoModelForCausalLM.from_pretrained("rinna/japanese-gpt-neox-3.6b")

if torch.cuda.is_available():
    model = model.to("cuda")

text = "西田幾多郎は、"
token_ids = tokenizer.encode(text, add_special_tokens=False, return_tensors="pt")

with torch.no_grad():
    output_ids = model.generate(
        token_ids.to(model.device),
        max_new_tokens=100,
        min_new_tokens=100,
        do_sample=True,
        temperature=0.8,
        pad_token_id=tokenizer.pad_token_id,
        bos_token_id=tokenizer.bos_token_id,
        eos_token_id=tokenizer.eos_token_id
    )

output = tokenizer.decode(output_ids.tolist()[0])
print(output)

こちらと照らし合わせると合っている感じです。

西田幾多郎は、自らが「意識」の探求者であることを表明しています。そして、「意識」の探究は、対象に還元できない超越的な「自己」の探究につながっていくのだ、とも述べています。 僕は、一個の人間の「自己」には、様々な面があると思っています。 それは、「この世界」で生きる「自己」を超越したもの、というだけではありません。 人間には、無数の「自己」が存在しているのであり、「自己

前回同様モデルをロギングします。

Python

import mlflow
import transformers

# Define the components of the model in a dictionary
transformers_model = {"model": model, "tokenizer": tokenizer}
task = "text-generation"

# Log the model components
with mlflow.start_run():
    model_info = mlflow.transformers.log_model(
        transformers_model=transformers_model,
        artifact_path="text_generation",
        task=task,
    )

モデルカードもバッチリ。

モデルをロードして推論。

Python

# Load the components as a pipeline
loaded_pipeline = mlflow.transformers.load_model(
    model_info.model_uri, return_type="pipeline"
)

loaded_pipeline(["AIによって私達の暮らしは、"])

「しかし、」の後が気になります。

Out[4]: [[{'generated_text': 'AIによって私達の暮らしは、より便利で快適なものになるでしょう。 しかし、'}]]

Python

loaded_pipeline(["日本の首都は"])

Out[6]: [[{'generated_text': '日本の首都は東京ですが、その東京の人口が約1300万人です。 それ'}]]

Python

loaded_pipeline(["日本の最北端は"])

Out[7]: [[{'generated_text': '日本の最北端は、北海道の宗谷岬です。 宗谷岬は、日本最'}]]

何も調整しなくともいい感じですね。そして、いい加減ファインチューニング勉強しよう。

Databricksクイックスタートガイド

Databricksクイックスタートガイド

Databricks無料トライアル

Databricks無料トライアル