概要
ノートパソコンしかないけれど、ローカルな環境でチャットボットを作成してみたのでまとめます。
また、私は素人かつ初投稿なので説明やコードに至らない点もあるかと思いますがご了承ください。
目次
-llama_cppとは？
-前準備
-コード
-感想
llama_cppとは？
llama_cppはpythonのライブラリ。
名前にcppとあるように、このライブラリはC言語で記述されている。
モデルを読み込む際に量子化を用い、少ないbit数で読み込むことできる。
llama_cppはMeta社のllamaモデルに向けたライブラリであり、拡張子が.ggufのものであればllama_cppで読み込めた。
llama_cppについて調べると、llama_cppの主目的は「MacBook上で動作…」とでてくるが、私のwindows11環境でも動作できました。
前準備
私はデバイスはwindows、開発環境はVScodeを使用しました。
llama_cppをインストールする過程で、C言語のコンパイラやCmakeが必要になるので環境変数の調整やインストールを行う。
その後pip install llama-cpp-pythonを実行してllama_cppをインストールする。
コード
from llama_cpp import Llama
class LlamaAdapter():
def __init__(self,user_content):
model_path = "モデルのパスjapanese-stablelm-3b-4e1t-instruct-q2_K.gguf"
self.llm = Llama(model_path, chat_format="chatml-function-calling")
self.output = self.llm.create_chat_completion(
messages=[
{
"role": "system",
"content": """あなたは学校の先生です。
""",
},
{"role": "user", "content": user_content},
],
response_format={
"type": "text",
"schema": {
"type": "text",
},
},
max_tokens=100,
temperature=0.7,
top_p=0.3,
top_k=40,
stream=False,
)
def get_response(self):
return self.output['choices'][0]['message']['content']
def ask(user_content):
adapter = LlamaAdapter(user_content)
response = adapter.get_response()
return response
if __name__ == '__main__':
user_content = "ごきげんよう"
model_output1 = ask(user_content)
print(model_output1)
モデルの応答
入力：ごきげんよう
出力：元気でしょうか？
モデルへの入力はuser_content、プロンプトはcontentという変数で
渡しているので、適宜変更してください。
感想
ファインチューニングやプロンプト制御をしておらず、そもそものモデル自体コンパクトなので回答が淡泊。
日本語用に事前学習されているので日本語用にファインチューニングする必要が無く、私のように手っ取り早く日本語でAIと会話してみたい人にはちょうど良いのではと考える。
今後はGPUが十分にあるPCを用意して、より精度の良いモデルでファインチューニングやRAG、感情分析とそれに付随したlive2dモデルの挙動変化といったことに挑戦したい。
大学入学時から使用している生協パソコンでもLLMって動くんだなぁ
ここまでお読みいただきありがとうございました。