Qwenとは
Qwenとは、Alibaba（アリババ）が開発したLLMシリーズの一つで、優秀と評判のモデルです。
llama.cpp
llama.cppとは、LLMを、CPUだけで軽量かつ高速に動かせるようにするC++ライブラリです。
概要
以上の2つを利用してローカルにAIエージェントを作成し、日本語の文章作成をさせました。
結果
良い点
・出力が安定している。
・トークンを増やしても、認識してくれる。
悪い点
・めっちゃ文字化けする
・中国語をよく出力する
・出力結果や入力文を繰り返す
具体的な症状
中国で作成されたモデルのためか、中国語出力へ偏りが見られる
・日本語で聞いても中国語で出力される
・漢字が多いと、中国語と勘違いする
・単語を中国語で出力しようとする→文字化けする
→[対策] 同じ内容を再度出力してもらう（内部で日本語解釈をしてくれて修正される）
ひたすら繰り返す
・出力上限のトークン数に至るまで、出力を繰り返すことがわかった
→[対策] 出力を終了したら「。終了」と入力してもらい、後処理で消す
まとめ
- 現時点のQwenは正確な日本語出力には向いていない
- 精度や文脈を読み取ることはできるため、個人でのローカル利用はアリかも