LLM-jp-4 が code 500 で動かない

エラー

Engine protocol predict stream returned an error: {"code":500,"message":"The model produced output that does not match the expected peg-native format","type":"server_error"}

設定を変更する

Chat Template 1か所目

モデルを読み込む際に Show advanced settings のスライドトグルをクリック

Chat Template のプルダウンをクリックする

元データはすべて削除し、以下を張り付ける

{%- for message in messages -%}
<|start|>{{ message.role }}<|message|>
{{ message.content }}<|end|>
{%- endfor -%}
{%- if add_generation_prompt -%}
<|start|>assistant<|message|>
{%- endif -%}

設定画面をすべて閉じる

Stop Strings（停止文字列）　2か所目

以下のデータを張り付けるか1行ずつ追加する
0x0d、0x0a で1行ごとか
shift-enter でテキストエディタでデータを直接貼り付ける

<|end|>

<|return|>

<|call|>

ここまでやってもエラー 400 は出るので、あくまで速度の目安を確認する程度と割り切って使うひつようがある。

以上。

本記事の YouTube 動画
https://youtu.be/ZqKXCOwsHmA