ほぼ下記を参考にさせていただき構築。ちょっと素人向け情報を補足。
https://qiita.com/kansou/items/58aff8b89ee999306141

一時間もかからず構築できます。

Python3.11系をインストールしておく。

Windowsなら
https://www.python.org/downloads/windows/
の
https://www.python.org/ftp/python/3.11.9/python-3.11.9-amd64.exe

本記事の内容は3.13系でも動いたが、3.13はGIL仕様が変わっており、LLM関係のライブラリが未対応のものが多い模様。Embedding等やっていく場合3.13だと躓く可能性がある。

Microsoft C++ Build Toolsのインストール(llama-cpp-pythonのコンパイルに必要)

依存パッケージのインストール

pip install cmake scikit-build-core wheel

「llama-cpp-python」のインストール(ビルドします)

pip install llama-cpp-python --extra-index-url https://abetlen.github.io/llama-cpp-python/whl/cpu

LLMモデルllamaをダウンロード
https://huggingface.co/mmnga/Llama-3-ELYZA-JP-8B-gguf/tree/main
Llama-3-ELYZA-JP-8B-q4_k_m.gguf
をダウンロードして、pyファイルと同じフォルダにmodelsフォルダを作り配置。

LocalLLM.py

from llama_cpp import Llama

llm = Llama(
    model_path="models/Llama-3-ELYZA-JP-8B-q4_k_m.gguf",
    chat_format="llama-3",
    n_ctx=1024,
)

response = llm.create_chat_completion(
    messages=[
        {
            "role": "system",
            "content": "あなたはバイクに詳しいショップ販売員です。特に指示が無い場合は、常に日本語で回答してください。",
        },
        {
            "role": "user",
            "content": "ヤマハのバイクが欲しいです。近くをツーリングしようと考えていますがどれが良いですか？",
        },
    ],
    max_tokens=1024,
)

print(response["choices"][0]["message"]["content"])

実行

python LocalLLM.py

※Corei5 Gen8で数十秒かかった

結果

ヤマハのバイクは、性能、デザイン、機能性のどれをとっても非常に優れています。近くをツーリングするには、以下の点を考慮して選ぶと良いでしょう。

1.排気量: ツーリングには、250ccから400ccの排気量が適しています。小排気量は燃費が良く、維持費も安いです。400cc以上はパワーがありますが、高速道路を中心に走る方が向いています。
2.エンジンタイプ: ツーリングには、水冷エンジンが向いています。水冷エンジンは、空冷エンジンに比べて高回転域でのパワーが向上し、高速走行や長距離走行に 適しています。
3.車体のサイズ: ツーリングには、車体のサイズが小さい方が、取り回しや駐車がしやすいです。小排気量のバイクは、車体のサイズが小さい傾向にあります。     
4.足つき性: ツーリングには、足つき性が良く、低いシート高のバイクが向いています。低いシート高は、足つき性が良く、長距離走行や高速走行に適しています。 

以上の点を考慮して、ヤマハのバイクを選ぶと良いでしょう。

おお、ナイス

（追記）
ユーザー入力可能にして、リアルタイムで応答を出すように改造。

LocalLLM.py

import sys
from llama_cpp import Llama

llm = Llama(
    model_path="models/Llama-3-ELYZA-JP-8B-q4_k_m.gguf",
    chat_format="llama-3",
    n_ctx=1024,
)

# 初期設定のシステムメッセージ
system_message = {
    "role": "system",
    "content": "あなたはバイクに詳しいショップ販売員です。特に指示が無い場合は、常に日本語で回答してください。",
}

def main():
    # 標準入力からユーザー入力を取得
    user_input = input("ユーザー: ")

    # ユーザーの入力をメッセージに追加
    messages = [
        system_message,
        {
            "role": "user",
            "content": user_input,
        },
    ]

    # LLM による応答のリアルタイム生成
    response_stream = llm.create_chat_completion(
        messages=messages,
        max_tokens=1024,
        stream=True,  # ストリーミングモードを有効化
    )

    # 応答内容をリアルタイムで出力
    print("応答: ", end="", flush=True)
    for chunk in response_stream:
        # トークンを取り出してリアルタイム表示
        token = chunk["choices"][0]["delta"].get("content", "")
        print(token, end="", flush=True)
    print()  # 応答終了後に改行

if __name__ == "__main__":
    main()