Macbook Air M3 8GB向けOllamaモデルはqwen2.5-coder:3bが良さそう

ollama list

NAME                ID              SIZE      MODIFIED       
qwen2.5-coder:3b    f72c60cabf62    1.9 GB    5 minutes ago     
qwen2.5:3b          357c53fb659c    1.9 GB    16 minutes ago    

ollama run

ollama run qwen2.5-coder:3b

コマンドライン実行

$ echo "２０２６年のニュースを教えて" | ollama run qwen2.5-coder:3b  

申し訳ありませんが、私の知識の範囲は2021年までです。2026年の最新ニュースについては、最新の情報を得るためにWebサイト
やソーシャルメディアを確認してください。

echo "今日は何日" | ollama run qwen2.5-coder:3b
今日は2023年10月23日です。

echo "テトリスのルールを教えて" | ollama run qwen2.5-coder:3b

echo "テトリスのルールを教えて" | ollama run qwen2.5-coder:3b | ollama run qwen2.5-coder:3b

WebUIを利用する

• open-webuiを稼働させる

docker run -d \
  -e WEBUI_WORKERS=2 \
  -p 3000:8080 \
  -v openwebui:/app/backend/data \
  --name openwebui \
  --restart always \
  ghcr.io/open-webui/open-webui:main

• http://localhost:3000 にアクセス

searng を動かす

• 以下のように settings.yml を作成する。secret_keyの値はpwgenコマンドなどで適当に作成しておく。以下例

use_default_settings: true
server:
  secret_key: "jaf5aeCh Aineida3 AquaiJo8 cua3Aojo heiT5Ahg engea2Qu shoh6Pah Zofei5Hi"
search:
  formats:
    - html
    - json

docker run -d \
  -p 8080:8080 \
  -v $(pwd)/settings.yml:/etc/searxng/settings.yml \
  --name searxng \
  searxng/searxng

• http://localhost:8080/search?q=test&format=json

にアクセスし応答があることを確認。

クエリを以下。また言語をjaにする

http://host.docker.internal:8080/search?q=<query>

検索がうまくされない場合

ウェブ検索にチェックを入れる。
qwen2.5-coder:3bだとウェブ検索されない場合、qwen2.5:3bを用いてウェブ検索

qwen2.5:3b の出力例

ハレーションしまくる