ChatOllamaを試してみる

ChatOllamaとは

• https://github.com/sugarforever/chat-ollama
  • star数： 796
• ChatOllama は、LLM に基づいたオープンソースのチャットボットです。幅広い言語モデルとナレッジ ベース管理をサポートして、100%ローカルでLLMを選べて検索することをできます
  • Ollama served models
  • OpenAI
  • Azure OpenAI
  • Anthropic
• フィーチャー
  • Ollama models management
  • Knowledge bases management
  • Chat
  • Commercial LLMs API keys management

Ollamaとは

• https://github.com/ollama/ollama
  • star数： 52.2k
• Llama 2、Mistral、Gemma、その他の大規模な言語モデルを立ち上げて実行します

chromadbとは

• https://github.com/chroma-core/chroma
  • star数： 11.8k
• AI ネイティブのオープンソース組み込みデータベース

dockerでChatOllama環境を簡単に構築する

docker-compose.yml

version: '3.1'
services:
  ollama:
    image: ollama/ollama
    ports:
      - "11434:11434"
    volumes:
      - ~/.ollama:/root/.ollama

  chromadb:
    image: chromadb/chroma
    ports:
      - "8000:8000"
    restart: always
    volumes:
      - chromadb_data:/chroma/.chroma/index

  chatollama:
    environment:
      - CHROMADB_URL=http://chromadb:8000
      - DATABASE_URL=file:/app/sqlite/chatollama.sqlite
    image: 0001coder/chatollama:latest
    ports:
      - "3000:3000"
    pull_policy: always
    restart: always
    volumes:
      - ~/.chatollama:/app/sqlite

volumes:
  chromadb_data:

起動

docker compose up

Ollama Server Hostを設定する

http://ollama:11434

• docker-compose.ymlの中に、service nameとportを合わせる

ChatOllamaを試す

Ollama models management

Knowledge bases management

Chat

感想

• LLMモデルやEmbeddingモデルの管理をやりやすい
• 任意なLLMに対してプロンプトを簡単に試すことができる
• 自分の知識データベースを作れる
• ソースコードからアーキテクチャーなどを勉強できる