はじめに

AnythingLLMは、コードやインフラストラクチャの煩わしさなしにRAGやAIエージェントなどを実行できる、オールインワンなAIアプリです。ローカルLLMに対応しているため、Ollamaなどを用いてRAGを手軽に試すことができます。

セットアップ

インストール

インストール方法は以下から選べます。

公式からDesktop版をダウンロードする
Docker版 Imageをダウンロードする
Docker版 Imageをビルドする

Desktop版とDocker版では機能に若干の違いがあります。

今回は3番目の方法を試します。
公式ドキュメントの通りに、以下のコマンドでdocker imageを作成して実行します。

git clone https://github.com/Mintplex-Labs/anything-llm.git
cd anything-llm
touch server/storage/anythingllm.db
cp .env.example .env
docker compose up -d --build

なお、 .env を環境に合わせて変更する必要はありません。後でWebUIから設定できます。
また、 docker-compose.yml に以下の様に追記してOllamaが同時に立ち上がる様にしておくと便利です。

services:
# ... (中略) ...
  ollama:
    image: ollama/ollama
    container_name: ollama
    ports:
      - 11434:11434
    volumes:
      - $HOME/.ollama:/root/.ollama
    networks:
      - anything-llm
    deploy:
      resources:
        reservations:
          devices:
            - driver: nvidia
              count: all
              capabilities: [gpu]

初期設定

dockerが立ち上がったら、 http://localhost:3001 にアクセスします。
初回は以下の様に表示されるので、Get started から先に進みます。

次は、LLMの選択画面です。今回は、Ollamaを使用するので選択して、Ollama Base URLを設定すると、利用可能なモデル一覧がChat Model Selectionに表示されますので、AnythingLLMで使用したいモデルを選択します。また、Token context windowsに値を設定します。
設定ができたら、→ を押して先に進みます。

Docker版のAnythingLLMはマルチユーザーやパスワードによる保護に対応しているので、必要な場合は設定します(今回は個人利用のパスワード無し)。

以上で初期設定は完了です。以下の様にLLMとEmbeddingとVectorDBが設定されたことが確認できます。EmbeddingとVectorDBを変更したい場合は、後から設定することになります。

アンケートの様なものがありますが、何も入力しなくても先に進めます。

ワークスペースの名前を入力すると、通常画面に進めます。

左下の工具アイコンから設定画面に進み、Embeddingのモデルをアプリ埋め込みモデルからOllamaのモデルに変えることもできます。

RAG実行

準備が整ったので、RAGを試してみます。

埋め込み

まず、ドキュメントを追加します。 upload a document や左側のアイコンからドキュメント管理画面に遷移します。

今回は、webから情報を取り込みたいので、 Data Connectors タブに移ります。
Bulk Link Scraper を選択し、対象のURL (今回は AnythingLLM のドキュメントサイト) などを設定して、Submitを押すと、Webに情報を取りに行ってくれます。

ダウンロードが終わると Documents タブの MyDocuments にファイルが追加されているので、 Move to Workspace を押して、workspaceに追加します。

その後、右下の Save and Embed を押すと、情報の埋め込みが行われます。

埋め込みが完了すると、以下の様な画面になります。

チャット

チャット画面に戻り、「どのモデルプロバイダが(AnythingLLMで)使えるのか」を聞いてみました。

KoboldCPP が Local LLM ではなく Cloud LLM になってしまった以外は正しく答えてくれました。

参照したドキュメントも表示されおり、その内容も確認できます。合わせて、元のwebへのリンクも上部にあります。

まとめ

AnythingLLMとOllamaでwebから情報を取得してRAGを実行してみました。一切コードを書かずに利用できるのは便利ですね。ローカルLLMを使うとEmbeddingモデルの用意に悩むこともありますが、最初からアプリに組み込まれているのも楽です (all-minilm-l6-v2 なので日本語は厳しいですが…)。