ObsidianにローカルLLM(無料) Llama-3-ELYZA-JP-8Bを使ったチャット機能を実装してみた！

モチベーション

sangminさんのTwitterをみてObsidianに生成AIを入れてMarkdown管理してみたいと思ったので、やってみました！
3時間で実装できました！

動作環境

• windows11
• CPU Intel Core i7-13700KF
• GPU NVIDIA GTX 4060 (VRAM 12GB)

1．Obsidianと必要なプラグインをインストールする

1. どちらかのサイトの通りインストールする
   • 最低限の機能でいい派

• カスタムしたい派

• pluginsはgithubではなく、Obsidian Plugins ページからインストールするほうが楽。

2. Llama-3-ELYZA-JP-8Bをobsidianでも使えるようにセットアップする

1. ollamaをインストール　https://ollama.com/
2. 以下サイトを参考に、Llama-3-ELYZA-JP-8Bをインストール

1. 試しにOllamaが使えるかOllamaのサイトに載っているllama2で実行/動作確認してみる(飛ばしてもOK)
   • Ollama での Llama2 の実行

   ollama run llama2:7b-chatpulling
   

   >>> who is ohtani shohei?
   
   Ohtani Shohei (大谷翔平) is a Japanese professional baseball player who currently plays as a pitcher and batter
   for the Hanshin Tigers in Nippon Professional Baseball (NPB). He is widely regarded as one of the greatest players
   in Japanese baseball history, known for his exceptional skill on both the mound and at the plate.
   

2. Llama-3-ELYZA-JP-8Bのインストール
   • ModelFileと.ggufファイルのフォルダ構造。同じディレクトリに置くと楽。
3. Ollamaモデルの作成

ollama create elyza:jp8b -f Modelfile

1. モデルの実行

ollama run elyza:jp8b

1. Llama-3-ELYZA-JP-8Bモデルでコマンドラインでチャットしてみる

code\local_llm\Llama-3-ELYZA-JP>ollama run elyza:jp8b
>>> 大谷翔平とは？
大谷翔平（おおたに しょうへい）は、日本のプロ野球選手です。北海道日本ハムファイターズに所属し、投手と打者二刀流でプ
レーしています。

1. nomic-embed-textのダウンロードとインストール
   https://ollama.com/library/nomic-embed-text

ollama pull nomic-embed-text

1. obsidian に Copilot プラグインをインストールする。
   • 参考：

• ollama を終了する
  • タスクマネージャーからすべての実行中の ollama を終了する。
  • Copilot のPluginsをインストール
  • obsidianの設定→Copilot
  1. デフォルトのモデルをollama(local)に設定
     image.png
  2. Embedding Modelsをnomic-embed-textに設定
     ![[Pasted image 20240825181619.png]]
  3. ollama モデルを elyza:jp8bに設定
  4. savere loadする

1. obsidianでのLlama-3-ELYZA-JP-8Bを使ってチャットしてみる。
2. サーバの起動

   set OLLAMA_ORIGINS=app://obsidian.md*
   

   ollama serve
   

3. 実行してみる
   うそじゃん。。。。
   

感想

• 達成感あって楽しかった。ローカルLLMを初めて触れてよかった
• 日本語だとChatgpt4.0のほうがだいぶ賢い
• 元のllama3だと結果は違うかも
• 無料や機密事項をあつかう場合はアリだけど、ChatGPTを使うほうがクオリティは高い
  

追記

• llama3.1を入れて大谷翔平を再チャレンジしてみた

ollama run llama3.1

set OLLAMA_ORIGINS=app://obsidian.md*

ollama serve