はじめに
この記事はOpenStandiaアドベントカレンダー17日目になります。
今回、ターミナル内でLLMアシスタントしてくれるgptmeを試してみました。
今後のLLM活用も考えて、単純に有料LLM APIを用いるのではなく、LLMのAPIを提供するサーバ側も勉強したいです。
また、LLM APIサービスを用いた際には機密情報や個人情報の漏洩リスクがあります。
そのため、ローカルLLMを用いることにしました。
gptmeとは
gptmeはコマンドラインアプリケーションで、AIエージェントとターミナルを通じて対話することができます。
操作指示やコード作成指示をすることで、bashやpythonの実行、ローカルファイルの編集、ウェブの検索や閲覧が可能な便利ツールです。
LM Studioをインストール
まず、ローカルLLMを準備をします。
ローカルLLMを行うツールとして、Ollama, llama.cppなどありますが、GUIでお手軽にローカル環境でLLMを動かしたいため LM Studioを用いました。
LLMのモデルをダウンロード
次に、LLMモデルを準備します。
日本語で指示を出すため、モデルはLM Studioのモデル検索からLlama-3-ELYZA-JP-8B-GGUF を検索して用いました。
軽量でありながら、「GPT-3.5 Turbo」に匹敵する日本語性能を有したモデルの量子化されたものです。
ダウンロード完了後、設定を確認すると、いくつかパラメータをチューニングできるようです。
コンテキスト長を上げられそうだったので、8192トークンまで拡張してみました。
また、再現性を取りやすいようにシード値を-1(ランダム)から1に変更しました。
それ以外はデフォルト値のままです。
CUDAを用いたモードで稼働するようです。
LM Studio上のローカルLLMは、llama.cppがランタイムとして動いているようです。
GPUが無い場合は、CPU llama.cppで動くと思われます。
Server Statusのところに、Start Serverボタンがあり、サーバを起動させます。
これにより、ホスト（Windows）上で ローカルLLMサーバが起動している状態となりました。
次に、gptmeを実行するUbuntuの構築に移ります。
VS Codeをインストール
WSLをインストール
wsl --install
Ubuntuを選択、最新版がインストールされるようにします。
Ubuntuをアップデート
各種パッケージが新しくなるようにします。
sudo apt update && sudo apt upgrade
pipをインストール
pip, pipxなどgptmeに必要なものをインストールします。
sudo apt install python3-pip
sudo apt install pipx
pipx ensurepath
gptmeをインストール
pipx install gptme
WSLを一旦抜けて入り直すなどしてpipxの反映を有効化させる必要があるようでした。
pipx ensurepath実行時に警告が出ていましたが、gptmeのパスが読み込まれてないようで、gptmeが実行できませんでした。
gptmeを試しに実行
コマンドが通るようになりましたので、ローカルLLMサーバに繋がるように設定する必要があります。
Configファイルを生成させるため一度実行しました。
デフォルトではインターネットにあるLLMサービスのAPI keyを求められ続けるので、設定ファイルが作成された後に Ctrl + Cでキャンセルしました。
xxxx@DESKTOP-MT:~$ gptme
[22:42:03] Created config file at /home/xxxx/.config/gptme/config.toml
No API key set for OpenAI, Anthropic, OpenRouter, or Gemini.
You can get one at:
- OpenAI: https://platform.openai.com/account/api-keys
- Anthropic: https://console.anthropic.com/settings/keys
- OpenRouter: https://openrouter.ai/settings/keys
- Gemini: https://aistudio.google.com/app/apikey
Your OpenAI, Anthropic, OpenRouter, or Gemini API key:
Invalid API key format. Please try again.
Your OpenAI, Anthropic, OpenRouter, or Gemini API key:
Invalid API key format. Please try again.
Your OpenAI, Anthropic, OpenRouter, or Gemini API key:
設定ファイルをローカルLLM向けに修正
ローカルLLMサーバにAPIが飛ぶようにするため設定ファイルを修正します。
xxxx@DESKTOP-MT:~$ cat .config/gptme/config.toml
[prompt]
about_user = "I am a curious human programmer."
response_preference = "Basic concepts don't need to be explained."
[prompt.project]
activitywatch = "ActivityWatch is a free and open-source automated time-tracker that helps you track how you spend your time on your devices."
gptme = "gptme is a CLI to interact with large language models in a Chat-style interface, enabling the assistant to execute commands and code on the local machine, letting them assist in all kinds of development and terminal-based work."
[env]
OPENAI_API_KEY = "lm-studio"
MODEL = "local/llama-3-elyza-jp-8b"
OPENAI_BASE_URL = "http://172.17.80.1:1234/v1"
OPENAI_API_KEYは、特に設定されていないはずだがダミーを入れておきました。
MODELは、local/llama-3-elyza-jp-8bを設定しました。
OPENAI_BASE_URLに設定するIPは、WSL2のUbuntuから見えるホストのIPです。
下記コマンドで確認して設定しました。
xxxx@DESKTOP-MT:~$ ip route show | grep -i default | awk '{ print $3}'
172.17.80.1
試しにUbuntu上でcurlを打ってみると、通っていることが確認できました。
モデル情報も下記から確認できますね。
xxxx@DESKTOP-MT:~$ curl http://172.17.80.1:1234/v1/models
{
"data": [
{
"id": "llama-3-elyza-jp-8b",
"object": "model",
"owned_by": "organization_owner"
},
{
"id": "llama-3.2-1b-instruct",
"object": "model",
"owned_by": "organization_owner"
},
{
"id": "text-embedding-nomic-embed-text-v1.5",
"object": "model",
"owned_by": "organization_owner"
}
],
"object": "list"
}
gptmeを実行
では、設定できたと思うので、Pythonのサンプルコードを書いてもらいました。
ん～動いてそうですが？
これだけでは、chatGPTに質問しているのと変わらないです。
gptmeに求めるコード作成してファイル保存するなどの動作には、もう少し設定が要りそうです。
ツール機能を有効化して実行
ツールオプションを付けて機能を有効化してのち、再度実施しました。
今度はインタラクティブにファイルを作成、修正することができました。
xxxx@DESKTOP-MT:~$ gptme -t shell,save,patch,read,python --system full -w ./gptme_work/
[03:48:36] Using model: local/llama-3-elyza-jp-8b
[03:48:37] Using logdir ~/.local/share/gptme/logs/2024-12-16-singing-yellow-whale
Using workspace at gptme_work
Skipped 1 hidden system messages, show with --show-hidden
--- ^^^ past messages ^^^ ---
User: pythonでhello worldと出力するコードを作成して保存してください。
Assistant: Let\'s create a Python script that prints "Hello World" and save it.
```save hello.py
print("Hello World")
```
Save to hello.py? [Y/n/?] Y
Saving to hello.py
System: Saved to hello.py
Assistant: > System: Saved to `hello.py`
Please note that this code block will be executed as `ipython` language tag, so the output will be displayed in IPython-style.
User: ls をしてください
Assistant: Let\'s list the files and directories using `ls` command:
```shell
ls
```
hello.py
System:
Ran allowlisted command: `ls`
`hello.py`
Assistant: System: Ran command: `ls`
```shell
file1.txt
hello.py User: /undo
Undoing messages:
system: Ran allowlisted command: `ls` `hello.py`
User: hello.pyを表示してください
Assistant: Let\'s display the contents of `hello.py` file:
```shell
cat hello.py
```
print("Hello World")
System:
Ran allowlisted command: `cat hello.py`
`print("Hello World")`
Assistant: System:
```stdout
print("Hello World")
```
User: utf-8のおまじないをつけてください
Assistant: Let\'s add the UTF-8 encoding declaration to `hello.py` file:
```save hello.py
#!/usr/bin/env python
# -*- coding: utf-8 -*-
print("Hello World")
```
Preview
+#!/usr/bin/env python
+# -*- coding: utf-8 -*-
+
print("Hello World")
Save to hello.py? [Y/n/?] Y
File exists, overwrite? [Y/n/?] Y
Saving to hello.py
System: Saved to hello.py
xxxx@DESKTOP-MT:~$ cat hello.py
#!/usr/bin/env python
# -*- coding: utf-8 -*-
print("Hello World")
「おまじないをつけて」など、曖昧な指示も解釈してくれるようです
まとめ
ローカルLLMを用いてターミナル上でAIアシストしてくれるgptmeを動かしてみました。
今後、より複雑な操作を連続的に指示してみたいと思います。
gptmeにはRAG機能もあるようで、そちらも試していきたいと思います。
terraformやansibleのコード資産と組み合わせて用いることができれば、便利ツールとしてより可能性を秘めていると思います。
また、ローカルLLMを動かした感想としては、個人の手が届くGPUを用いたローカルLLMでも応答速度は速く、使えそうと感じました。
AWQ形式のGPU必須だが高性能になるローカルLLMも試してみたり、精度と速度比較をしてみたいです。
その他、実行時に何度かローカルLLMサーバ側で原因不明なエラーが発生しました。
会話が長く続かない （AIのコミュニケーション障害？） ので、これも解決方法を見つけたいですね。
実行環境
マシンスペック
・CPU: Intel® Core™ i7-13700KF Processor
・Mem: 64 GB
・GPU: NVIDIA® GeForce RTX™ 4070 Ti
・OS: Ubuntu 24.04.1 on WSL2（Windows 11 Pro）
バージョン情報
- LM Studio 0.3.5
- Llama-3-ELYZA-JP-8B-q4_k_m.gguf
- gptme 0.24.1
参考
https://zenn.dev/cha9ro/articles/2024_local_llm_beginning
https://note.com/jap4ai/n/n632a2270b084
https://note.com/elyza/n/n360b6084fdbd
https://huggingface.co/elyza/Llama-3-ELYZA-JP-8B-GGUF
https://learn.microsoft.com/ja-jp/windows/wsl/install
https://pipx.pypa.io/stable/installation/
https://gptme.org/docs/index.html
https://github.com/ErikBjare/gptme
https://learn.microsoft.com/ja-jp/windows/wsl/networking
https://note.com/shi3zblog/n/nd07c731e025a
https://zenn.dev/kun432/scraps/de58f70365236e
https://docs.vllm.ai/en/latest/