CodeLlamaを試してみる

概要

llama2に元に作成されたcodeing用のLLMであるCodeLlamaを動かしてみようと思います。

環境構築

vscodeの設定

vscodeのContinuというアドオンをインストールします。

llama.cppの構築

llama.cppのレポジトリをクローンして、ビルドします。

git clone https://github.com/ggerganov/llama.cpp
cd llama.cpp
make

次にHuggingfaceからモデルをダウロードします。

# 7Bのインストラクトモデルをダウンロードします。
cd path_to_llama.cpp/models/
wget https://huggingface.co/TheBloke/CodeLlama-7B-Instruct-GGUF/resolve/main/codellama-7b-instruct.Q8_0.gguf

モデルの起動

次のコマンドでローカルPC内にサーバを立ち上げます。

cd /path-to-llama.cpp/
./server -c 4096 --host 0.0.0.0 -t 16 --mlock -m models/codellama-7b-instruct.Q8_0.gguf

ブラウザを開いてlocalhost:8080にアクセスして、ちゃんと起動してるか確認しています。下の画像の画面が開けばOKです。

次に、Continueのタブ？を開いて、LLMのprovierをllama.cppにします。

そして、モデルの選択で、7bのCodeLlama Instructを選べば完了です。

好きなことをお話ししてみましょう。自分の環境では、11.57 ms/tokenほどで、結構サクサク答えてくれます。