LoginSignup
1
0

CodeLlamaを試してみる

Posted at

概要

llama2に元に作成されたcodeing用のLLMであるCodeLlamaを動かしてみようと思います。

環境構築

vscodeの設定

vscodeのContinuというアドオンをインストールします。

llama.cppの構築

llama.cppのレポジトリをクローンして、ビルドします。

git clone https://github.com/ggerganov/llama.cpp
cd llama.cpp
make

次にHuggingfaceからモデルをダウロードします。

# 7Bのインストラクトモデルをダウンロードします。
cd path_to_llama.cpp/models/
wget https://huggingface.co/TheBloke/CodeLlama-7B-Instruct-GGUF/resolve/main/codellama-7b-instruct.Q8_0.gguf

モデルの起動

次のコマンドでローカルPC内にサーバを立ち上げます。

cd /path-to-llama.cpp/
./server -c 4096 --host 0.0.0.0 -t 16 --mlock -m models/codellama-7b-instruct.Q8_0.gguf

ブラウザを開いてlocalhost:8080にアクセスして、ちゃんと起動してるか確認しています。下の画像の画面が開けばOKです。
スクリーンショット 2023-10-25 17.37.51.png

次に、Continueのタブ?を開いて、LLMのprovierをllama.cppにします。
スクリーンショット 2023-10-25 17.39.59.png

そして、モデルの選択で、7bのCodeLlama Instructを選べば完了です。
スクリーンショット 2023-10-25 17.40.23.png

好きなことをお話ししてみましょう。自分の環境では、11.57 ms/tokenほどで、結構サクサク答えてくれます。
スクリーンショット 2023-10-25 17.43.21.png

1
0
0

Register as a new user and use Qiita more conveniently

  1. You get articles that match your needs
  2. You can efficiently read back useful information
  3. You can use dark theme
What you can do with signing up
1
0