Delphi 12.2から利用できるようになったスマート支援機能ですがOllamaで公開されているcodeLlamaでは日本語で出力されませんでした。

そこで，codeLlamaで日本語が使えるようにしたモデルがないか調べてたところELYZA-japanese-CodeLlama-7bを見つけました。

ELYZA-japanese-CodeLlama-7bは，ELYZA社が提供するcodeLlamaに日本語の追加学習をしたモデルで，ELYZA-japanese-CodeLlama-7b-instructは事後学習もしているそうです。Hugging Face https://huggingface.co/ で公開されていました。しかし，Ollamaですぐ使えるものは公開されていませんでした。
そこで，ELYZA社が提供するLlamaをOllamaで動かす手順を開設する記事を見つけ，ggufファイルがあれば可能なのではないかと思いつきました。

再度Hugging FaceでELYZA-japanese-CodeLlama-7bのggufファイルが提供されていないか調べたところ

を見つけました。Ollamaを使ってダウンロードし利用できるコマンドがそちらで公開されています。

いくつか量子化のバリエーションがあるので，どれを使えばよいか迷ったのですが，こちらの記事を参考に選択しました。

試すだけであればまずはQ2_Kでしょうか。試したのですがうまく動かず，Q5_K_Mで動作を確認しました。

と同じようにOllamaのプラグインで指定するモデル名を
hf.co/mmnga/ELYZA-japanese-CodeLlama-7b-instruct-gguf:Q2_K
に変更すれば利用できます。

関数一つを対象にして試してみたところ，モデルはVRAMに収まっていたのですがcodeLlamaより処理に結構な時間がかかりました。出力された内容もちょっと怪しいです。
かなり長いプロンプトを処理を始める前に渡しているようで，日本語にはそれが反映されないのではないかと感じました。

日本語での運用にはまだ課題がありそうですが，別のLLMモデルを試すことができて興味深かったです。

皆様の参考になれば幸いです。使い方などで問題があればお知らせいただけるとありがたいです。