はじめに
日経新聞を呼んでいたら、Meta社がllama3を発表したという記事が掲載されていた。
エンジニア界隈で流行っているんだろうなと思ったが、思いのほかQiita記事がなかった。
Meta社が宣伝しているだけで、そこまで流行ってないのかもしれない。
ともかく、実はLLMモデルは自分のパソコン上で簡単に動かせる。
ollamaをインストール
Ollamaというコマンドラインツールをインストールする。あとはコレが全部やってくれる。
curl -fsSL https://ollama.com/install.sh | sh
Dockerもあるので、Windowsな人も試すことができます。
モデルのダウンロード
ollama pull llama3
プロキシ環境で作業している人は下のFAQを読むと回避できる。
実行
ollama run llama3
とても簡単である。これだけでllama3を試すことができる。
GPUがなくても十分に実用な速度で動きます！
llama3:70b も試すことができるが、流石に普通のデスクトップコンピューターだと重い。モデルも40GBあるから、ノートパソコンだと動かしづらいかもしれない。
少し試した印象だと決して日本語は得意ではないので、英語での利用が推奨される。
ちなみにQiitaのことは知っている。
llama3 の場合
llama3:70b の場合
情報の信憑性はほとんど期待できないが、それらしい文章を書く能力は優秀そうだ。
FizzBuzz
プログラミングの課題も少しやってもらう。
ここではRubyでFizzBuzzを書いてもらった。
llama3 の場合
llama3:70b の場合
このぐらいの難易度の課題であればさくっとやってくれそうである。
コード生成とローカルLLM
AIのプログラミング能力は非常に高く、すでに社会で広く使われている。
けれどもライセンスを考えると、気軽に使用できないシーンは多い。例えば、ChatGPTが書いたソースコードをMITとして公開していいのだろうか？ それはアウトであるとは思わないが、ややグレーゾーンである。場合によっては問題になるケースも出てくるかもしれない。
生成されたコードをOSSとして公開するのがグレーゾーンでも、レビューの使いみちは大きい。たとえばOSSとして公開しているソースコードをChatGPTにレビューさせるのは全く問題ないはずだ。
では、OSSではないコードを自由にChatGPTのサーバーにアップロードしても良いのか？
職場の方針やコードの著者のルールに従えばよいが、一般的にはNOであることが多いだろう。
こういった論点を観察すると、現状のWebサービスとしてのAIには課題があると思う。
- 「OSSなコードで学習していることが明確なLLMモデル」でのこーでぃんぐ
- 非公開のコードのローカルLLMモデルによるコードレビュー
には大きな需要があると思う。これらを解決できる簡単な方法の一つがローカルで動かせるLLMだと思った。
この記事は以上です。