宣伝
Flutterに関する技術ブログを運営しています。
ご興味のある方は、よかったらご覧ください♪
https://flutterdevelop.blog/
はじめに
Open Interpreterを使ってみたいけど、Webの情報は全てGPT-4を使ったものばかり。。。
無料で使えるLlama2を利用した方法はどこにも情報がありませんでした。
だったら仕方ないから、自分で調べるしかないよね！！
心配無用だとは思いますが、一応、、、
現在、Google Colaboratoryでは、画像AIの「Stable Diffusion」の使用が制限されています。
状況によっては今後「Open Interpreter」も制限がかかる可能性があります。
環境
実行環境：Google Colaboratory(無料版)
CPU：T4 GPU
手順
前段
公式の手順通りに、やってみると以下のようなエラーが発生します。
今回の手順はこれを回避できます。
１. open-interpreterをインストール
Google Colab にopen-interpreterをインストールします。
pip install open-interpreter
２. 環境の準備
使用するモデルはHugging Faceにある「TheBloke/CodeLlama-7B-Instruct-GGUF」です。
Google Colab で以下のコードを実行します。
import interpreter
!interpreter --model TheBloke/CodeLlama-7B-Instruct-GGUF
実行すると以下のメッセージが出力されます。
見えにくいですが、"See More"の下に入力フォームがあるので、好きなものを選びます。
ちなみに、私は何を入れてもSmallしか選択できませんでした。
何を入れると良いのかご存じの方はご教授ください。。
次は以下のメッセージが出力されます。
右側に入力フォームがあるので、「y」を入力します。
そうすると「Y」って言ってないけど、モデルのダウンロードが始まりました！！
「ラマのパッケージをインストールしていいか？」と聞かれるので、「ｙ」を入力します。
３. 命令実行
終わったみたいなので、命令を入力します。
「何したいか言ってや！！」と言われます。
日本語が入力できなかったので、試しに「Output Hello World」と入力します。
コードを実行してよいか聞かれるので「ｙ」と入力します。
出力できたみたいです。
「まだ何かやりたいことあるか！？」と聞かれましたが、疲れたので終了しました。
おわりに
結構レスポンスが遅いです。
また、メッセージも以下のように１ワードごとに１行使うためちょっと見にくいです。
Chat-GPTで動かしている記事を見ると、そんなに使いづらそうに見えないため、
工夫次第で、バリバリ実用的になるかもしれません！！
アドバイスがあれば、コメントください