はじめに
この記事は、Phi-3をローカル環境で使用するために、行った手順を記録したものです。インストールしたPhi-3は以下のPhi-3 Mini-4K-Instructとなります。
準備
管理フォルダを作成
ダウンロードのフォルダの中に、"textAI"というフォルダを作成する（フォルダ名は何でもよい）
ソースコードを記述（コピーだけでよい）
"Sample inference code"という項目があるので、そこにあるソースコードをコピーして、張り付けるだけ。
ソースコードを保存して、実行するだけ（ファイル名は拡張子が".py"であればなんでもよい）
実行
プログラムにあるmessagesに質問したい内容を入力して、実行すれば、その質問に対する回答をphi-3がしてくれる。
例
messages = [
{"role": "system", "content": "You are a helpful digital assistant. Please provide safe, ethical and accurate information to the user."},
{"role": "user", "content": "ごはんのおかずを教えて?"},
]
コマンドプロンプトまたはPowerShell上で、実行するだけ。
回答例
ごはんのおかずについて、安全で倫理的な情報を提供します。ごはんのおかずは多岐にわたりますが、以下にいくつかの代表的なおかずを紹介します。
1. 味噌漬物 (Miso pickles): 野菜や海藻を味噌で漬けたもので、健康的な代替食材として推奨されます。
2. 天ぷら (Tempura): 海老、野菜、その他の食材を衣にくぐらせて衣を取り除き、揚げた料理です。
3. おにぎり (Onigiri): ご飯を中心にした塩味の具材を包み、簡単で健康的なおかずです。
4. 刺身 (Sashimi): 新鮮な魚介類を細切りにして食べる料理で、栄養価が高いですが、生の魚介類を使用する場合は、その魚の排水 量に注意してください。
5. 刺身寿司 (Sushi): 魚介類を酢飯で包んだ料理で、健康的で美味しいですが、魚介類の排水量に注意してください。
これらのおかずは、食事のバランスを考慮して、適量を摂ることをお勧めします。また、食材の調理
あとはこのソースコードの内容をもとに、作りたいサービスに適応するだけのはず。
参考画像
GPUはフルマックスで使用されています。実行してすぐ回答を得られるだけのスペックにないことや回答される量によると思いますが、ある程度時間が必要です。
その他
エラー
参考に載せているだけ。
エラーの内容
AssertionError: Torch not compiled with CUDA enabled
以下の記事の解決方法を実行したら、エラーなく、実行することができた。
CUDAが利用可能の状態になっているかを確認するコード
import torch
# CUDAが利用可能かどうかを確認
cuda_available = torch.cuda.is_available()
if cuda_available:
print("CUDAが利用可能です。")
# 利用可能なCUDAデバイスの数を表示
print("利用可能なCUDAデバイスの数:", torch.cuda.device_count())
# 利用可能なCUDAデバイスの名前を表示
print("利用可能なCUDAデバイスの名前:", torch.cuda.get_device_name(0))
else:
print("CUDAは利用できません。")
スペック
OS：Windows11
プロセッサ：AMD Ryzen 5 4500 6-Core Processor 3.60 GHz
RAM：32.0GB
システムの種類：64 ビット オペレーティング システム、x64 ベース プロセッサ
グラフィックボード：NVIDIA GeForce RTX 4060 8.0GB
pythonバージョン：Python 3.10.6
Phi-3