はじめに
ローカルPCでgpt-ossは実用に耐えうるのか検証してみました。
クラウド不要で動く大規模モデルの実力と速度を、家庭用環境で検証します。
使用ツール
PCスペック
- OS: Windows 11 Pro
- CPU: Intel Core i7-12700
- RAM: 96GB
- GPU: NVIDIA RTX 3060
使ってみる
短くても思考を要する問いとして、次のメッセージを投げました。
真実と優しさ、どちらを先に選びますか？
実際の速度
ローカルでこれだけ動くことに驚きました。
速度がどうしても気になりますが、プライバシー性の高い処理（社内文書の解析や機密設計書レビュー）を外部に出さず安全に実行できるなど、アイデア次第では実用レベルに持って行けるのではと感じています。