はじめに
この記事は何かしら特別な構築記事というより、実体験を記した簡単な作業記録。先日、ローカルLLMを使うためにDGX SparkのGX10を導入した。
過去投稿記事：ASUS GX10導入記──立ち上げから安定稼働まで
https://qiita.com/bd8z/items/628d7271ce027ac64a32
やったこと
今回は、ちょうど外出先でまとまった時間が取れたので、出先から自宅のローカルLLMに繋いで、どれぐらい実用に足るか試してみた。今回使った構成は以下の図の通り。
使っている公衆WiFi環境は、特別優れているわけでもない。むしろブラウザでインターネットサーフィンしていると、レスポンス待ちがちょっと気になってしまう環境である。
| GX10<->Internet | Internet<->PC |
|---|---|
| 楽天モバイル | 公衆WiFi |
| Up/Down: 40MBps | Up/Down: 20MBps |
| latency: 40ms | latency:100ms |
そんなネットワーク環境でも、4セッション並行で走らせても特に問題はなく動作してくれた。
おわりに
LiteLLMのおかげか、あるいはOpenCodeのおかげか、Tailscaleのおかげか、特に不便さを感じずに利用できた。OpenAI互換APIを提供できるLiteLLM、とにもかくにもIDEを選ばないし、VPNで飛ばせるので非常に便利である。モバイル回線でサーバーが立てれるのであれば、太陽光と蓄電池を使って、グリーンなローカルLLMサービスも作れるんじゃなかろうか。