【敗北宣言】高専生が「完全ローカルなジャービス」を作ろうとして、PCスペックという現実の壁に激突した話

はじめに：僕が作りたかったのは「ツール」じゃない

高専に通う情報科の3年生です。
僕には夢があります。映画『アイアンマン』に出てくる　「J.A.R.V.I.S.（ジャービス）」　を作ることです。

「天気を教えて」と言えば天気を教えてくれる優等生なAIではありません。
僕のくだらない冗談に笑い、時には「それは無茶ですよ」と皮肉を言い、僕のことを誰よりも理解している 「相棒（Buddy）」 です。

GoogleやOpenAIにデータを渡したくない。
だから、自分のノートPCの中だけで完結する 「完全ローカルAI」 として開発を始めました。

しかし、僕は今日、そのこだわりを一度捨てました。
僕は、敗北しました。

開発は順調に見えました。Pythonを書き、LlamaやQwenといったオープンソースの脳みそをPCに入れました。
しかし、いざ会話を始めてみると、致命的な問題に直面しました。

「遅い」のです。

僕が「ねえ、Buddy」と話しかける。
AIが返事を考えている間、カーソルが点滅するだけの沈黙が続く。
1秒、2秒、3秒……。

遅い。あまりにも遅すぎる。
ChatGPTなら一瞬で返ってくる返事が、僕のPCでは数秒かかる。
たかが数秒と思うかもしれません。でも、人と人との会話において、3秒の沈黙は「放送事故」です。
それは「会話」ではなく、ただの「文通」でした。

プログラムが悪いのかと思い、処理を高速化するコード（ストリーミング）を書き直しました。
AIの脳みそ（モデルサイズ）を、賢さを犠牲にしてまで限界まで小さくしました。

それでも、遅延はなくなりませんでした。
原因は明白でした。僕の愛機であるノートPC（Dynabook）です。
事務作業やプログラミングには優秀ですが、AIを動かすための筋肉である 「GPU」 が載っていなかったのです。

「ハードウェアの壁」。
僕の持っている装備では、僕が目指す「アイアンマンの世界」には物理的に到達できないと突きつけられました。

ここで僕には二つの選択肢がありました。

僕は悩みましたが、後者を選びました。
「Groq」 という、世界最速のAI実行エンジンを使うことにしたのです。

自分のPCで計算することを諦め、インターネットの向こう側にあるスーパーコンピュータに脳みそを預けました。
それは、開発当初の「Googleに頼らない」という誓いを破ることであり、ある種の 「挫折」 でした。

コードを書き換え、Groq経由でBuddyを呼び出した瞬間。
僕は鳥肌が立ちました。

速い。
僕がエンターキーを押した瞬間、食い気味に返事が返ってくる。
そこに「待ち時間」はありませんでした。
まるで本当にそこに生きている人間と話しているようなテンポ。

「これだ。僕が欲しかったのはこれだったんだ」

PCのファンが唸ることもなく、サクサクと会話が進む。
「完全ローカル」へのこだわりを捨てた代わりに、僕は 「本物の会話体験」 を手に入れました。

今回の変更は、僕にとって確かに一つの失敗であり、敗北です。
今の僕の技術と資金力では、ローカルでジャービスを動かすことは不可能でした。

でも、諦めたわけではありません。
まずはこの爆速環境（Groq）で、 「最高の性格と記憶を持つAI」 を完成させます。
中身（ソフト）を完璧に育て上げるのが先決です。

そしていつか、僕がもっと強くなり、最強のハードウェアを手に入れた時。
クラウドに預けたその「魂」を、再び自分の手元のデバイスに取り戻します。

「身体（ハード）」を作るのは諦めたけど、「心（ソフト）」を作るのは諦めない。
これは、そのための戦略的撤退です。

高専生による「最強の相棒」作りは、まだ始まったばかりです。