Interface誌 2026年11月号「AIエージェント実装術」のオフ会で、「手ぶらでClaude Code」というライトニングトークをしました。話した内容を文章にまとめます。
AIは賢い。でも一般の人には使いにくい
AIは本当に賢くなりました。でも実際に使ってみると、なんだか使いにくい。
人とAIのあいだのインターフェイスを少しずつ工夫してみると、AIを使いやすくできる形ができてきたので、ボイスターミナル（VoiceTerminal）というMacアプリを一般公開しました。この記事では、その工夫の過程を紹介します。
AIを使いにくくしているもの
AIそのものは十分に賢くなりました。ボトルネックになっているのは、人とAIのあいだのインターフェイスです。
- どんなに速くキーボードを打てても、文字を打っているあいだ思考が止まってしまう
- AIは話が長い。人間が理解するのに時間がかかってペースが狂う
- 頭の中のイメージが、言葉ではなかなかAIに伝わらない
- AIに渡す情報は、いまだにテキストかファイル添付が中心
- 仕事の前提となる共通認識がAIと合わない。過去のことを忘れがちで、情報を連想してくれない
人が人に何かを伝えるときは、頭の中のイメージを言葉にして話すだけでなんとかなります。ところがコンピューターが相手だと、キーボードで打つ、ファイルで渡す、という手数が加わります。これはコンピューターの都合に人間側が合わせている手数です。そして、その手数のあいだに、こちらの考えが途切れてしまうのです。
エンジニアでさえそうなのですから、一般の人の苦労は計り知れないものがあります。
どうやって解決するのか
この使いにくさをどうやって解決するのか。「会話の3本柱」を作ることにしました。
- AIとのやりとりの間（ま）を縮める。人間の考えが途切れないようにするためです。
- 視覚も使ってやりとりする。頭の中のイメージが伝わるようにするためです。
- 過去の経緯から話を連想できるようにする。AIに人間との共通認識を持たせるためです。
やりたいのは「正確に言葉にできないものを素早く伝えること」です。頭の中にはあるのに言語化できない事。それを話しながら、見せながら、何度もヤリトリして少しずつ伝えていく。そんな状態を目指しました。このような細かい会話の往復をキーボードでやろうとすると大変です。
会話ハーネスをClaude Codeに接続する
- スムースな会話：話しながら考えをまとめられる。壁打ちができるくらいの会話の速さ
- ビジュアル：言葉にできないものは見せる。AIのほうも図で見せ返してくる
- 共通認識：過去の経緯を憶えていて、短い言葉でも通じて類推してくれる
この3つを備えた会話ハーネスがVoiceTerminalです。
Claude Code本体の周りに、パズルのピースのようにはまる「ハーネス」を用意しました。青が会話、紫がビジュアル、緑が共通認識です。
MacやiPhoneのマイクが耳、スピーカーやイヤホンが口、カメラが目、そしてObsidianなどの知識の置き場が記憶になります。簡単に手に入る道具をつなぐだけでAIとの会話の形が変わります。
1つずつ見ていきましょう。
会話
キーを打たずに声で頼めるので、考えながら話せます。声でのやりとりには、つまずきやすいところがいくつもあるので、次のような工夫をしています。
- 声紋認識で本人以外の声をカットする
- AIの長い返事は要点だけを声で報告させる
- 複数AIの声を変えることで誰が話しているか分かるようにする
- AIが黙り込まないようにする
- 人前でも恥ずかしくないようにiPhoneを耳に当てて電話のように話せるようにする
AIが黙り込まないようにする工夫は特に効果がありました。頼んでからすぐにローカルAIが頼んだ内容を復唱します。時間がかかる作業なら「3分ほどかかるよ」と先に伝え、作業中にも要所で一言はさみます。終わったら要点だけを伝えて、人間が外出中ならiPhoneに通知を届けます。待たされている感覚がなくなると会話のテンポが崩れません。
ビジュアル
言葉で伝わらないものは見せてしまえばいいという考え方です。画像ファイルという概念を使いません。
- AIのほうから「見せてほしい」と頼んでくる
- 紙のメモも手元の部品も、Mac/iPhone内蔵カメラで「これ見て」と見せられる
- AIが仕上げたデザインを画面に出して、それを見ながら壁打ちする
AIは長く説明する代わりに、図を描いて画面に出します。こちらが見せて、AIが見せ返す。この繰り返しで頭の中のイメージが少しずつ形になっていきます。
たしかに内部的には画像ファイルのヤリトリなのですが、人間がファイルを直接操作しないことで「ファイルという概念」を意識させないようにしています。
共通認識
AIは忘れます。だから毎回、前提をファイルで渡すことになる。これもコンピューターの都合です。そこで、次のようにしました。
- 人間とのヤリトリの中で大切だと思うことをAIが自分で憶える
- 別のプロジェクトでも使える汎用的な知識はObsidian（外部記憶）に大量に記憶する
- 知識どうしを自動でリンクする（言葉の類似ではなく、内容の類似性でリンク）
- コンテキストが増えてきたら、AIのほうから「休みたい」と言わせる
会話のコンテキストが膨らんでくるとAIはボケてきます。人間が疲れたら背伸びをしてリフレッシュするように、VoiceTerminalも疲れてきたら自分から「リフレッシュしていい？」と聞いてきます。休む前に現状をメモして、リフレッシュ後も経緯をつないで続きから始めてくれます。保存した大量の記憶は類似性リンクを相互に持っているので「このあいだのアレ」といった短い言葉でも話が通じやすくなります。
会話ハーネスでClaudeを囲む
3本の柱の部品をまとめると、Claude Codeの周りをパズルのピースが囲む形になります。この組み合わせによって、言葉にしきれないものも伝わるようになってきました。
実際に使っている様子
使っているイメージを動画にしました。ポスターの下書きを見せて、声で手直しを頼み、iPhoneから電話のように指示して仕上げていく様子です。外出先でも電話のメタファで「後輩に指示を出しているように」利用できるので恥ずかしくありません。
VoiceTerminalの画面
Mac版アプリの画面です。左にスライドや図などのビジュアル情報、右にClaude Codeが並びます。会話で壁打ちしながら、左の画面の結果がどんどんライブで変わっていきます。claude.aiのアーティファクトに近いですが、よりダイナミックな使い心地です。
作業を外出先に持ち出すリモート端末がiPhoneです。Macの画面の縮小版を見ながら作業を確認し（ビジュアルも見えます）iPhoneを耳に当てて電話のように会話すると、返事の要点が声で返ってきます。周りからは電話をしているようにしか見えません。
iPadでは、Macの画面をそのまま持ち出す感覚で使えます。
VoiceTerminalはVoiceTerminal自身で作っている
VoiceTerminal自体も声で改良を続けています。
Mac版アプリは最初の試作だけ手でコーディングして、そのあとのリファクタや改良はすべて声で進めました。私自身がVoiceTerminalを使いながら不満な点を解決していく過程で多くのアイデアが詰め込まれていきました。
iPhone版アプリは最初からすべて声で制作しApp Storeで公開中です。人の目に触れる説明文章などは私が書いていますが、プログラム全体はVoiceTerminalのみで作っています。
デモ：M5Stackを使った天気予報時計を声だけで作る
M5Stackを使って、気圧から天気を予報する置き時計を、声だけで作っていくデモ動画です（1分20秒ほど）。LT用の動画なのでClaudeサーバーから返事を待っている部分はカットして短くしてありますが、実際には全くキーボードに触れずに15分ほどの会話だけでM5Stackハードウェアを使った天気予報デバイスを作っています。
VoiceTerminalを使ってみてください
VoiceTerminalは、Claude Codeを声で使うための会話ハーネスです。Mac版は30日間無料で試せます。iPhone・iPad版はApp Storeで公開しています。
キーボードから手を離してAIと話しながら仕事を進める感覚を、ぜひ一度試してみてください。