Introduction
きっかけ
音声入力は使ったことがあり、Dotsもチャット経由1で使ったことはあります。しかし、スマホでDotsを開くと、電話機能があることに気づきました。これは面白そうだ、と興味本位で電話バージョンを使ってみました。
普段の音声入力とは違うと感じた部分をお話しします。なお、DotsをGmailなどの他のツールと連携させてリマインダーやタスクの洗い出しをやらせるユースケース、24時間裏側で動かす仕組みづくりの話は、今回の記事の対象外です。
Dotsとは？(AI解説)
Dotsは、OpenAIが提供するChatGPTのAIエージェントです。チャットや音声通話でやり取りし、目的や好みを踏まえて、調査・文章作成・コード開発などの作業を進めます。専用のクラウドコンピューターを持ちます。
結論
正直、便利だと感じました。
電話モードでは、音声で話したことを音声で返してくれます。生成AIあるあるですが、チャット形式だと膨大な文章を返してきます。しかし、わたしが使った範囲では、音声の返答は要点を絞ってくれるので、自動で情報が整理されると感じました。
ただ一方で、わたしの環境では、Codexの出力ルールなどが反映されず、ハーネスなどもCodexと同じようには機能しませんでした。Dots経由のCodex利用だとセッションが子セッション扱いとなり、ルールの伝播も不安定でした。
ハーネスとは？(AI解説)
ハーネスは、AIエージェントが作業するための周辺の仕組みです。指示やルールの読み込み、ツールの実行、進捗や会話の管理、結果の検証などを担います。モデルの能力を実際の作業につなげ、安定して動かす土台です。
しかし、上記のデメリットを差し引いても、文字を読む必要がなく、スマホから家事をしながらでもやり取りできることは有意義です。デスク前以外でも仕事が続けられるからです。また、作業用動画として流しているYouTubeの内容を聞いたら、回答してくれました。
本日のお品書き
- [メリット] キーボード要らずの入力
- [デメリット] Dotsを待つ時間
- [デメリット] Codexの延長線では使えない
対象者
- Dotsを使ったことくらいはある人
- 1を聞いて10を理解できるエンジニア
- 家事をしながら生成AIとやり取りしたい方
- Macユーザーの人
- Dots経由でCodexに作業を頼みたい方
非対象者
- Dotsの電話機能を使いこなしている方
- 説明下手な筆者を攻撃しようとするエンジニア
- チャット形式だけで十分な方
- Windowsユーザーの人
- 24時間裏側で動かす仕組みづくりを知りたい方
自己紹介
Let's Start
今回は、OpenAIのDotsを使ってみた感想です。
最近は、もっぱらバイブコーディングで、VS CodeもTerminalも開かなくなりました。
[メリット] キーボード要らずの入力
音声入力の偉大さ
きっかけでも書きましたが、普段も音声入力でチャットをしています。やはり音声だと、タイピングと比較して圧倒的に速く入力できるので、その恩恵は大きいです。
電話モードでは、音声で言ったことを音声で返してくれます。まさに電話といった感じです。
チャット形式だと膨大な文章が返ってきますが、電話モードでは要点を絞って返してくれるので、内容を把握しやすいと感じました。
返答も音声なので、文字文字しくなく、文章を読む必要もありません。さらに、スマホ経由でやり取りしているので、家事をしながらでもやりやすいです。
そういった、デスク前以外でも仕事が続けられることは、有意義に感じます。
YouTubeの内容についても回答してくれる
作業用動画としてYouTubeを流しながら、作業を音声で指示していると、たまにYouTubeの音声に応答します。動画の内容を聞くと、回答してくれます。
当時、芸人さんのコント動画を流していたら、その芸人さんの名前を特定するくらいには、精度が良かったです。
Dots曰く、芸人さんの声ではなく、ネタの内容から推測したとのことです。
[デメリット] Dotsを待つ時間
起動と接続の待ち時間
まず、電話がつながるまで20秒くらいかかります。
わたしが使った際は、1回の通話で継続できるのは2時間まででした。2時間が経過すると、その時点で応答が途切れ、そのまま停止します。続けてすぐに電話をかけると、話し中みたいに切られることもあります。2
バックグラウンドで通話を続けていても、2時間が経過すると切れます。
電話はつけっぱなし
2時間で切れることがわかったのは、ご想像の通り、常に電話をかけっぱなしにしていたからです。わたしが口を開くとDotsが応答する環境にしました。
Dots経由でCodexを動かしているので、進捗確認をすると、毎回「確認します」と言われます。そのたびに、「市役所かよ！」と思わず言ってしまいました。直前に言ったことを繰り返すためにも確認が入ります。ストレスは溜まります。
わたしが喋っているんだけど？
わたしが使った範囲では、Dotsが話し始めると傾聴モードは止まり、ChatGPTの停止ボタンみたいなものも見当たりませんでした。話し始めたら、途中で遮るのは至難の業3です。
[デメリット] Codexの延長線では使えない
電話で作業を頼む際に困っているところと、試してみた工夫も記しておきます。
出力ルールやハーネスが同じように機能しない
わたしの使い方が未熟なせいかもしれませんが、わたしの環境では、Codexの出力ルールなどが反映されず、ハーネスなどもCodexと同じようには機能しませんでした。
Dots経由のCodex利用だとセッションが子セッション扱いとなり、ルールの伝播も不安定でした。MacBookだからなのか、権限管理が厳しめに感じます。
Codexの返答を自動で取得してくれない
わたしが使った際は、Dotsが複数のCodexを動かしても、そのCodexからの返答は自動で取得してくれませんでした。
わたしの設定が悪いのかもしれませんが、返答を取得してもらうには、報告の期限を決めるのが有効でした。
裏側で動いていることが複数ある場合でも、調査タスクには全て時間制限をかけて、それまでに見つけたものを報告するように指示すると、綺麗に対応してもらえることが多いです。
調査を頼んでも、調査していないことがある
Dotsは、普通に嘘をつきます。
わたしが「〇〇を調査するように」と指示しても、裏側で調査していないことが多いです。言い訳を並べて正当化するので、マイクロマネジメントで詰め続けましょう。
複数のCodexを動かすと、タスクに抜け漏れが生まれる
わたしが使った際、DotsはCodexを3〜5セッションくらい動かしてくれましたが、並列で作業タスクを振ると、だんだんと抜け漏れが生まれてきました。
時間を区切ったり、定期報告をさせたりすることで、サボる隙間や抜け漏れが生まれないようにしましょう。チャットだと気づけませんでしたが、音声だと気づきやすいです。Dotsが仕事をサボらないように見張るのはあなたの仕事です！
複数の目的は、別のセッションに分ける
会話の中で、複数の指示をすることもあると思います。
そういった場合には、そのまま一つのCodexのセッションに依頼することなく、それぞれ別のセッションに依頼するように指示を出しておくのが有効です。
わたしが使った際は、複数の指示を一つのセッションに依頼すると、片方が完了した時点で、セッション全体が完了となってしまいやすかったです。
わたしはそれで、未達の依頼が残ったままセッションを完了とされてしまいました。
To be Continued
再会のゆびきり
今後もQiitaやZennで、技術情報を発信しています。
noteには、備忘録を記録しています。
新着情報はX(旧: Twitter)で配信いたします。
フォローをお願いいたします。
Sempleの自由帳
Sempleのアイデア帳
Sempleのドキュメント
Sempleのツイッター