はじめに
Kindleで技術書を読みながら、分からない箇所を指して、
この部分はどういう意味ですか？
とAIにそのまま聞けたら便利だと思いませんか。
Gemini Liveで画面を共有しながらKindleを開くと、実際にこれができました。
この記事では、Gemini Liveの画面共有を使ってKindleを読んでみて、何が便利だったのかを紹介します。
TL;DR
Gemini Liveでは、音声で会話を続けながら、スマートフォンの画面も共有できます。
Kindleの画面を共有すると、読んでいる箇所をコピーしたり、本の文脈を説明したりせず、そのまま質問できました。
一番良かったのは、AIの回答そのものよりも、疑問を感じてから質問するまでの手間が減ったことです。
1. Gemini Liveなら、画面を共有しながら音声で会話できる
Gemini Liveは、Geminiと音声で継続的に会話できる機能です。
通常のチャットのように、質問を入力して送信し、回答を読んでから次の質問を書く必要はありません。
話しながら質問を補足したり、説明を言い直してもらったりできます。
GoogleはGemini Liveに、カメラやスマートフォンの画面を共有し、映っている内容についてリアルタイムに会話できる機能を提供しています。現在はAndroidとiOSの両方で画面共有が案内されています。
音声で話すだけではなく、同じものを見ながら話せる
今回の記事で重要なのは、音声で質問できることだけではありません。
Geminiへ、自分が見ている画面をそのまま共有できることです。
通常の音声入力では、質問を声で伝えられても、何について話しているかは自分で説明しなければなりません。
画面を共有すると、表示している内容を前提に、
ここはどういう意味ですか？
この図は何を表していますか？
と話せます。
Googleの公式ヘルプでも、画面共有によって画面上の内容についてサポートを受けられると説明されています。共有されるのは特定の一部分ではなく、端末の全画面です。
今回はKindleの画面を共有した
今回試したのは、Gemini Liveで画面共有を始め、そのままKindleへ移動する使い方です。
Gemini Liveの機能を網羅的に試したわけではありません。
ただ、普段の読書に画面共有を加えるだけで、分からないことをすぐに質問できる状態を作れました。
2. Kindleを開いたまま、分からない箇所をその場で質問できた
使い方は複雑ではありません。
Gemini Liveを起動して画面共有を始め、そのままKindleを開きます。
あとは普段どおり本を読みます。
本の文章を事前にコピーしたり、ファイルとして読み込ませたりする必要はありません。
「この部分が分からない」で質問できた
読んでいる途中で難しい説明が出てきたら、そのページを表示したまま質問します。
この段落はどういう意味ですか？
画面を共有しているため、対象の文章を読み上げたり、どの本の何章を読んでいるか説明したりする必要がありません。
「ここ」「この段落」のような指示で質問できるのは、実際に使ってみると思っていた以上に便利でした。
通常のチャットでも、文章を貼り付ければ同じような説明を受けられます。
ただ、質問するたびに文章を選択し、コピーし、AIへ移動する必要があります。
Gemini Liveでは、読書を続けたまま声をかけられます。
説明を聞き直し、自分の理解まで確認できた
最初の説明だけで理解できるとは限りません。
その場合も、対象の文章を貼り直す必要はありません。
そのまま会話を続けられます。
もう少し簡単に説明してください。
Webアプリの例に置き換えるとどうなりますか？
自分はこういう意味だと理解したのですが、合っていますか？
ただ答えを一つもらうだけではなく、分かるところまで会話を続けられます。
特に良かったのは、自分の理解を話して確認できることでした。
AIの説明を聞いただけでは、分かったつもりになっている可能性があります。
そこで、
つまり、障害を完全になくすのではなく、障害が起きても復旧できるようにするという意味ですか？
のように、自分の言葉で説明してみます。
認識がずれていれば修正してもらえます。
単にページを要約してもらうよりも、こちらの方が家庭教師との会話に近いと感じました。
3. 画面共有によって、読書とAIの往復がほとんどなくなった
本の文章をAIに説明してもらうこと自体は、以前からできました。
今回大きく変わったと感じたのは、回答の種類ではありません。
疑問を感じてから質問するまでの流れです。
従来は、質問する前に文脈を渡す必要があった
通常のチャットでは、AIがどの本のどの箇所について話しているのかを知りません。
そのため、質問する側が文脈を渡す必要があります。
| 従来のチャット | Gemini Live |
|---|---|
| 対象の文章をコピーする | 読んでいる画面をそのまま共有する |
| 本や章の前提を説明する | 「ここ」と対象を示す |
| 質問文を入力する | その場で声をかける |
| 回答後に本へ戻る | Kindleを開いたまま会話する |
一回だけなら、それほど大きな違いには見えません。
しかし、技術書を読みながら何度も質問すると、この小さな手間が積み重なります。
分からない箇所が出るたびに読書を中断すると、次第に質問すること自体が面倒になります。
質問の手間が減ると、小さな疑問も聞きやすくなった
本を読んでいると、完全には理解できていないものの、先へ進めないほどではない箇所がよくあります。
そのような疑問は、検索やチャットへの入力が面倒だと、そのまま流してしまいがちです。
質問するまでの手間が大きい
↓
小さな疑問は読み飛ばす
質問するまでの手間が小さい
↓
その場で確認する
Gemini Liveでは、疑問を感じた瞬間に話しかけられます。
「わざわざ質問するほどではないか」と迷う時間が減り、以前なら読み飛ばしていた内容も確認しやすくなりました。
画面共有による一番の変化は、AIが新しい種類の回答をできるようになったことではないと思います。
すでに持っている説明能力を、読書の途中で自然に使えるようになったことです。
同じ教材を見ながら対話できることが、家庭教師のように感じられた
人間の家庭教師と本を読むときは、毎回ページの文章をすべて読み上げる必要はありません。
同じページを開きながら、
ここが分かりません。
と伝えれば、そこから会話が始まります。
Gemini Liveでも、画面を共有することで似た状態になります。
同じページを見る
↓
対象や文脈の説明が減る
↓
疑問をすぐ質問できる
↓
理解できるまで対話を続けられる
もちろん、本当に人間の家庭教師と同じというわけではありません。
家庭教師というのは、あくまで今回の体験を表す比喩です。
実際に起きていたのは、読んでいる文脈をAIと共有し、疑問が生まれてから理解を確認するまで、会話を途切れさせずに続けられたことです。
それによって、AIが検索結果を返す道具ではなく、同じ教材について一緒に考える相手のように感じられました。
おわりに
Gemini Liveで良かったのは、画面上の文字を認識できることだけではありませんでした。
読んでいる箇所をコピーせず、本の前提を毎回説明せず、疑問を感じた瞬間に質問できることでした。
説明が分からなければ、別の言い方や具体例を求められます。
最後には、自分の理解が合っているかも確認できます。
Gemini Liveの画面共有は、同じ教材を見ながら、理解できるまで対話できる機能です。
その体験は、一人で本を読む時間に、いつでも質問できる家庭教師が加わったように感じられました。
Kindleで技術書や難しい本を読んでいる人には、ぜひ一度試してみてほしいです。