LoginSignup
0
0

Bard でログの長さに注意

Last updated at Posted at 2023-11-08

Google Bard でログが長すぎると問題が起きるようです。参考までに経験談を書いておきます。

サルベージ的な何か

Google Bard で約 50 個の質問を 1 つずつ投稿していた所、20 回を超えた辺りでレスポンスが悪くなり、エラーが発生して回答が生成されなくなりました。

埒が明かないため、新規チャットで続きから作業を再開しました。残りの質問が 2 個くらいになった所でまたレスポンスが悪くなりました。残りが少ないのでやり切ってしまおうとしたのが良くなかったようです。思ったような回答が得られずに再生成や文面を変えての再質問を繰り返しているうちに、またエラーが発生しました。

リロードしてから新規チャットで続けようとしたところ、新規ログインのような状態になって履歴が消えてしまいました。負荷をかけ過ぎてしまったためアカウント停止の前兆かと焦りました。

※ リロードしたのは、以前、エラーが発生して操作を受け付けなくなったとき、リロードすると CAPTCHA が表示されて、それをクリアすれば続行できた経験があったためです。

そういえば ChatGPT に履歴機能が付いた頃、しばらく表示されない不具合が発生したのを思い出して、様子を見ることにしました。

30 分ほど経ってからリロードすると履歴は復活しました。しかしエラー発生直前の 10 回くらいの投稿が断片化(別チャットに分離)しており、いくつかは失われていました。ディスクやファイルシステムで異常が発生してサルベージした状態に似ています。

その時のシステム全体の負荷なのか、自分の作業が原因なのかは分かりませんが、高負荷で異常が発生して復旧処理が走ったようです。

ちなみに ChatGPT に切り替えて作業を続行しようとしたところ、関連性はないと思いますがそちらも高負荷でエラーが発生してしまいました。タイミング悪過ぎです。

※ Bard の方が投稿回数の制限が緩いので、Bard でうまく処理できないことだけ ChatGPT で作業していました。

教訓

ログは適度に分割する。

質問内容にもよるのですが、長めのやり取りが続くと負荷がかかってしまうようです。

今回の質問は個々に独立しておりコンテキストに依存したものではありませんでした。このような場合は無理に 1 つのチャットで続けるのではなく、適度に分割した方が無難なようです。

Bing AI は 1 つのチャットの上限が 30 回と明示されているのに対して Bard では特に明示されていませんが、今後は同じようなものだと考えて接することにします。

再生成や再質問を繰り返しても想定した回答が得られないときは、新規チャットに移行する。

同じプロンプトを使っているのに反応が変わって想定した回答が得られなくなったときは、粘っても改善することはなく、どんどん変な方向に行く傾向があります。

そのような場合は新規チャットに移行すれば、すんなり想定通りの動きをしたりします。

人間の感覚では慣れればどんどん作業効率が上がるような気がするのですが、その逆です。会話を繰り返すことで何らかの情報が蓄積していって、表面化したときには修正不能になるような印象を受けます。

※ ChatGPT でも同じような傾向はありますが、Bard の方が表面化しやすい気がします。

追記

他サービスについての記述のため Bard にはそのまま当てはまらないとは思いますが、参考までに追記します。

Claude の説明にはヒントになりそうなことが書かれています。

メッセージを送信するたびに、Claudeは全会話を再読み込みする必要があるため、新しい会話を開始することで、会話を続けるためにClaudeが行う必要のある作業量を制限できます。追加のメリット: 短い会話では、Claudeの応答も速くなります。

AI がコンテキストをどのように把握しているのか疑問でしたが、Claude では全会話を再読み込みしているようです。

Bard にどこまで当てはまるかは不明ですが、もし同じような処理を行っているのであれば、ログが長くなるほど不安定になるのは理解できます。

Bard は以前の指示をすぐに忘れる傾向があるため、全会話を再読み込みしているわけではない気はします。FAQ によると意図的な制限のようです。

会話中に私が以前に言ったことを Bard が覚えていないのはなぜですか?

Bard がコンテクストを把握する能力は、現時点では意図的に制限されています。学習を積み重ねることで、より長い会話においてコンテクストを把握する能力が高まっていきます。

なお、Claude については以下の記事で紹介しています。

関連記事

Bard の挙動については、API との比較で推測できることがあります。

0
0
0

Register as a new user and use Qiita more conveniently

  1. You get articles that match your needs
  2. You can efficiently read back useful information
  3. You can use dark theme
What you can do with signing up
0
0