1
1

Delete article

Deleted articles cannot be recovered.

Draft of this article would be also deleted.

Are you sure you want to delete this article?

「押せた」は「保存された」ではない——ブラウザの自動操作で、「押した」と返った 13 回は保存されていなかった

1
Posted at

AI(Claude Code と Claude in Chrome)に、note の 8 本の記事の見出し画像を保存させました。道具の返事は毎回「押した」でした。押すたびに保存先の値を読んでいたので分かったのですが、「押した」と返ったのに保存されていなかったクリックが 13 回ありました。

変えたのは 1 つです。押した後は、道具の返事や画面ではなく、保存先の値を別の経路で読む。

道具が「押した」と返した 13 回は保存 0 回。撮ってから 3 秒以上空けた 8 回は 8 回とも保存された。確かめたのは保存先(窓が消えたか・画像が付いたか)

「押した」と返ったのに、何も起きていない(13 回)

note の見出し画像の「保存」を、8 本の記事の編集画面(裏のタブ)で押しました(09-25)。道具の返事はどれも Clicked on element ref_… か Clicked at (898, 575) です。押した後に JS で「画像のサイズの変更」の窓が消えたか、見出し画像が 1 枚出たかを読むと、次のとおりでした。

押し方 回 保存された
screenshot を撮らずに ref で押す 7 0
screenshot を撮らずに座標で押す 6 0
撮った直後(待たずに)押す 1 0
撮ってから 3 秒以上空けて押す 8 8

13 回とも、道具の返事だけを見ていたら「保存した」と思っていたはずです。数えられたのは、押すたびに保存先の側(窓が消えたか・画像が付いたか)を読んでいたからです。

同じ日の「投稿する」も同じでした。JS の click() で押した 1 回は、6 秒たっても頁が変わらず、投稿されていませんでした。撮ってから 3 秒空けて座標で押した 8 回は、8 本とも公開済みになりました(直後に 4 本は API の status で、8 本とも翌日に公開の頁で確かめました)。

裏のタブで効いたのは「撮る」だった

撮るのが効くのか、待つのが効くのかを分けるため、手元の試験頁(押すと数が 1 増えるボタン 1 つ)で、新しい裏のタブ 12 個に 1 回ずつ押しました。12 個とも visibilityState は hidden です。

撮る/撮らない × 待つ 0 秒/3 秒 × 3 回。撮らなければ 0/6、撮れば 6/6。待っても届かなかった

待つ 0 秒 待つ 3 秒
撮らない 0/3 0/3
撮る 3/3 3/3

この試験頁では、効いたのは待つことではなく撮ることでした。届かなかった 6 回は、あとでタブを撮り直しても数が増えず、溜まって後から届くこともありませんでした。

⚠ note では「撮った直後」の 1 回が効きませんでした。重い頁では撮った後の描画に時間がかかる、というのは推測です。当方の手順は「撮る → 3 秒 → 押す」のままにしています。なぜ撮ると届くのかは測っていません。

同じ仕組みの別の道具でも、似た報告があります。jackwener/OpenCLI #2520 は、頁が見えていないときにクリックなどが成功と返るのに何も届かない、という報告です。Claude in Chrome の公式ヘルプには「タブを切り替えても作業を続ける」とありますが、裏のタブでのクリックの届き方は書かれていません(当方が読んだ範囲)。

押した後に読む場所

押すたびに、道具の返事や画面ではなく、保存先の値を別の経路で読みます。

何を押したか 読む場所 当方の結果
note の見出し画像の保存 押した後の編集画面の状態(窓が消えたか・画像が付いたか)と、下書きの API の eyecatch 13 回の空振りを拾えた
note の投稿 頁の移り先と、API の status・公開 URL JS の click() の空振り 1 回を拾えた

言わないこと

  • なぜ撮ると届くのかは断定しません。手元の試験頁で 3 回ずつと、note の 1 日分の記録です
  • どのサイト・どの道具でも同じとは言いません。版で変わりえます(Chrome・拡張機能・note の画面)
  • 人の確認を外してよいとは言いません。公開するかは人が決め、公開の前の本文と題も人が読んでいます

この記事の本家(数え直しの表・2×2 の試験頁と結果)は Sumitsuke Lab → 押せた≠保存された(検証の記録つき)。

AI の利用について

操作・数え直し・試験は AI(Claude Code と Claude in Chrome)で行いました。公開するかどうか・題・本文の最終の判断は人が行いました。

関連

リッチエディタへの自動の追記で 3 回壊し、保存は人が押す前提にしていたときの記録 → リッチエディタに AI で書き込む 3 つの規則


この記事は Zenn にも同じ内容を掲載しています。

1
1
0

Register as a new user and use Qiita more conveniently

  1. You get articles that match your needs
  2. You can efficiently read back useful information
  3. You can use dark theme
What you can do with signing up
1
1

Delete article

Deleted articles cannot be recovered.

Draft of this article would be also deleted.

Are you sure you want to delete this article?