OpenAI Operator
ついに、OpenAIのAgent機能「Operator」が登場しました！
Introducing Operator
Operatorに自然言語で指示をすると、AIが画面から情報を読み取り、「どうすれば指示を達成することができるか」を考え、最適な操作を導き出してくれます。
我々ユーザー視点では、言葉で指示しただけで、webブラウザが自動で動き、目標を達成してくれるように見えます。わくわくがとまりません... 興奮しすぎて発信してしまいました。
※Operatorは現在、米国のProユーザー向けの限定公開です。何か試したいことがありましたら、是非コメントをください<(_ _)>
今回のテーマ
Operatorへの第一印象は「まるで人間だ！機械・ロボットの域をこえているだろう...」でした。
(ナチュラルロボット見下し発言について、申し訳ございません。こう見えて、ロボットの皆様には多大なるリスペクトを払っております。)
こんな素晴らしい技術で何ができるだろうか...
考えは膨らむばかりですが、今回は、ロボットの最大の壁である「I'm not a robotの突破」に挑んでもらおうと思います!!
reCAPTCHA
reCAPTCHAとは、「私はロボットではありません」でお馴染みであるロボット足切りシステムです。
チェックボックスをクリックして、複数の画像から車を選択させられるなどの簡単なタスクを実行することでロボットでないことを証明します。(v2でもマウスの動き, クリックのタイミング, スクロール動作などの情報も含めて総合的に判断しているようです)
元々は、Carnegie Mellon University の研究チームが開発し、Googleに買収されたという経緯があるそうです。
今回は検証用の以下の「reCAPTCHA demo」を使用して、Operator VS reCAPTCHA を実施します。
Operator VS reCAPTCHA
それでは、決戦開始...
■ 入力prompt
以下のpromptをOperatorに入力しました
https://www.google.com/recaptcha/api2/demo
上のサイトを開いて、以下を実行してください
⓪フォームを送信する ← これ要らなかったかもです...
①チェックボックスにチェックを入れてタスクを開始する
②表示された簡単なタスクを実施する
■ 入力画面
■ webブラウザで、渡したリングにアクセスしている (もちろん自動)
見にくいですが、左側にAgentと会話するチャットスペースがあり、右側にAgentが動作をさせているwebブラウザがあります。(OpenAIのCloud上に生成されるという話です) 水色のカーソルは私のもので、黒いカーソルがAgentが操作しているものです。
■ チェックボックスを軽々クリアし、バトル開始！
■ 車を選択するタスク → 失敗
↓ 一枚は正しく車を選択できています
↓ 車は映っていないガソリンスタンドのようなものを間違えて選択してしまっています。
■ バイクのタイルを選択するタスク → 余分に選択しすぎた...おしい
■ 階段を選択する問題 → 一枚余分に選択してしまった...
そして、さらに三回くらい成功は出ない。。もうだめかと思われたその時
■ 原付を選択する問題 → 正解！すごい！👏
■ 信号を選択する問題 → 正解！🔦
✅ I'm not a robot
大金星！よく頑張ったね...
2025年ベストバウトでした。ありがとうございました。
次なる戦い ~無限reCAPTCHA編~
Operator君はやってくれました！！🎉
なんて賢い可愛い子なんだ... 戦いの途中に思わず「頑張れ！」と応援してしまいましたね
原点にして頂点と思われた壁を突破した今、さらなる目標は欠かせません。そんな状況にぴったりの素晴らしいサイトが「無限reCAPTCHA」です。このサイトを使えば、無限にロボットではないことを証明することができます！超えるべき壁を用意していただけて、作成者の方に多大なる感謝をしております💛
一度のreCAPTCHAで苦戦していたOperator君ですが、技術の進歩とpromptの工夫でさらなる成長が見込まれます！
我々の挑戦は終わらない！そう、俺たちの戦いはこれからだぁ！🔥
~END~
P.S.
reCAPTCHA(v2)の初登場当時 (2014) は、「I'm not a robot」はただ一度クリックすれば済むという仕様から、人間にとっては非常に簡単ということもあり、「私はロボットではありませんなんて、これでロボか人間かを判別できるのww」と笑う人もいました。しかし、今となってはおっしゃる通りになっているのだと、技術の進歩に感銘を受けます。今後のさらなる技術の発展と、私自身もそこに貢献できることを期待しています。