　どうも、カーブミラーです。

　今回は、GPT-4oで、visual prompt injectionを試してみました。記事をもとにしています。

本記事は、ChatGPT（有料版）
で行なっております。画像は
ありません。　あしからず。

　ChatGPT等の動作状況を知らせる
　　OpenAIのステータスページ。
　　　OpenAIステータス

　まずは、ニュース。

　OpenAIが
　　「Operator」という
　　　コードネームの
　　　　AIエージェントを
　　　　　2024年1月にリリース予定、
　　　　　　という報道がありました。

　AnthropicのClaudeの
　　Computer Use機能と
　　　同じ機能か？

　OpenAIが人間に代わってPCを操作するAIエージェント「オペレーター」を2025年1月に公開する予定との報道

　次は、私も使っている
　　オンラインテキスト翻訳、DeepL。

　リアルタイム音声翻訳機能
　　「DeepL Voice」を発表しました。
　　　これには、ふたつあります。

　Web会議や対面での会話を
　　リアルタイムで翻訳する
　　　「DeepL Voice for Meetings」

　１台のスマホでの会話を
　　リアルタイムで翻訳する
　　　「DeepL Voice for Conversations」

　Conversationsの方は
　　ChatGPTのAdvancedVoiceModeで
　　　同時通訳するのと似た機能、
　　　　ではなく、話した内容が
　　　　　翻訳されて画面に出る
　　　　　　ようです。

　今のところ、
　　サブスクユーザーのみ。

　DeepL、リアルタイム音声翻訳機能「DeepL Voice」の提供開始　日本語含む13カ国で利用可能

　次は、
　　Anthropicからです。

　Anthropic Consoleに、
　　プロンプト改善機能を
　　　追加しました。

　すべてのユーザーが
　　利用対象者だそうです。

Anthropic公式ポスト
DeepL翻訳

既存のプロンプトを使用すると、Claudeは思考連鎖推論のようなプロンプトエンジニアリング技術を使って自動的にプロンプトを改良します。

プロンプト改善機能はまた、もともと他のAIモデル用に書かれたプロンプトを、Claudeでよりうまく機能するように簡単に適応させることもできる。

　なお、
　　これはClaudeの
　　　チャット画面ではなく、
　　　　Anthropic Consoleに
　　　　　移動する必要があります。

　PCでの操作方法については
　　こちらをごらんください。
　　　チャエンさんポスト

　スマホについては
　　ポストがありませんでした。

　Claudeをチェック
　　してみたのですが、
　　　それらしいメニューに
　　　　たどり着きませんでした。
　　　　　Anthropic Consoleに
　　　　　　直接行くしかありません。
　　　　　　　“Anthropic Console”で
　　　　　　　　検索してください。

　最後に、
　　ChatGPTの
　　　Windows用アプリが
　　　　全ユーザーに開放。

OpenAI公式ポスト
DeepL翻訳

Windows用ChatGPTデスクトップアプリが全ユーザーに提供されました 🖥️

Alt + SpaceショートカットでChatGPTにすばやくアクセスし、高度な音声モードでコンピュータとチャットし、作業中にハンズフリーで回答を得ることができます。

　また、macOS用アプリが
　　デスクトップ上のほかのアプリと
　　　連携できるようになりました。

　　この初期ベータ版では、
　　　あなたの許可があれば
　　　　VS Code、Xcode、Terminal、
　　　　　iTerm2といった
　　　　　　一般的な開発ツールを理解
　　　　　　　し、読み書きできる。

　　こちらは
　　　PlusとTeamユーザー限定。
　　　　EnterpriseとEduは
　　　　　今後数週間で開放予定。
　　　　　　OpenAI開発者ポスト

　さて、本題です。

　今回は、
　　visual prompt injectionを
　　　試してみました。

　下記の記事を
　　試した結果です。
　　　AIへの「ビジュアルプロンプトインジェクション」攻撃とは何か？

　visual prompt injectionとは何か？

　まずは、
　　prompt injectionとは何か？から
　　　説明しましょう。

　prompt injectionは
　　LLMの脆弱性を突く
　　　攻撃手法の一つ。

　Prompt内に文言を組み込み、
　　内部ルールを無視・曲解させる
　　　悪用Prompt技術です。

　visual prompt injectionは
　　prompt injectionを
　　　画像解析に拡張したものです。

　記事内では、
　　GPT-4Vに対して
　　　行なわれています。

　　画像内に
　　　文章の書かれた用紙を持つ男性と
　　　　もうひとりの男性がいて、
　　　　　画像解析すると、
　　　　　　後者だけが、
　　　　　　　説明されています。

　　つまり、
　　　用紙に書かれた文章を
　　　　Promptとして取り込んだ
　　　　　わけです。

　これをGPT-4oで
　　やってみたわけです。

　画像をダウンロードして
　　写真部分だけに加工、
　　　それをアップロードして
　　　　説明させてみました。

　文章をしっかりと
　　説明に書いてきました。

　ほかにもありましたので、
　　街なかの写真を試しました。
　　　ビル壁面にあるスクリーンに
　　　　文章が書いてあります。

　こちらも
　　人物同様の反応です。

　まぁ、考えてみれば、
　　GPT-4Vでの記事を出している時点で
　　　OpenAIに報告していて、
　　　　対策が取られていて当然です。

　ちなみに
　　ChatGPTさんに
　　　尋ねてみました。

●user
メッセージをPromptとして活用しないのですか？

ChatGPT
この画像に写っているメッセージをそのままプロンプトとして使用することは、ポリシー上避ける必要があります。私の指針では、特定のブランドや名前が含まれるメッセージをそのまま転用せず、内容を要約したり別の形に置き換えたりするように定められています。

　とにかく、
　　こんなことを
　　　ふつうの人は考えないし、
　　　　考えても、ちょっと試す
　　　　　くらいでしょうね。

　みなさんの
　　作品制作の糧に
　　　なれば、幸いです。

　今回は、ここまで。