0
0

Delete article

Deleted articles cannot be recovered.

Draft of this article would be also deleted.

Are you sure you want to delete this article?

操作を一度見せるとCodexがSKILL.mdを書き起こすRecord & Replay

0
Posted at

「この作業、毎回手でやるのめんどくさいな」と思ったとき、これまでの選択肢は二つだった。プロンプトに手順を細かく書き下すか、RPAツールでクリックを記録するか。前者は言語化が面倒で、後者は画面が少し変わると壊れる。OpenAIが6月18日のCodexアップデート(アプリ版 26.616)で入れた Record & Replay は、その両方をすり抜けてくる。やりたい作業を一度Macで実演してみせると、Codexがそれを見て「再利用できるスキル」に書き起こす。

ポイントは、出てくる成果物がブラックボックスな録画ファイルではなく、人間が読めるテキストの「スキル」だというところにある。ここが従来の操作記録系ツールと決定的に違う。

何が起きるのか:実演を「意図」に変換する

公式ドキュメント(Record & Replay – Codex)の説明はシンプルだ。

Show Codex a workflow once and turn it into a reusable skill.

録画中、Codexはあなたの操作とウィンドウの内容をキャプチャする。停止すると、Codexはキャプチャした一連の流れを解析し、スキルの草案を起こす。そのスキルには「いつ使うか」「必要な入力は何か」「どんな手順を踏むか」「どう検証するか」が含まれる。

ここで効いているのが「意図への変換」だ。古典的なRPAやマクロは、座標(x, y)へのクリックやキー入力をそのまま並べて再生する。だから画面レイアウトが変わると即座に壊れる。Record & Replayが生成するのは操作ログそのものではなく、Computer Use(PC操作)、ブラウザ操作、連携プラグインを組み合わせてエージェントが再実行できる手順書だ。だから次に走らせるときは入力を差し替えて、状況に応じてエージェントが判断しながら実行する。経費精算、決まった設定でのIssue作成、定期レポートのダウンロードといった「説明するより見せたほうが早い」作業が想定ユースケースとして挙げられている。

従来のRPA/マクロ録画 Record & Replay
記録するもの クリック座標・キー入力の列 いつ・何を・どう、の手順(意図)
成果物 バイナリ/専用形式の録画 編集可能なテキストのスキル
画面変更への耐性 弱い(壊れやすい) エージェントが再解釈して実行
再利用時の入力変更 スクリプト書き換えが必要 変数として差し替え

生成されるのは普通のSKILL.mdである

個人的にいちばん面白いのは、Record & Replayが吐き出すものが特別な独自形式ではなく、Codexが以前から持っているAgent Skillsの標準フォーマットそのものだという点だ。Codexのスキルは「open agent skills standard」に乗っており、ディレクトリの中身はこうなっている。

my-skill/
├── SKILL.md        # 必須。フロントマター + 手順
├── scripts/        # 任意
├── references/     # 任意
├── assets/         # 任意
└── agents/openai.yaml  # 任意(UI用メタデータ)

SKILL.md の冒頭には namedescription のフロントマターが要る。この description が「いつこのスキルを発火させるか」を決める一番大事な部分だ。

---
name: skill-name
description: Explain exactly when this skill should and should not trigger.
---

Skill instructions for Codex to follow.

スキルは複数の場所から階層的に探索される。プロジェクト直下の .agents/skills、親ディレクトリ(ネストしたリポジトリ向け)、リポジトリルート、ユーザー個人の $HOME/.agents/skills、システム全体の /etc/codex/skills だ。呼び出しは二通りで、/skills コマンドや $skill-name で明示的に起動するか、description に合致したときCodexが自律的に選ぶ。後者では、まず名前と説明とパスだけを読み込み、実際に使うと決めたときに初めて SKILL.md の本文を展開する(プログレッシブ・ディスクロージャ)。

つまりRecord & Replayは、これまで手で書いていた SKILL.md を「実演から自動で下書きしてくれる」入口だと捉えるのが正確だ。生成後も普通のMarkdownなので、手で直せるし、Gitに入れて差分管理できるし、チームに共有できる。録画したきりブラックボックス化するのではなく、レビュー可能な資産として残るのが嬉しいところだ。

試すための条件と、見落とせない注意点

使い方の流れは公式手順どおりだ。Codexアプリの Plugins を開き、+ メニューから Record a skill を選ぶ。提案されたプロンプトを確認して文脈を足し、送信。録画の許可を与えたら、いつもの作業をMacで実行する。終わったらメニューバーかオーバーレイ、あるいはCodexに「終わった」と伝えれば停止する。再生は新しいスレッドを開き、生成されたスキルを使うよう頼みつつ、自分のケースに合わせて入力を差し替えるだけだ。

ただし制約は無視できない。現時点でmacOS限定で、Computer Use を有効化していることが前提になる。提供地域からは欧州経済領域(EEA)・英国・スイスが除外されている。同じ6月18日のアップデートでは、オートメーションの一括操作や、ローカルとリモートのホスト間でスレッドを引き継ぐ機能も追加されているので、変更履歴を一度見ておくといい。

実務目線で一点だけ釘を刺しておく。生成されたスキルが「人間可読なSKILL.md」であることは利点だが、裏を返せばエージェントが従う指示そのものでもある。録画から自動生成された手順を、中身を読まずにそのまま共有・実行するのは避けたい。Agent Skillsはその性質上、悪意ある指示を仕込む攻撃面として議論されてきた領域でもある。便利さの本質が「手書きのSKILL.mdを実演で代替できる」ことにあるなら、最後に人間がそのMarkdownに目を通すコストまで含めて運用に組み込むのが、いちばん素直な使い方だと思う。

0
0
0

Register as a new user and use Qiita more conveniently

  1. You get articles that match your needs
  2. You can efficiently read back useful information
  3. You can use dark theme
What you can do with signing up
0
0

Delete article

Deleted articles cannot be recovered.

Draft of this article would be also deleted.

Are you sure you want to delete this article?