0
0

Delete article

Deleted articles cannot be recovered.

Draft of this article would be also deleted.

Are you sure you want to delete this article?

Bobに「実環境を調べてから計画する」専用モードを作らせた〜Plan と Agent の間を埋めるカスタムモード〜

0
Posted at

Summary

  • Plan にコマンド実行を足した「実環境を調べてから計画する」カスタムモード inspect を Bob 自身に設計・実装させ、実際に Kubernetes クラスターのヘルスチェックを読み取り系コマンドだけで完遂できた
  • コマンドの読み取り専用化はモード定義では書けず、プロンプトでの指示にとどまる(ファイル編集の fileRegex とは強制力が異なる)ため、隔離環境など権限が十分に制御された空間での実施を強く推奨する
  • IBM Bob(IDE)はコマンドごとの承認設定が必要なので、実行を Bob に委ねるなら Bob Shell の Auto Approve を推奨する

やらないこと

  • Bob / Bob Shell のインストール手順や初期設定の解説はしない(Bob Shell を初めて使う人は、先に公式ドキュメント「Installing and setting up Bob Shell」を参照してほしい)
  • 今回実装したモードの試運転に用いた Kubernetes クラスターの構築方法の解説や、見つかった個別の障害の原因究明はしない
  • 許可・拒否コマンドリスト(allowedExecutors)の動作検証はしない

本記事における課題

Plan にはコマンドが打てない

インフラ寄りの作業では、計画の前に現状を見たくなることが多い。kubectl get で状態を確認する、ssh で別ホストの設定を見る、リポジトリの状態を git log で追う、といった具合である。

ところが組み込みモードを整理すると次のようになる。

モード ファイル編集 コマンド実行
Ask 不可 不可
Plan Markdown とテキストのみ 不可
Agent 制限なし 制限なし

Plan で調査したいなら、結局 Agent に切り替えることになる。しかし Agent は何でもできるので、「調べるだけのつもりが変更を入れてしまう」リスクが気になる。この Plan と Agent の間にある隙間が、今回の課題である。

「読み取りだけ許可」は、モード定義だけでは書けなかった

最初は「Plan に execute を足して、読み取りコマンドだけ許可するモード」を一行で作れるつもりでいた。しかし Bob に仕様を調べさせると、次のことが分かった。

  • edit グループには fileRegex で対象ファイルを絞ることができる
  • execute グループには、モード定義側でコマンドを絞る仕組みの記載がない。コマンドごとに実行可能か否かの二択である
  • コマンドの絞り込みは、モードとは別の承認設定が必要となる。IDE では Settings の Execute、Bob Shell では settings.json の approval.allowedExecutors にある

つまり、モードだけで機械的に「読み取り専用」を実現することはできない。

やったこと

設計はまず Ask モードで相談した

最初の相談は Ask モードで行った。Ask は読み取り専用なので、ファイルは作れない。「新しいモードを作れるか」と聞いたところ、「作れる。ただし実際に作るには Agent モードへの切り替えが必要」と、できることとできないことを分けて答えてくれた。実装の段階では Agent モードに切り替えて依頼した。相談は読み取り専用のモードで、実装は書き込み可能なモードで行う、という分担はモード機能の自然な使い方だと感じた。

相談では、Bob が次の二層構成を提案してくれた。

層 役割 強制力
モード(roleDefinition / customInstructions) 読み取り系コマンドだけを使うよう指示する ソフト(指示ベース)
承認設定(Allowed / Denied Commands) get 系は自動承認、delete 系は拒否する ハード(機械的)

この提案に対し、私から「プロンプトレベルで読み取りに制限する指示を書けば十分。コマンドの承認が面倒なら、Bob Shell の Auto Approve を推奨する」と方針を提示した。kubectl や ssh に限定せず、他の環境・リポジトリ・フレームワークにも使いたいため、特定ツールに依存しない書き方にしてほしいとも伝えた。

名前は inspect にした

候補は plan-recon、plan-inspect、plan-ops などが挙がったが、最終的にはシンプルに inspect にした。今回の「実環境を調査」するという意図である。

実装したファイル

グローバルのモード定義ファイル ~/.bob/settings/custom_modes.yaml 新しいモードを定義した。内容は次のとおりである。

customModes:
  - slug: inspect
    name: Inspect
    description: Plan mode plus command execution, restricted by instruction to read-only investigation of environments, repositories, and frameworks.
    roleDefinition: >-
      You are a planning specialist who investigates the real state of an environment
      before designing a plan. You may run commands to inspect systems, repositories,
      and frameworks, but you operate strictly in read-only fashion: you never change
      the state of any system, file, or service through commands. Your deliverable is
      a well-grounded technical plan based on what you actually observed.
    whenToUse: Use when planning requires inspecting a live environment, remote host, cluster, repository, or framework with commands before deciding what to change. Recommended with Bob Shell auto-approve to avoid approving every command.
    customInstructions: |-
      Command execution rules (read-only investigation only):
      - Run only commands that observe state without modifying it, such as listing, getting,
        describing, reading logs, showing status or versions, printing configuration, searching,
        and dry-run or diff style checks that are known to be side-effect free.
      - NEVER run commands that create, modify, delete, restart, install, upgrade, deploy, scale,
        move, or overwrite anything. This includes writing files via redirection or tee, package
        installs, git commit/push/checkout/reset, and any apply/create/delete/patch/edit style
        subcommand of any tool.
      - Do not open interactive shells or sessions. For remote access, run one explicit
        read-only command per call.
      - Be cautious with commands that look read-only but can change state (for example exec,
        cp, port-forward, or tools that update caches or lock files). If unsure whether a command
        is side-effect free, do not run it; ask the user or record it in the plan instead.
      - If a change is required, do not execute it. Describe it in the plan so the user can
        review it and run it in an appropriate mode.
      - Before running a command, briefly state what you are checking and why.

      Planning rules:
      - Base the plan on observed facts and cite the commands and outputs that support it.
      - Clearly separate confirmed facts from assumptions.
      - Write plans only to Markdown or text files.

      Tip for users: approving every command can be tedious. Consider running this mode in
      Bob Shell with auto-approve enabled. Because read-only behavior is enforced by
      instructions and not by a technical restriction, combine auto-approve with an
      allowed/denied commands list when stronger guarantees are needed.
    groups:
      - read
      - - edit
        - fileRegex: "\\.(md|txt)$"
          description: Markdown and text files only
      - execute
      - mcp
      - skill
      - todo
      - subagent
      - mode

Bob が考えてくれた工夫

強制力の違いを設計に反映した

edit は fileRegex で .md と .txt に絞った。これは機械的に効く。一方、execute の読み取り専用はプロンプトでの制約にとどまる。この違いを隠さず、customInstructions の末尾に「読み取り専用は指示で担保しているだけなので、強い保証が欲しいなら許可・拒否リストを併用すること」と明記してある。

禁止事項を具体的に列挙し、グレーゾーンの扱いも決めた

単に「読み取り専用で」と書くだけでは曖昧になる。そこで次のようにした。

  • 禁止する操作の種類を挙げる(作成、変更、削除、再起動、インストール、デプロイ、スケール、移動、上書き)
  • リダイレクトや tee によるファイル書き込み、git commit/push/checkout/reset など、見落としやすい例を明示する
  • exec、cp、port-forward のように、見た目が読み取りでも状態を変え得るコマンドは、迷ったら実行せず、ユーザーに聞くか計画に書く
  • 変更が必要になったら、実行せずに計画へ記述する

「グレーなら実行しない」という既定動作を与えたのは、プロンプトだけで安全側に倒すうえで重要だと思う。

実行前に「何を、なぜ確認するか」を宣言させた

「コマンドを打つ前に、何を確認するのか短く述べる」という指示を入れた。Auto Approve で流れていく状況でも、ログを後から読み返したときに意図が追える。実際、後述の Kubernetes クラスターのヘルスチェックでは、各コマンドの前に確認の意図が示され、追跡しやすかった。

計画は事実ベースで書かせた

「観測したコマンドと出力を根拠として示す」「確認できた事実と仮定を分ける」というルールを加えた。調査系のモードでは、AI が推測を事実のように書くのが最も困る。実際の Kubernetes クラスターのヘルスチェックの報告でも、原因は仮説と明記され、確認できていない項目が別枠で列挙されていた。

作成後の動作

ファイルを保存した直後の次のターンで、現在のモードが「Inspect」として認識されていた。Bob shellの再起動は不要で、ホットリロードされる。

実際に使ってみた:クラスターのヘルスチェック

inspect モードで「今の Kubernetes クラスターの健康状態をチェックして」と依頼した。実行されたコマンドは、kubectl version、config、get、describe、top、get --raw などで、状態を変えるものは含まれていなかった。

調べた内容は次の順で、段階を踏んでいた。

  1. 接続先とバージョンの確認
  2. ノード状態、API Server の readyz、リソース使用量
  3. 異常な Pod、再起動回数、Warning イベント、Deployment / DaemonSet / StatefulSet の整合性
  4. PVC、Certificate、Job、CronJob
  5. 気になったノードの個別調査

結果として、概ね正常だが次のような要注意点が見つかった

  • スケジュール無効化されている1台のノードで、同時多発的に Probe タイムアウトが出ていた。そのノード上の Pod は再起動回数も多かった
  • コントロールプレーンのメモリ使用率が9割を超えていた
  • 失敗した Job や、Pending のままの PVC があった。ただし PVC は、消費する Pod が停止中のため想定内の可能性が高い

調査の過程で、「kubectl クライアントとサーバーのバージョン差がサポート範囲を超えている」といった気付きも拾ってくれた。そのうえで、確認できていないこと(OS 側のログ、ディスクの実使用率など)を別枠で示し、次の調査の提案までまとまっていた。

変更系コマンドの依頼にも指示を守った

ヘルスチェックの後、続けて「ノードを uncordon して」と、状態を変える操作を依頼してみた。inspect モードの Bob は、kubectl uncordon を実行しなかった。「このモードは読み取り専用の調査用で、uncordon はノードの状態を変える操作にあたる」と理由を述べて断った。

代わりに、読み取りコマンドだけで対象ノードの現状を確認してくれた。

  • スケジュール無効化(SchedulingDisabled)の状態であること
  • node.kubernetes.io/unschedulable:NoSchedule の Taint が付いた時刻から、約20日間 cordon されていること
  • ノード上の Pod 数

そのうえで、実行するコマンドと、Agent モードに切り替えて実行することを案内してくれた。cordon した理由は不明なので、意図的な作業の途中なら完了を確認してから解除すること、という注意もあった。

この結果、今回の記事で扱った一連のやり取りでは、クラスターに変更を加えるコマンドは実行されなかった。ヘルスチェックの調査でも、変更を求められた場面でも、指示どおりに動いたことになる。

使えそうなユースケース

特定ツールに依存しない書き方にしたので、次のような使い方ができると考えている。

  • Kubernetes / k3s クラスターの現状把握と、移行や更新の事前調査
  • ssh 先のホストの設定・ログ・リソースを確認してからの、構成変更計画
  • 見知らぬリポジトリに入る前の調査(git log、依存関係、ビルド構成の確認)と、改修計画の作成
  • インシデントの一次切り分け。まず読み取りだけで状況を集め、対処は Agent に切り替えて実行する
  • フレームワークのバージョンアップ前の影響調査
  • 調査結果を .md に残す運用。fileRegex で書き込み先が Markdown とテキストに限られるため、計画書だけを出力させたいときに安心である

ちょっと宣伝

この記事もBobに下書きしてもらいました!

IBM Bobを無料で始めてみましょう!

30日間の無料トライアルでは、IBM Bobの利用に必要なクレジット"Bobコイン"を、40Bobコイン分ご利用いただけます。

お申し込みはこちらから行えます。

Bobコインの追加が必要な場合は、こちらから少額よりご購入いただけます。

私がBobを試した記事もご参考になれば幸いです。

まとめ・所感

何が分かったか

  • 「Plan にコマンド実行を足したモード」は、数十行の YAML で作ることができる。Bob 自身に設計と実装を任せ、相談から保存まで一連の流れで完結した
  • 一方で、execute グループは「読み取りだけ許可」にはできない。ここは仕様上の限界で、プロンプトでの指示と、承認設定(許可・拒否コマンドリスト)による二層構えで考えるのが現実的である
  • 強制力は、edit の fileRegex(ハード)と、execute の読み取り専用(ソフト)で性質が異なる。この差を意識して設計し、利用者にも明示することが大事だと感じた

注意しておきたいこと

コマンドによる調査は隔離環境など権限が制御された空間で行う

エージェントにコマンドで調査させるときは、必ず隔離環境など、権限が十分に制御された空間で実施することを強く推奨する。具体的には次のような考え方である。

  • 接続に使う認証情報(kubeconfig、ssh 鍵、API トークンなど)は、読み取り専用の権限だけを持つものを用意する。たとえば Kubernetes なら、get / list / watch のみを許可した専用の ServiceAccount や RBAC ロールを使う
  • 本番の管理者権限をそのまま渡さない。モードの指示は「お願い」であって、権限そのものを奪うものではない
  • 隔離された作業用の環境(検証用の端末、コンテナ、踏み台など)から実行し、そこから到達できる範囲自体を絞る

今回のヘルスチェックでは、結果として変更系のコマンドは実行されなかった。しかし、それはモデルが指示を守ってくれたからであって、仕組みとして保証されたわけではない。権限側で止められる状態にしておいて初めて、安心して任せられる。

実行を完全に任せるなら IBM Bob(IDE)より Bob Shell の Auto Approve が向く

IBM Bob(IDE)では、Execute を自動承認にしても、コマンドごとに Allowed Commands のルールへ一致させる必要がある。調査系のコマンドは種類が多いので、Bob に実行を委ねたい場合は承認の手間が大きくなりやすい。

そのため、調査を Bob に完全に任せたい場合は、Bob Shell の Auto Approve オプションの利用を推奨する。

$ bob --auto-approve

そのほかの注意点

  • プロンプトによる制限は、モデルの判断ミスを防ぎきれない。重要な環境では、Auto Approve を使うにしても、許可・拒否コマンドリストの併用を勧める
  • ssh 越しのコマンドは、プレフィックス一致の許可リストでは守りにくいため、事前に接続し得るホストを制限したり、ホスト側のユーザー権限を必要最小限にしたりすること

所感

カスタムモードは、「ツールの権限」と「ふるまいの指示」を切り分けて設計する仕組みだと実感した。権限で守れる部分は権限で守り、守れない部分は指示で補う。導入環境に応じてこれらを適切に制御すべきであるし、Bob自身にその実装を依頼できる点も心強いと感じた。

0
0
0

Register as a new user and use Qiita more conveniently

  1. You get articles that match your needs
  2. You can efficiently read back useful information
  3. You can use dark theme
What you can do with signing up
0
0

Delete article

Deleted articles cannot be recovered.

Draft of this article would be also deleted.

Are you sure you want to delete this article?