【導入文】
こんにちは。社内システムのクラウド化を支援している「僕」です。
半導体エンジニアの「妻」にITの仕組みを語り、ハードウェア目線で鋭いツッコミをもらうこのシリーズ。今回はクラウドインフラを飛び越えて、最近話題の「自律型AIプログラミングツール」と、その恐ろしい罠について検証した日の会話をお届けします。
1. 【プロローグ】寝てても仕事が終わる魔法のツール?
僕: 「ねえ聞いて! CLI(ターミナル)上でAIが勝手にコードを書いて、エラーが出たら自分でデバッグして直してくれる『Claude Code』っていうツールを使い始めたんだ!」
僕: 「『この機能を作って』って指示するだけで、あとはAIが全部やってくれる。これで僕は、寝てても仕事が終わる最強のAI秘書を手に入れたよ!」
妻: 「へえ、自律型のエージェントね。でも、もしそのAIが『絶対に直せないエラー』にぶつかったらどうなるの? 諦めて止まるの?」
僕: 「AIなんだから、テストが通るまで何度でもコードを書き直して頑張ってくれるはずだよ!」
妻: 「……それ、一番やっちゃダメなやつじゃない? 工場の露光装置に『パターンがピッタリ合うまで、ランダムにパラメータを変えて焼き続けろ』って指示するようなものでしょ。あっという間に高価なシリコンウェハーがゴミの山になるわよ。ちょっと検証してみましょ」
2. 【Tipsのタネ明かし】新機能「Claude Codeの自律実行」
僕: 「検証の前に仕組みを解説するね。Claude Codeなどの最新AIエージェントは、単にコードを提案するだけじゃないんだ。コマンドを実行し、そのエラーメッセージを読んで『自分で次の修正案を考え、再実行する』っていう自律実行(Auto Mode)機能を持ってる。」
妻: 「自己フィードバックループを持ってるのね。確かにうまくハマれば人間が手を出さなくて済むけど、フィードバックの方向が間違ってたら大惨事になりそうね。」
3. 【実践Tips】恐怖の「無限修正ループ」を発生させる手順
僕: 「まさにその大惨事を、あえて意図的に引き起こしてみるよ。AIに『絶対に解決できないタスク』を与えてみる。」
-
絶対に直せない環境を用意する
ローカル環境に、AWSの認証情報(アクセスキーなど)が全く設定されていない状態で、「S3バケットを作成するコードとテスト」を用意する。 -
AIに「丸投げ」の指示を出す(罠の発動)
Claude Codeを起動し、次のように指示する。
「S3バケットを作成するテストが通るまで、コードを修正して実行し続けてください」 - 地獄のループを観察する
僕: 「さて、どうなるか。AIがコードを実行すると、当然AWSのキーがないから『認証エラー(Credentials not found)』になるよね。」
妻: 「ええ。そもそも工場に電気(権限)が通ってない状態ね。」
僕: 「でもAIは『僕のコードの書き方が悪いのか?』と勘違いして、Boto3(AWSを操作するライブラリ)の呼び出し方を変えたり、モック(テスト用のダミー)を導入しようとしたり、あの手この手で修正と実行を繰り返すんだ。」
妻: 「うわあ……電源が入ってないだけなのに、装置の部品を一生懸命交換し始めてる……」
僕: 「そして数分後…… 『Rate Limit Exceeded(API利用制限に達しました)』 というエラーと共に、AIが完全に沈黙した!」
4. 【解説と解決策】なぜAIは暴走したのか?
僕: 「うわっ! あっという間に今月のAPI利用枠(Usage bundlesのクレジット)を食いつぶしちゃった!」
妻: 「ほら言ったでしょ。根本的な原因が『環境(キーがない)』なのに、AIは与えられた権限の中で『コードの書き方が悪いんだ』と思い込んで、見当違いなパラメータ調整を繰り返したわけね。」
僕: 「そうなんだよ。AIが一生懸命考えて解決しようとするたびに、裏側でLLMのAPIが何度も何度も呼び出されて、課金(トークン消費)が爆発したのか……」
妻: 「うちの工場なら完全に『インターロック(安全装置)』が作動してライン停止する案件よ。装置が異常を検知したら、勝手に動き続けずにアラームを鳴らして人間(オペレーター)を呼ぶのがフェイルセーフの基本でしょ。」
解決策のTips:
自律型のAIエージェントを使う場合、「無制限に頑張らせる」のは厳禁です。
「エラーが3回続いたら人間に報告する」「/checkpoint コマンド等で、定期的に人間の承認(Human-in-the-loop)を挟む」といった、AIの手綱を人間が握る運用ルールを必ず設けましょう。
僕: 「なるほど。工場のアラームと同じで、AIにも『一定回数失敗したら人間に助けを求める』っていうルール(Human-in-the-loop)を設定しておかないとダメなんだね。」
5. 【お片付け】クラウド破産を防ぐ原点回帰
僕: 「AI秘書に全部丸投げ、とはいかないんだね……」
妻: 「どんなにAIが優秀になっても、最終的な決裁権と『お財布の紐』を握ってるのは人間よ。さあ、今すぐAPIの課金ダッシュボードを確認して、念のため無駄に消費したAPIキーを無効化(削除)してきなさい。」
僕: 「はーい……。結局、一番大事なのは『クラウド破産を防ぐための予算アラートと権限管理』ってことだね。」
妻: 「その通り。便利な魔法のツールも、安全装置なしで使えばただの暴走ロボットよ。振り回されないようにね!」
【結びの文】
インフラ構築からコーディングまで自動化してくれる夢のようなAIツールですが、環境依存のエラーに直面した際の自律実行による「無限ループ」と、それに伴う「トークン破産(API課金地獄)」には十分ご注意ください!