1
1

Delete article

Deleted articles cannot be recovered.

Draft of this article would be also deleted.

Are you sure you want to delete this article?

CodexのAppshotが便利すぎたので、Claude用にメニューバーアプリを作った話

1
Last updated at Posted at 2026-07-09

どのアプリを使っていても ⇧⌘1 を押すと、最前面のウィンドウが「パシャッ」と撮られて、次の瞬間にはClaudeの入力欄に貼られている。そんなmacOSメニューバーアプリ ClaudeShot を作りました。

Adobe Express - claudeshot-prof-2.gif

きっかけ

発端は、CodexからClaudeのデスクトップアプリに移住したことです。動作も好みだし、おおむね満足しています。ただ、ひとつだけ耐えられないことがありました。Appshotが無い。

Codexには、ショートカット一発でいま見ているウィンドウをそのままAIに渡せるAppshotという機能があります。スクショを撮って、保存先を探して、チャットにドラッグして……という一連の動作がまるっと消えるやつで、一度これに慣れると、無い環境に戻ったときの面倒くささが尋常じゃないんですよね。まあCodexの機能なので、Claudeに無いのは当たり前なんですが、毎回スクショを撮ってドラッグして貼るあの原始的な作業に逆戻りするのは、どうにも我慢できませんでした。

ないなら作るか。そんな軽いノリで作ったのがClaudeShotです。

何ができるのか

  1. どのアプリを開いていても ⇧⌘1 を押す
  2. 最前面のウィンドウがキャプチャされる
  3. Claudeが前に出てきて、入力欄にスクショが貼られている

操作はここまでで、あとは撮れた画面について聞くだけです。メニューバーにカメラのアイコンが常駐して、Dockには出てこない裏方アプリになっています。

Adobe Express - claudeshot-find-2.gif

Adobe Express - claudeshot-notes-2.gif

権限まわりについて先に書いておくと、初回起動時に「画面収録」と「アクセシビリティ」の2つの許可を求めます。前者はScreenCaptureKitでのキャプチャに、後者は⌘Vのキーイベント送信に必要なもので、それ以外の用途には使っていません。

まずClaude本体の改造を試みた(そして散った)

最初は「Claudeの中に組み込めないか」と考えて、実際に中身(Electronアプリです)を覗いてみました。でも、app.asarはハッシュで整合性チェックされていて、いじると起動しなくなります。厳密にはハッシュを再計算して再署名すれば通せるんですが、Claudeが更新されるたびに壊れるので現実的じゃない。署名も当然Anthropicのものですし。

なので発想を変えて、外からクリップボードとアクセシビリティ経由で貼り付ける常駐アプリにしました。これならClaude側がアップデートされても壊れない、はず。

実装のポイント

メニューバー常駐は MenuBarExtra で

SwiftUIのMenuBarExtraを使えば、常駐アプリの土台は数行で済みます。

ClaudeShotApp.swift
@main
struct ClaudeShotApp: App {
    var body: some Scene {
        MenuBarExtra("ClaudeShot", systemImage: "camera.viewfinder") {
            Button("アプリショットを撮る") { ClaudeShotRuntime.capture() }
                .keyboardShortcut(menuShortcut)   // 登録中のショートカットを反映
            // …設定・終了など省略
        }
        Settings { PreferencesView(/* … */) }
    }
}

あとはAppDelegateでNSApp.setActivationPolicy(.accessory)にすればDockアイコンが消えます。

グローバルショートカットはCarbonのRegisterEventHotKeyで拾っています。古のAPIですが今も非推奨にはなっておらず、アクセシビリティ権限なしでグローバルホットキーを登録できる実質唯一の公式ルートなので、これを選びました。

ショートカットは好きなキーを登録できる

デフォルトは当初⇧⌘2にしていたんですが、これが環境によって他とぶつかるんですよね。なので⇧⌘1に変えつつ、設定画面で好きなキーを自分で記録できるようにしました。押したキーをそのまま読んで登録するだけです。ただし修飾キー(⌘/⌃/⌥)は必須にしています。じゃないと、文字を打っただけで発火して大惨事になるので。

Screenshot 2026-07-10 at 1.15.01.png

Screenshot 2026-07-10 at 1.15.43.png

Screenshot 2026-07-10 at 1.15.53.png

Screenshot 2026-07-10 at 1.15.55.png

いちばんハマったところ:フラッシュの長さがバラバラになる

ここが正直、いちばん時間を溶かしたところです。

キャプチャ時に画面が「パシャッ」と光る演出をつけたんですが、テストしていて、どうにも気持ち悪い。スライダーで「速く」に振ってるのに、光る時間が毎回バラバラなんです。速いときもあれば、やたらもっさりするときもある。設定は何も変えてないのに。

しばらく悩んで、原因が分かったときはちょっと笑いました。フラッシュの表示を「キャプチャ処理中フェーズ」に紐づけていたんですが、そのフェーズが終わるタイミングが、ScreenCaptureKitのキャプチャ完了に引きずられていた。つまり、撮影が速く終われば光もすぐ消えるし、遅ければ長引く。スライダーの値はほとんど関係なかった。道理でバラバラなはずです。

直し方はシンプルで、フラッシュをキャプチャ処理から完全に切り離しました。撮影のたびにカウンタを1つ進めて、その変化だけをトリガーに、決めた尺のアニメーションを最後まで再生する。これで撮影が速かろうが遅かろうが、光り方は毎回まったく同じになります。

ついでに、演出そのものも作り直しています。以前は「一瞬で真っ白 → じわっと消える」で、ゆっくりにすると白い靄がしつこく残って野暮ったかった。今は中心からふわっと明るくなって、なめらかに引いていくカーブにして、キーフレームで組んでいます。

AppshotVisuals.swift
Rectangle()
    .fill(wash) // 中心が明るい放射状グラデーション
    .keyframeAnimator(initialValue: 0.0, trigger: play) { view, opacity in
        view.opacity(opacity)
    } keyframes: { _ in
        KeyframeTrack {
            SpringKeyframe(0.82, duration: duration * 0.24, spring: .snappy) // ふわっと立ち上げ
            CubicKeyframe(0.0,  duration: duration * 0.76)                   // なめらかに戻す
        }
    }

やっていること自体は地味なんですが、この「原因が別のところにあった」系のバグは、直った瞬間がいちばん気持ちいいですね。

アニメーションの元ネタと、動画をAIに読ませる小技

実はこのフラッシュや着地の演出、CodexのAppshotの「気持ちよさ」を再現したくて、かなり寄せています。

で、ここで地味に困ったのが、どうやって元のアニメのタイミングを知るか。素直に考えたら、Codexの画面を録画してAIに見せて「これ再現して」と頼みたいところです。でも、執筆時点のClaudeもChatGPTも、動画をそのまま入力には取れないんですよね。受け付けてくれるのは基本的に画像だけで、録画したファイルを投げても読んでくれない。

そこで、動画を「AIが読める形」に変換して食わせる仕組みを自作しました。ざっくり言うと、動画をフレームごとにバラして、各フレームの正確なタイムスタンプを取り、隣り合うフレームの差分から「どこがいつ動いたか」を数値化して、一覧画像にまとめる。動画そのものじゃなく、そこから抽出した画像と数値をClaudeに渡します。

これならClaudeも読めます。「最初の数十msで一気に立ち上がって、そのあとゆっくり整う」みたいな動きの構造をちゃんと言語化してくれて、それをSwiftUIに落とし込みました。

この仕組み自体、正直ClaudeShotより応用が効いて面白いので、近いうちに別記事でちゃんと書きます。続きを読み逃したくない方は、フォローしておいてもらえると確実です。

全体の流れ

内部でやっていることを図にすると、こんな感じです。

いくつか補足を。最前面ウィンドウの特定は、NSWorkspace.frontmostApplicationとSCShareableContentのウィンドウ一覧を突き合わせて行っています。⌘VはCGEventで合成していて、通常はpost(tap:)、フォールバックではpostToPid(_:)でClaudeのプロセスへ直接送ります。

最後の分岐がポイントで、macOS 14以降は協調的アクティベーションの仕様上、activate()が「命令」ではなく「リクエスト」扱いになりました。ユーザー操作起因と判断されないと、常駐アプリから他アプリを前面へ持ってくる要求は通らないことがあります。なので前面化に失敗しても、Claudeのプロセスに直接⌘Vを送るフォールバックを用意して、変なアプリに貼り付く事故を防いでいます。

貼り付けが決まらない問題を潰す(犯人はツリーの深さ)

公開後にいちばん手を入れたのがここです。「入力欄を選んでいない状態で別アプリから撮ると、たまに貼り付けに失敗する」という、しばらく既知の問題に挙げていたやつ。

⌘Vは「フォーカスのあるテキスト欄」に届いて初めて成立します。だからClaudeの入力欄をアクセシビリティ(AX)経由で探して、フォーカスを当ててから貼るんですが、これがどうにも不安定でした。ログを仕込んだら「テキスト欄が0個見つかった」を延々と繰り返している。入力欄は目の前にあるのに、コードからは見えていない。

原因を突き止めるためにClaudeのAXツリーを丸ごとダンプしてみたら、ちょっと笑ってしまいました。入力欄(テキストエリア)は、ツリーの深さ27にありました。そして探索コードは、深すぎる木で固まらないように「深さ24まで」で打ち切っていた。つまり入力欄の3つ手前で毎回引き返していたわけです。道理で0個なはずだ。

上限を広げたら、あっさり見つかって貼り付くようになりました。入力欄が未選択でも、別アプリからでも、ちゃんとClaudeに届きます。

ついでに、もうひとつの既知の問題(5枚制限)も、まったく別の理由で壊れていたのが分かりました。Claudeは貼り付けた画像を、AXツリー上で「画像(AXImage)」ではなく 「image.png」という名前のチェックボックス として持っているんです。こっちは枚数を「AXImageの数」で数えていたので、実際に何枚あっても常に0。5枚制限の検知が一度も発火していませんでした。数え方を実態に合わせたら、2→3→4→5と正しく数えて、5枚に達したところで「もう5枚あります」と右下に知らせるようになりました。

どちらも「探しているものは目の前にあるのに、探し方がズレていた」系のバグで、フラッシュのときと同じ、直った瞬間がいちばん気持ちいいやつでした。

既知の問題

  1. Claudeの「1メッセージ画像5枚まで」制限は、Claude側の仕様なので超えられません。 ただし前述のとおり、今は枚数を数えて5枚に達したら右下に通知するようにしました。6枚目以降の画像はクリップボードに退避するので、別メッセージにしてから手動で⌘Vすれば貼れます。

  2. クリップボードを上書きします。 貼り付けにクリップボードを経由するため、撮影すると直前のコピー内容が消えます。元の内容の復元は今後対応する予定です。

動作環境

OS macOS 14 (Sonoma) 以降
言語 / UI Swift 5.10・SwiftUI
主なフレームワーク ScreenCaptureKit / AppKit / Carbon
依存ライブラリ なし

ビルドは ./script/build_and_run.sh 一発です。.appを作って署名して/Applicationsに入れて起動まで、全部これがやってくれます。

おわりに

というわけで、「無くなって困った機能を、勢いで作り直した」話でした。

Codexから移ってきて、同じくAppshotロスに陥っている人がいたら、ぜひ試してみてください。READMEは日本語・英語の両対応にしてあります。

そして予告どおり、「動画をAIに読ませる裏技」は近いうちに別記事で。個人的にはそっちのほうが応用が効くと思っているので、よかったらそちらもぜひ。

最後まで読んでいただき、ありがとうございました🙏

参考リンク

1
1
0

Register as a new user and use Qiita more conveniently

  1. You get articles that match your needs
  2. You can efficiently read back useful information
  3. You can use dark theme
What you can do with signing up
1
1

Delete article

Deleted articles cannot be recovered.

Draft of this article would be also deleted.

Are you sure you want to delete this article?