デスクトップで動く AI エージェントを作っていて、デモ動画を撮った。
承認ダイアログに /Users/<利用者名>/Downloads/… がそのまま映っていた。
消せばいいだけの話だと思っていたが、目視の確認で 3 回続けて漏らした。
最後は完成品の全編を機械に走査させることになった。
結論を先に書くと、「映ってはまずいものが消えたか」を目で確かめるのは
成立しない。 消す処理と同じくらい、消えたことを機械で確かめる処理が要る。
決め打ちの枠では消えない
最初は素朴にやった。パスが出ているコマを 1 枚開いて座標を測り、
そこを delogo で潰す。
delogo=x=450:y=300:w=370:h=44:enable='between(t,99.9,102.4)'
出来上がりを確認すると、最初の 1〜2 秒だけ利用者名が出ていた。
原因を測って分かった。macOS のダイアログは飛び込んでくる。
出てから落ち着くまで、位置が動き続ける。
| 時刻 | ダイアログの上端 | 左端 |
|---|---|---|
| 98.4 | 372 | 458 |
| 98.8 | 230 | 180 |
| 99.2 | 19 | 462 |
| 99.6 | 71 | 407 |
| 100.0 | 94 | 398 |
| 102.4 | 94 | 398 |
落ち着いた 100.0 秒で測った枠は、98.4〜99.6 秒のどこにも当たらない。
しかもその間、文字はずっと読める。
区間を切り詰めて「落ち着いてから」だけ使う手もあるが、
今回はノーカットで出す動画だったので使えなかった。追いかけるしかない。
型紙を作って畳み込む
文字の大きさはダイアログが動いても変わらない。
なので、落ち着いたコマから /Users/sa の見た目を切り出して型紙にし、
各コマの上で滑らせて一番合う場所を探す。
素直に総当たりすると、1920×1080 の各位置で 150×38 の型紙と比べることになる。
200 万か所 × 5700 画素で、Python では動かない。
畳み込みはフーリエ変換で一発にできる。
def correlate(field, kernel):
"""畳み込みをフーリエ変換で。総当たりだと動かない"""
fh, fw = field.shape
F = np.fft.rfft2(field)
K = np.fft.rfft2(kernel[::-1, ::-1], s=(fh, fw))
out = np.fft.irfft2(F * K, s=(fh, fw))
kh, kw = kernel.shape
return out[kh - 1:, kw - 1:] # 左上を原点に揃える
一致の度合いは 2 つ見る。見落としと、食いつきすぎの両方を嫌う。
def find(img, tmpl):
d = dark(img)
hit = correlate(d, tmpl) # 型紙の黒 ∩ 画の黒
load = correlate(d, np.ones_like(tmpl)) # 窓の中の黒の総量
ink = tmpl.sum()
score = hit / (load + 0.35 * ink + 1e-6)
score[hit < 0.55 * ink] = 0 # 見落としは足切り
y, x = np.unravel_index(int(np.argmax(score)), score.shape)
return int(x), int(y), float(score[y, x])
hit だけ見ると、黒が密集した別の場所（コードの抜粋など）に食いつく。
load で割って「窓の中の余計な黒」を罰する。分母の 0.35 * ink は、
黒が少ない場所でスコアが爆発しないための下駄。
これで各コマの座標が出るので、delogo の enable に流し込む。
同じ位置が続く区間はまとめないと、フィルタが 500 本を超えて組めなくなる。
3 回漏らした
1 回目 — 飛び込んでいる途中
上に書いたやつ。固定の枠が当たらない。
2 回目 — 半透明で浮かび上がる間
追跡を入れても、まだ漏れた。ダイアログは薄いところから現れる。
dark() のしきい値を 120 にしていたので、薄いコマの文字が
「暗い画素」に数えられず、追跡がそこだけ始まらない。
文字は薄くても読める。
def dark(img):
# **しきい値は 150。** 120 だと、半透明で浮かび上がる間の
# 薄い文字を落とす。落とすと追跡が始まらず、そこだけ素通しになる
return (img < 150).astype(np.float32)
加えて、続いている区間の頭を 0.3 秒さかのぼり、尻を 0.2 秒延ばす。
3 回目 — ブラウザの URL 欄
これが効いた。
動画の最後で、作った HTML をブラウザで開く。
URL 欄に file:///Users/<利用者名>/… が 23 秒間出ていた。
ダイアログばかり見ていて、そこは探す場所として思いついていなかった。
思いつかないものは、目で探しても見つからない。
だから完成品を走査する
ここで方針を変えた。消す処理を信じるのをやめて、完成品を全編走査する。
TEMPLATES = [
(100.0, (452, 302, 150, 38)), # write_file … 大きめの字
(148.7, (850, 512, 90, 28)), # open_path … 小さい字
(152.0, (940, 12, 100, 30)), # ブラウザの URL 欄 … また別の字
]
型紙は 1 枚では足りない。 ダイアログの種類ごとに幅が違い、
字の大きさも違う。1 枚で通そうとすると、小さい方がまったく当たらず、
0.30 前後の偽の山に食いつく。
しきい値は追跡より厳しくする。実測では本物が 0.64〜0.74、
偽の山が 0.46 以下だったので 0.55 に置いた。
0.45 にしたらブラウザの小さなアイコンに 179 コマ食いついて、
本物が埋もれた。
この検査が、さらに 1 コマの漏れを見つけた。
追跡の刻みは、出力のコマ数に合わせる
見つかったのは 113.933… 秒の 1 コマだった。
追跡を 20 コマ/秒で回していた。つまり 113.90 と 113.95 を見ている。
出力は 30 コマ/秒なので、実際に出るのは 113.933… のコマ。
そこは誰も見ていない。
# (始め, 終わり, 1 秒あたり何コマ見るか)
WINDOWS = [
(113.4, 118.2, 30), # 飛び込んでくる。出力と同じ刻みで見る
(150.8, 174.8, 5), # 位置が動かない。粗くてよい
]
位置が動く区間だけ出力と同じ刻みにして、動かない区間は粗いままにする。
全部 30 にすると、フーリエ変換が 4000 回走って終わらない。
最終的に 2,225 コマを走査して漏れなし。
まとめ
- 動くものを固定の枠では隠せない。 ダイアログは飛び込んでくる
- 追跡はフーリエ変換で畳み込む。総当たりは動かない
- スコアは見落としと食いつきすぎの両方を罰する形にする
- 目視は 3 回漏れた。 うち 1 回は、探す場所として思いついていなかった
- 完成品を機械で走査する。 追跡の刻みは出力のコマ数に合わせる
そもそも画面に利用者名を出さなければこの作業は要らない。
アプリ側は ~/… 表記に直したので、次に撮る素材からは不要になる。
それでも検査は残す。 思いつかないものは、目では見つからないので。
踏んだ落とし穴だけを書いています。 同じところで止まった人の時間が少しでも減れば十分です。
他の記事も同じ形で、実際に測った数字と、直した手順だけを置いています。
（この話が出てきたのは Wisp という個人開発のアプリです）