はじめに：人間には簡単、コンピュータには激ムズ？
突然ですが、以下の写真を見てください。
これらが「同じ風景」や「同じ猫」であることは、私たち人間なら一瞬で分かりますよね。
しかし、これをコンピュータに判別させるとなると、話は別です。
画像処理の世界では、以下のような変化が大きな障壁となります。
- スケール（大きさ）が違う
- 回転している
- 明るさ（照明）が違う
- 同じ対象でもピクセル単位で等しくない
これらを乗り越えて、画像の中から「変わらない特徴」を見つけ出す技術。それが今回紹介する SIFT（Scale-Invariant Feature Transform） です。
この記事では、大学のゼミで作成した講義スライドをベースに、SIFTの仕組みと実装方法を分かりやすく解説します。
全スライドまとめ
本記事のベースとなったスライド資料はこちらです。
1. SIFT（Scale-Invariant Feature Transform）とは？
SIFTは、画像のスケール、回転、明るさの変化に影響されずに、画像中の特徴点（キーポイント）を検出・記述するアルゴリズムです。
ディープラーニングが流行する前は、物体認識や画像合成の「王様」のような存在でした。現在でも、学習データが用意できない場合や、計算資源が限られる環境では非常に強力な選択肢です。
SIFTのすごいところ
SIFTが画期的だったのは、以下の「堅牢性（Robustness）」を兼ね備えていた点です。
| 特徴 | 説明 |
|---|---|
| スケール不変性 | 対象の大きさが変わっても特徴量は変化しない |
| 回転不変性 | 対象が回転しても大丈夫 |
| 照明変化への堅牢性 | 明るさやコントラストが変わっても認識可能 |
2. Python + OpenCVで3分実装
理屈の前に、まずは動かしてみましょう。
SIFTはかつて特許の壁がありましたが、現在は特許が切れ、OpenCVの標準機能として誰でも手軽に使えます。
import cv2 as cv
# 1. 画像の読み込み
img = cv.imread('cake.jpg')
gray = cv.cvtColor(img, cv.COLOR_BGR2GRAY)
# 2. SIFTオブジェクトの作成
sift = cv.SIFT_create()
# 3. 特徴点の検出と特徴量の計算
# kp: 特徴点のリスト, des: 特徴量記述子（128次元のベクトル）
kp, des = sift.detectAndCompute(gray, None)
# 4. 結果の描画
img_sift = cv.drawKeypoints(
img, kp, None,
flags=cv.DRAW_MATCHES_FLAGS_DRAW_RICH_KEYPOINTS
)
# 表示（Colab等の場合）
# from google.colab.patches import cv2_imshow
# cv2_imshow(img_sift)
たったこれだけのコードで、画像から堅牢な特徴点を抽出できます。
3. SIFTの仕組み：なぜそんなに強いのか？
ここからは、SIFTがどのようにして「回転しても、大きさが変わっても大丈夫」な特徴量を作り出しているのか、そのアルゴリズムを4つのステップで図解します。
全体像
SIFTの処理は大きく分けて 「特徴点の検出」 と 「特徴量の記述」 の2段階、細かく見ると以下の4ステップになります。
- 候補点の探索（スケール空間の極値検出）
- 候補点の絞り込み（キーポイントのローカライズ）
- 方向の検出（オリエンテーションの割り当て）
- 特徴量の記述（記述子の生成）
ここからは各ステップを詳しく見ていきます。
Step 1: 候補点の探索（スケール不変性の獲得）
画像の中から「特徴的な点」を探す工程ですが、SIFTの最大の特徴は 「わざと画像をぼかして、様々なスケールの画像を用意する」 点にあります。
具体的には、DoG (Difference of Gaussian) 画像というものを作ります。
これは、「少しぼかした画像」と「もっとぼかした画像」の差分をとった画像です。こうすることで、エッジなどの変化が激しい部分が浮かび上がります。
これを様々なスケール（ぼかし具合）で行い、その中で極値（周囲と比べて際立って値が大きい/小さい点） を探します。
これによって、「遠くから見ても（小さいスケール）」、「近くで見ても（大きいスケール）」特徴的である場所を見つけ出すことができます。これがスケール不変性の正体です。
Step 2: 候補点の絞り込み
Step 1で見つかった点には、ノイズや、特徴としては弱い「エッジ（線）上の点」も含まれています。
そこで、ヘッセ行列という数学的な道具を使って、コーナー（角）のように 「縦横どちらの方向に動かしても変化が大きい点」 だけを厳選して残します。
💡 深掘り：なぜ「ヘッセ行列」でエッジとコーナーが見分けられるのか？
SIFTのアルゴリズムの中で、数学的に最も面白いのがこの「絞り込み」のプロセスです。ここを直感的に理解するために、視点を少し変えてみましょう。
「画像を2次元の平面ではなく、輝度を高さ（標高）と見立てた3次元の地形として捉える」 のです。
1. 画像を「地形」として見る
まず、以下の図を見てください。明るい画素を「高い山」、暗い画素を「低い谷」としてプロットすると、画像はこのようなデコボコした地形になります。
図：輝度（Brightness）を地形の高さ（Height）として可視化したイメージ
SIFTにおける「特徴点探し」とは、この広大な地形の中から、「他と区別しやすい特別な場所（ランドマーク）」 を見つける旅のようなものです。
そのために使われるヘッセ行列は、足元の地面が「どの方向に、どれくらい曲がっているか（曲率）」を教えてくれるコンパスの役割を果たします。ここから得られる2つの固有値（曲がり具合の強さ）を見ることで、足元の形状が分かります。
2. エッジ（Edge）＝「かまぼこ型の屋根」
エッジ上の点は、立体的には「かまぼこ型の屋根」や「トンネル」のような形状をしています。
図：エッジのモデル図。一方は急勾配だが、もう一方は平坦
図の矢印に注目してください。
- 🟥 赤い矢印（STEEP CURVE）： 横方向には急激に曲がっています（＝固有値 $\alpha$ が大きい）。
- 🟦 青い矢印（FLAT DIRECTION）： しかし、尾根に沿った縦方向は真っ平らです（＝固有値 $\beta$ が小さい）。
この場所に立った時、青い矢印の方向に少し移動しても、景色（数値）はほとんど変わりません。つまり、「位置ズレに弱い（どこにいるか特定しにくい）」 のです。
そのため、SIFTはこの点を「不安定」とみなして削除します。
3. コーナー（Corner）＝「尖った山頂」
一方、SIFTが探し求めているコーナーは、「尖った山頂」のような形状です。
図：コーナーのモデル図。どの方向に降りようとしても急勾配
こちらも矢印を見てみましょう。
- 🟥 赤い矢印（STEEP SLOPE）： どの方向に降りようとしても、急な坂になっています。
これは、2つの固有値が共に大きい（$\alpha$ も $\beta$ も大きい） 状態です。
この場所に立てば、どの方向に少し動いても景色が劇的に変わります。つまり、「位置を一点に特定しやすい」 ということです。
SIFTはヘッセ行列を使ってこの「山頂」のような形状だけを厳選することで、ノイズや位置ズレに負けない強固な特徴点を抽出しているのです。
Step 3: 方向の検出（回転不変性の獲得）
特徴点の場所が決まったら、その点が「どっちを向いているか」を決めます。
特徴点の周囲の画素を見て、勾配（明るさの変化方向）を集計します。最も強い勾配の方向を、その特徴点の 「主方向」 として定義します。
この後、画像を回転させても、この「主方向」を基準に特徴量を記述すれば、回転の影響をキャンセルできるわけです。
Step 4: 特徴量の記述（128次元ベクトル）
最後に、特徴点の特徴を数値化（ベクトル化）します。
特徴点の周囲を16個のブロック（4×4）に分け、それぞれのブロックで8方向の勾配情報を集計します。
$$4 \times 4 \times 8 = 128$$
これにより、1つの特徴点は128次元のベクトルとして表現されます。これがSIFT特徴量です。
この際、光の強さの影響を受けないように正規化を行うことで、照明変化への堅牢性も獲得しています。
4. まとめ：SIFTの強さの秘密
SIFTがなぜこれほどまでに使い勝手が良いのか、各ステップがどのように堅牢性に寄与しているかをまとめました。
| 堅牢性の種類 | 実現しているステップ | 理由 |
|---|---|---|
| スケール不変性 | Step 1 | DoG画像を用いて適切なスケールを探索しているから |
| 回転不変性 | Step 3, 4 | 特徴点の「主方向」を基準に記述しているから |
| 照明変化への堅牢性 | Step 4 | 勾配情報を正規化しているから |
| ノイズ・ズレへの堅牢性 | Step 2, 4 | 不安定な点を除去し、情報を大まかに（ヒストグラム化）集計しているから |
深層学習全盛の時代ですが、学習データ不要で、数行のコードでこれだけ堅牢な特徴抽出ができるSIFTは、現在でも非常に強力なツールです。
ぜひ、皆さんの画像処理アプリケーションでも活用してみてください！
参考文献
資料作成の際に、こちらの資料を大変参考にさせていただきました。ありがとうございます。