線形変換とは、ベクトル空間において、ベクトルの足し算（加法）とスカラー倍（スカラー乗法）の構造を保つ変換のことです。簡単に言うと、直線的な関係性を維持したまま、ベクトルを別のベクトルへとマッピングする操作です。AI、特にニューラルネットワークでは、この線形変換が情報の流れを制御する基本的な演算として不可欠な役割を担っています。
線形変換とは？ 🤔
線形変換は、数学、特に線形代数の重要な概念です。コンピュータグラフィックスで画像を拡大縮小、回転、せん断（スキュー）したり、機械学習でデータを別の形式に変換したりする際に使われます。
例えるなら、
- あなたがグラフ上の点（ベクトル）を動かすときに、直線を直線に、原点（ゼロ）を原点に保ちながら動かすようなものです。曲がったり、原点がずれたりすることはありません。
- また、ベクトルの足し算の結果を変換しても、変換した結果を足し算したのと同じになる、という性質を持っています。
厳密な定義 📏
ベクトル空間 $V$ からベクトル空間 $W$ への写像 $L: V \to W$ が線形変換であるとは、以下の2つの条件を満たす場合を指します。
-
加法性 (Additivity):
任意のベクトル $\boldsymbol{u}, \boldsymbol{v} \in V$ に対して、$L(\boldsymbol{u} + \boldsymbol{v}) = L(\boldsymbol{u}) + L(\boldsymbol{v})$ が成り立つ。
（足し算をしてから変換しても、変換してから足し算しても同じ結果になる） -
斉次性 (Homogeneity) / スカラー倍性:
任意のベクトル $\boldsymbol{u} \in V$ と任意のスカラー $c$ に対して、$L(c\boldsymbol{u}) = cL(\boldsymbol{u})$ が成り立つ。
（スカラー倍をしてから変換しても、変換してからスカラー倍しても同じ結果になる）
これらの2つの条件は、まとめて線形性 (Linearity) と呼ばれることもあります。
線形変換と行列 📊
線形変換は、行列の乗算によって表現することができます。
次元が $n$ のベクトルを次元が $m$ のベクトルに変換する線形変換は、$m \times n$ の行列 $A$ を用いて次のように表せます。
$$\boldsymbol{y} = A\boldsymbol{x}$$
ここで、
- $\boldsymbol{x}$ は入力ベクトル（$n$ 次元）
- $A$ は変換行列（$m \times n$ 行列）
- $\boldsymbol{y}$ は出力ベクトル（$m$ 次元）
例えば、2次元平面上のベクトル $(x, y)$ を別のベクトルに変換する行列 $A = \begin{pmatrix} a & b \ c & d \end{pmatrix}$ を考えると、変換は次のようになります。
$$\begin{pmatrix} x' \ y' \end{pmatrix} = \begin{pmatrix} a & b \ c & d \end{pmatrix} \begin{pmatrix} x \ y \end{pmatrix} = \begin{pmatrix} ax + by \ cx + dy \end{pmatrix}$$
このように、線形変換は行列の乗算として表現できるため、コンピュータ上での計算が非常に効率的に行えます。
AI・機械学習における線形変換 🧠💻
ニューラルネットワークを含むほとんどの機械学習モデルにおいて、線形変換は基本的な構成要素として頻繁に登場します。
-
ニューラルネットワークの結合（全結合層） 🔗
- ニューラルネットワークの「全結合層（Fully Connected Layer）」は、まさに線形変換の連続です。
- 各ニューロンは、前の層の全てのニューロンからの入力に重みを掛け合わせ、合計します。これは行列の乗算とバイアスの加算で表現されます。
- $\boldsymbol{h} = W\boldsymbol{x} + \boldsymbol{b}$
- $\boldsymbol{x}$: 入力ベクトル
- $W$: 重み行列（線形変換の「A」に相当）
- $\boldsymbol{b}$: バイアスベクトル（線形変換ではないが、線形層の一部として含まれることが多い）
- $\boldsymbol{h}$: 線形変換後の出力
-
特徴量変換 ✨
- データの特徴量を異なる次元の空間に変換したり、より表現力の高い特徴量を作成したりする際に、線形変換が用いられます。
- 例：自然言語処理における単語埋め込み（Word Embeddings）の次元変換。
-
次元削減 📉
- 主成分分析（PCA）などの次元削減手法は、データを低次元の空間に線形変換することで、データの主要な情報を保持しながら次元数を減らします。
-
データの前処理 📊
- データの正規化や標準化など、線形的なスケール変換を行うことで、モデルの学習を安定させたり、高速化したりします。
ニューラルネットワークにおける非線形性との組み合わせ
ニューラルネットワークは、線形変換と非線形活性化関数を組み合わせることで、複雑なパターンを学習する能力を獲得します。
- 線形変換だけでは、どれだけ層を重ねても、結局は一つの線形変換と同じことになってしまい、複雑な非線形な関係性は学習できません。
- 例: $L_2(L_1(\boldsymbol{x})) = A_2(A_1 \boldsymbol{x}) = (A_2 A_1)\boldsymbol{x} = A_{合成}\boldsymbol{x}$ となり、結局1つの線形変換と同じ。
- 間に活性化関数（例: ReLU, Sigmoid, tanh）といった非線形な変換を挟むことで、ニューラルネットワークは任意の複雑な関数を近似できるようになります。
- $\boldsymbol{h}_1 = \text{ReLU}(W_1\boldsymbol{x} + \boldsymbol{b}_1)$
- $\boldsymbol{h}_2 = \text{ReLU}(W_2\boldsymbol{h}_1 + \boldsymbol{b}_2)$
- このように、線形変換と非線形変換の組み合わせが、ディープラーニングの強力な表現力の源となっています。
まとめ 🚀
線形変換は、AIにおけるデータ処理の基礎であり、特にニューラルネットワークの層の演算の多くがこの線形変換（行列の乗算）と、それに続く非線形活性化関数によって構成されています。この基本的な変換を理解することで、より複雑なAIモデルの内部で何が起きているのかを深く把握することができます。
何か他にAIのモデルや概念について知りたいことはありますか？