諸定義
一般の行列というのは$A \in \mathbb{K}^{a_r \times a_c}$についてとします．$a_r,a_c$はそれぞれ行列$A$の行（row）と列(col)です．$\mathbb{K} \in \{ \mathbb{C},\mathbb{R} \}$で，断りがない限りどちらでも良いということにします．
$\cdot^T$は転置のオペレーター，$\overline{\cdot}$は共役オペレーター，$\cdot^H$は共役転置のオペレーターとします．
例：$a_r = 2, a_c = 3$の場合は以下です．
$$A=
\left(\begin{matrix}
a_{1,1} & a_{1,2} & a_{1,3} \
a_{2,1} & a_{2,2} & a_{2,3}
\end{matrix} \right)$$
それでは始めましょう．
ランク
$rank(\cdot)$をランクのオペレーターとしておきます．ランクの同値な定義は複数存在しますが，今回は以下を採用します．
行列$A$のランクとは$A$の非ゼロ特異値の個数
このままでも使いやすいですが，このように読み替えると証明に使いやすくなります．
行列$A$のランクとは以下の条件を満たす線型独立なベクトル$\boldsymbol{v}$の本数である
$A\boldsymbol{v} \neq \boldsymbol{0}$
グラム行列らしきもの
$a_r=a_c$の場合，つまり正方行列である$A$に対して$A^H A$はグラム行列と言います．本章では正方行列に限らずグラム行列らしきもののランクについて記述しておきます．ちなみに$A^H A \in \mathbb{K}^{a_c \times a_c}$の正方行列であるのは明らかですね．
結論を最初に書いておくと，$A^H A$のランクについては以下となります．
$$
rank(A^H A)=rank(A)
$$
証明
まず行列$A$を特異値分解します．ユニタリ行列$U \in \mathbb{K}^{a_r,a_r}$,対角行列$\Sigma \in \mathbb{K}^{a_r,a_c}$,ユニタリ行列$V \in \mathbb{K}^{a_c,a_c}$で以下に分解できます．（ユニタリ行列は$U^H=U^{-1}$です．）
$$A = U \Sigma V^H \tag{1}$$
この時$A^H A$は次式となります．
$$A^H A = \left( U \Sigma V^H \right)^H U \Sigma V^H=V \Sigma^H U^H U \Sigma V^H\
=V \Sigma_{square} V^H \tag{2}$$
$\Sigma_{square}=\Sigma^H \Sigma$の要素は全て非負の実数ですね．式(1),(2)を見比べると非ゼロ特異値の数が一致することは明らかなので特異値の定義からランクが同じなのは明らかですね． □
一度証明してしまえば簡単ですね．同時に$A^H A$の特異値（場合によっては固有値）は非負であるということも証明しています．
$rank(A^H A)=rank(A)$という定理から，$A^H A$が正則( $rank(A^H A)=a_c$ )かどうかを簡単に判定することができます．結論は以下です．
$A^H A$は$a_r<a_c$なる横長行列の時必ず非正則．
$a_r \geq a_c$ならばランク最大状態である$rank(A)=a_c$の場合正則である．
この章のまとめとして次の命題を証明して終わります．
$A^H A + \lambda I\ (\lambda > 0)$は常に正則．
証明
最初に先ほどと同じ議論から，$A^H A = V \Sigma_{square} V^H$が導けます．
次に読み替えた方のランクの定義を利用します．
$A^H A$に対して$(A^H A)\boldsymbol{v} \neq \boldsymbol{0}$なる$\boldsymbol{v} \in \mathbb{K}^{a_c}$が$r_g=rank(A^H A) \leq a_c$本存在します．
ここで特異値$\sigma_i^{square}(\geq 0)$に対応する$V$の縦ベクトル（列ベクトル）$\boldsymbol{v_i}\ (i=1,..,a_c)$を考えると，
$$(A^H A)\boldsymbol{v_i}=\sigma_i^{square}\boldsymbol{v_i}$$
となります．つまり非ゼロ特異値に対応するベクトルが$r_g$本あり，ゼロ特異値に対応するベクトルが$a_c-r_g$本存在します．
これらの$\boldsymbol{v_i}$に対して$A^H A +\lambda I$はどう振る舞うか見てみましょう．
$$(A^H A + \lambda I)\boldsymbol{v_i}=(\sigma_i^{square}+\lambda)\boldsymbol{v_i}\neq\boldsymbol{0}$$
となります．$\sigma_i^{square},\lambda$は非負と正なので非ゼロベクトルとなります．$A^H A$とは違い，$A^HA+\lambda I$は全てのベクトルに対して非ゼロとなるため読み替えた方のランクの定義からフルランクとなります．□
時間があれば可視化のグラフを追加で載せておこうかと思います．