私が現役時代に解いた問題です。
数学の成績が一番良かったのに理学部化学科に入り、後に有機化学で挫折し総合科学部に転学部し、結局理学研究科に進学して流体力学の研究をしたという学生時代でした。

レイアウトの関係上、問題文は原文と表現を変えてあります。

問題文

実数$a,b$に対して、２次正方行列$A,\ E$、列ベクトル$B$を

A = \left( \begin{array}{cc} 
a & 2-a \\ 
1+a & 2
\end{array} \right),\ 
E = \left( \begin{array}{cc} 
1 & 0 \\ 
0 & 1
\end{array} \right),\ 
B = \left( \begin{array}{cc} 
2b\\ 
b
\end{array} \right)

と定める。等式

\left(
\begin{array}{cc} 
x'\\ 
y'
\end{array}
\right) =
A \left(
\begin{array}{cc} 
x\\ 
y
\end{array}
\right)
+ B

により、座標平面上の点$P(x,y)$に対し点$P'(x',y')$が定まるものとする。次の問に答えよ。

(1)$a=b=-1$のとき、点$P'(3,2)$となる点$P(x,y)$を求めよ。

(2)$A^2 = kE$（$k$は実数）を満たす時、$a,k$を求めよ。

(3)どんな点$P$に対しても点$P'$が原点$O$に一致しないための$a,b$の条件を求めよ。

読んで思ったこと

行列大好き。大学でも線形代数だけは成績良かった。
(1)は素直に解く問題。
(2)は$A^2$を計算するのは悪手。ケーリー・ハミルトンの出番やで。
(3)は点$P'$が原点になるような点$P$以外が答えになるんだろう。
あと、どこかはわからないけど$A$が正則かどうかの分岐があってもおかしくない。

解答

(1)
$a=b=-1$のとき

A = \left(
\begin{array}{cc} 
-1 & 3 \\ 
0 & 2
\end{array}
\right),\ 
B = \left(
\begin{array}{cc} 
-2\\ 
-1
\end{array}
\right)

点$P'(3,2)$と合わせて等式

\left(
\begin{array}{cc} 
x'\\ 
y'
\end{array}
\right) =
A \left(
\begin{array}{cc} 
x\\ 
y
\end{array}
\right)
+ B\ \cdots \  [1]

に代入して

\left(
\begin{array}{cc} 
3\\ 
2
\end{array}
\right) =
\left(
\begin{array}{cc} 
-1 & 3 \\ 
0 & 2
\end{array}
\right)
\left(
\begin{array}{cc} 
x\\ 
y
\end{array}
\right)
+
\left(
\begin{array}{cc} 
-2\\ 
-1
\end{array}
\right) =
\left(
\begin{array}{cc} 
-x+3y-2\\ 
2y-1
\end{array}
\right)

これを解くと$x=-\frac12,\ y=\frac32$なので、

P\left( -\frac12,\ \frac32 \right)

(2)

\det A = 2a - (2-a)(1+a) = a^2 + a - 2,\ \operatorname{tr}A = a+2

なので、ケーリー・ハミルトンの定理から

\begin{align}
A^2 - (a+2)A + (a^2+a-2)E &= O\\
\Leftrightarrow\ \ kE - (a+2)A + (a^2+a-2)E &= O\\
\Leftrightarrow\ \ - (a+2)A + (k+a^2+a-2)E &= O\ \cdots\ [2]
\end{align}

(a)$a=-2$のとき、$kE=O$となり$k=0$
(b)$a \ne -2$のとき、$[2]$より

A = \frac{k+a^2+a-2}{a+2}E

となる。右辺の$(1,2)$成分、$(2,1)$成分はともに0であるので$2-a = 1+a = 0$となるが、これを満たす実数$a$は存在しない。

以上より、$a=-2,\ k=0$

(3)
点$P'$が原点に一致する場合、$[1]$より

\begin{align}
\left(\begin{array}{cc} 
0\\ 
0
\end{array}\right) &=
A \left(\begin{array}{cc} 
x\\ 
y
\end{array}\right)
+ B\\
\Leftrightarrow\ \ A \left(\begin{array}{cc} 
x\\ 
y
\end{array}\right) &= -B\ \cdots\ [3]
\end{align}

(a)$\det A = 0$（$a=-2,1$）のとき
(a-1)$a=-2$のとき

A = \left(\begin{array}{cc} 
-2 & 4 \\ 
-1 & 2
\end{array}\right)

を$[3]$に代入して

\begin{align}
\left(\begin{array}{cc} 
-2 & 4 \\ 
-1 & 2
\end{array}\right)
\left(\begin{array}{cc} 
x\\ 
y
\end{array}\right) &=
\left(\begin{array}{cc} 
2b\\ 
b
\end{array}\right)\\
\Leftrightarrow\ \ -2x+4y=2b&,\ -x+2y=b
\end{align}

よって点$P(x,y)$は直線$-x+2y=b$上に存在する。

(a-2)$a=1$のとき

A = \left(\begin{array}{cc} 
1 & 1 \\ 
2 & 2
\end{array}\right)

を$[3]$に代入して

\begin{align}
\left(\begin{array}{cc} 
1 & 1 \\ 
2 & 2
\end{array}\right)
\left(\begin{array}{cc} 
x\\ 
y
\end{array}\right) &=
\left(\begin{array}{cc} 
2b\\ 
b
\end{array}\right)\\
\Leftrightarrow\ \ x+y=2b&,\ 2x+2y=b
\end{align}

$b=0$の場合、点$P(x,y)$は直線$x+y=0$上に存在する。
$b \ne 0$の場合、$[3]$を満たす点$P(x,y)$は存在しない。

(b)$\det A \ne 0$のとき

\left(\begin{array}{cc} 
x\\ 
y
\end{array}\right) = -A^{-1}B

となり、点$P(x,y)$は存在する。

以上より、どんな点$P$に対しても点$P'$が原点$O$に一致しない条件は、$a=1,\ b \ne 0$

おまけ

行列はやっぱり対角化したり$n$乗したり、やってみたくなるものです。
$A$が対角化可能であることの必要十分条件は「一次独立な固有ベクトルを２本取れること」です。

行列$A$の固有値$\lambda$、固有ベクトル$\overrightarrow{v}$は

A\overrightarrow{v} = \lambda \overrightarrow{v}\ \cdots\ [4]

を満たします。
$[4]$を変形すると

(A - \lambda E) \overrightarrow{v} = \overrightarrow{0}

となり、$\overrightarrow{v} \ne \overrightarrow{0}$とすると$|A - \lambda E| = 0$を満たすので

\begin{align}
|A - \lambda E| &= (a - \lambda)(2 - \lambda) - (2-a)(1+a)\\
&= \lambda^2 - (a+2) \lambda + a^2 + a - 2
\end{align}

となります。
相異なる実数の固有値がとれるには上の２次方程式の判別式($=:D$)が正であればよいので

\begin{align}
D &= (a+2)^2 - 4(a^2 + a - 2)\\
&= -3a^2 + 12\\
&= -3(a+2)(a-2) > 0\\
\Leftrightarrow\ \  & -2 < a < 2
\end{align}

この範囲内の$a$であれば固有値を２つ取れます。仮に$a=-1$とします。

A = \left( \begin{array}{cc} 
a & 2-a \\ 
1+a & 2
\end{array} \right) = \left( \begin{array}{cc} 
-1 & 3 \\ 
0 & 2
\end{array} \right)

固有値方程式は

\lambda^2 - (a+2) \lambda + a^2 + a - 2 = \lambda^2 - \lambda - 2 = 0\\
\Leftrightarrow\ \ \lambda = -1,2

$\lambda = -1$のとき

(A + E) \overrightarrow{v_1} = \left( \left( \begin{array}{cc} 
-1 & 3 \\ 
0 & 2
\end{array} \right) + \left( \begin{array}{cc} 
1 & 0 \\ 
0 & 1
\end{array} \right) \right) \left( \begin{array}{c} 
u\\
v
\end{array} \right) = \left( \begin{array}{cc}
0 & 3\\
0 & 3
\end{array} \right) 
\left( \begin{array}{c} 
u\\
v
\end{array} \right) = \overrightarrow{0}\\
\Leftrightarrow\ \ v=0\ \ \Leftrightarrow\ \ \overrightarrow{v} = \left( \begin{array}{c}
1\\
0
\end{array} \right)

$u$は任意の実数なので、零ベクトルにならないように$u=1$としました。

$\lambda=2$のとき

(A - 2E) \overrightarrow{v_2} = \left( \left( \begin{array}{cc} 
-1 & 3 \\ 
0 & 2
\end{array} \right) - \left( \begin{array}{cc} 
2 & 0 \\ 
0 & 2
\end{array} \right) \right) \left( \begin{array}{c} 
u\\
v
\end{array} \right) = \left( \begin{array}{cc}
-3 & 3\\
0 & 0
\end{array} \right) 
\left( \begin{array}{c} 
u\\
v
\end{array} \right) = \overrightarrow{0}\\
\Leftrightarrow\ \ -u+v=0\ \ \Leftrightarrow\ \ \overrightarrow{v} = \left( \begin{array}{c}
1\\
1
\end{array} \right)

よって

P = (\overrightarrow{v}_1\ \  \overrightarrow{v}_2) = \left( \begin{array}{cc} 
1 & 1 \\ 
0 & 1
\end{array} \right)

と置くことで、

P^{-1}AP = \left( \begin{array}{cc} 
-1 & 0 \\ 
0 & 2
\end{array} \right)

と対角化できます。（もちろん$P$が正則か確認する必要がありますが、明らかに$\det P \ne 0$です）

これを$n$乗して

\begin{align}
P^{-1} A^n P &= \left( \begin{array}{cc} 
(-1)^n & 0 \\ 
0 & 2^n
\end{array} \right) P\\
\Leftrightarrow\ \ A^n &= P \left( \begin{array}{cc} 
(-1)^n & 0 \\ 
0 & 2^n
\end{array} \right) P^{-1}\\
&= \left( \begin{array}{cc} 
1 & 1 \\ 
0 & 1
\end{array} \right) \left( \begin{array}{cc} 
(-1)^n & 0 \\ 
0 & 2^n
\end{array} \right) \left( \begin{array}{cc} 
1 & -1 \\ 
0 & 1
\end{array} \right)\\
&= \left( \begin{array}{cc} 
(-1)^n & 2^n\\
0 & 2^n
\end{array} \right) \left( \begin{array}{cc} 
1 & -1 \\ 
0 & 1
\end{array} \right)\\
&= \left( \begin{array}{cc} 
(-1)^n & (-1)^{n+1} + 2^n\\
0 & 2^n
\end{array} \right)
\end{align}

念の為に確認で$n=2$を代入すると

A^2 = \left( \begin{array}{cc} 
-1 & 3 \\ 
0 & 2
\end{array} \right)^2 = \left( \begin{array}{cc} 
1 & 3 \\ 
0 & 4
\end{array} \right) = \left( \begin{array}{cc} 
(-1)^2 & (-1)^{3} + 2^2\\
0 & 2^2
\end{array} \right)

となりOKです。

※ただまぁこんな手計算をするのは線形代数の授業だけで、実際はPythonにやらせちゃえばいいと思います

そもそもなぜ行列から固有値を求める気持ちが生まれたのかは、こちらの記事が参考になります。
【数学】固有値・固有ベクトルとは何かを可視化してみる

ふりかえり

4STEPレベルの問題だね。おそらく実際に解いたときは(3)はほっといた気がする。
今解いてみると大したことなかった。