0
0

Delete article

Deleted articles cannot be recovered.

Draft of this article would be also deleted.

Are you sure you want to delete this article?

More than 1 year has passed since last update.

『スタンフォード ベクトル・行列からはじめる最適化数学』10章章末問題の解答(1/2)

Posted at

スタンフォード ベクトル・行列からはじめる最適化数学

の演習問題を解いているが解答が本書内にもネット上にもない模様。自分の解答を晒して間違いにツッコミをいただき理解を深めようという試み。

10章は問題数が多いので2記事に分けます。

  • 問10.1
\begin{align}
x&: n\times1\\
a&: 1\times1\\
とすると\\
xa&: n行1列\\
ax&: 1行n列\times n行1列\\
つまり、行列積とはみなせない。\\
x&:1\times n\\
a&:1\times1\\
ax&:1行n列\\
だから行列積とみなせる。
\end{align}
  • 問10.2
\begin{align}
\mathbf{1}_m^{\top}\mathbf{1}_n&=
\begin{bmatrix}
1 & \cdots & 1 \\
\vdots & \ddots & \vdots\\
1 & \cdots & 1 
\end{bmatrix}
\end{align}
  • 問10.3

    • (a) Aは正方行列
    • (b) これは必ず真とは言えない
    • (c) 真
    • (d) 必ず真とは言えない
  • 問10.4

\begin{align}
A&=
\begin{bmatrix}
I & B & 0 \\
B^{\top} & 0 & 0 \\
0 & 0 & BB^{\top} \\
\end{bmatrix}\\
&=
\begin{bmatrix}
10\times10 & 10\times5 & 10\times10 \\
5\times10 & 5\times5 & 5\times10 \\
10\times10 & 10\times5 & 10\times10 \\
\end{bmatrix}
\end{align}\\
つまり、25\times25
  • 問10.5
\begin{align}
ab^{\top}&=
\begin{bmatrix}
a_1 \\
\vdots \\
a_n
\end{bmatrix}
\begin{bmatrix}
b_1 & \cdots & b_n \\
\end{bmatrix}\\
&=
\begin{bmatrix}
a_1b_1 & \cdots & a_1b_n \\
\vdots & \ddots & \vdots \\
a_nb_1 & \cdots & a_nb_n
\end{bmatrix}\\
ba^{\top}&=
\begin{bmatrix}
b_1 \\
\vdots \\
b_n
\end{bmatrix}
\begin{bmatrix}
a_1 & \cdots & a_n
\end{bmatrix}\\
&=
\begin{bmatrix}
a_1b_1 & \cdots & a_nb_1 \\
\vdots & \ddots & \vdots \\
a_1b_n & \cdots & a_nb_n
\end{bmatrix}\\
\frac{a_i}{b_i}&=c、 cは定数\\
\therefore a&=cb、cは定数
\end{align}
  • 問10.6
\begin{align}
AB&=
\begin{bmatrix}
cos\theta & -sin\theta \\
sin\theta & cos\theta \\
\end{bmatrix}
\begin{bmatrix}
cos\omega & -sin\omega \\
sin\omega & cos\omega \\
\end{bmatrix}\\
&=
\begin{bmatrix}
cos\theta cos\omega - sin\theta sin\omega & -cos\theta sin\omega-sin\theta cos\omega \\
sin\theta cos\omega + cos\theta sin\omega & -sin\theta sin\omega +cos\theta cos\omega \\
\end{bmatrix}\\
&=
\begin{bmatrix}
cos(\theta+\omega) & -sin(\theta+\omega) \\
sin(\theta+\omega) & cos(\theta+\omega)
\end{bmatrix} \\
よってAB&も回転行列であり、回転角度は\theta+\omega \\
ABは&\omega回転の後\theta回転であり、\\
BAは&\theta回転の後\omega回転であるので\\
同じく&\theta+\omega回転する。よって、AB=BA
\end{align} 
  • 問10.7
\begin{align}
x&=(x_1, x_2, x_3)とおくと、最初の回転ではe_3座標は動かないから\\
x'&=(x_1, x_2)とz'=(z_1, z_2)を考える\\
z'&=\begin{bmatrix}
cos40^{\circ} & -sin40^{\circ} \\
sin40^{\circ} & cos40^{\circ} \\
\end{bmatrix}
\begin{bmatrix}
x_1 \\
x_2
\end{bmatrix}\\
&=\begin{bmatrix}
x_1 cos40^{\circ}-x_2 sin40^{\circ} \\
x_1 sin40^{\circ}+x_2 cos40^{\circ} \\
\end{bmatrix}\\
よってz&=(x_1 cos40^{\circ}-x_2 sin40^{\circ},
x_1 sin40^{\circ}+x_2 cos40^{\circ}, x_3)\\
次に&2つ目の回転ではe_1座標は動かないから\\
z'&=(z_2, z_3)とy'=(y_2, y_3)のみを考える\\
y'&=\begin{bmatrix}
cos20^{\circ} & -sin20^{\circ} \\
sin20^{\circ} & cos20^{\circ} \\
\end{bmatrix}
\begin{bmatrix}
z_2 \\
z_3
\end{bmatrix}\\
&=\begin{bmatrix}
z_2 cos20^{\circ}-z_3 sin20^{\circ} \\
z_2 sin20^{\circ}+z_3 cos20^{\circ} \\
\end{bmatrix}\\
&=\begin{bmatrix}
(x_1 sin40^{\circ}+x_2 cos40^{\circ}) cos20^{\circ}-x_3 sin20^{\circ} \\
(x_1 sin40^{\circ}+x_2 cos40^{\circ}) sin20^{\circ}+x_3 cos20^{\circ} \\
\end{bmatrix}\\
\therefore y&=\begin{bmatrix}
x_1cos40^{\circ}-x_2sin40^{\circ} \\
(x_1 sin40^{\circ}+x_2 cos40^{\circ}) cos20^{\circ}-x_3 sin20^{\circ} \\
(x_1 sin40^{\circ}+x_2 cos40^{\circ}) sin20^{\circ}+x_3 cos20^{\circ} \\
\end{bmatrix}\\
y&=AxとするとAは\\
A&=\begin{bmatrix}
cos40^{\circ} & sin40^{\circ} & 0 \\
sin40^{\circ}cos20^{\circ} & cos40^{\circ}cos20^{\circ} & -sin20^{\circ} \\
sin40^{\circ}sin20^{\circ} & cos40^{\circ}sin20^{\circ} & cos20^{\circ} \\
\end{bmatrix}\\
AA^{\top}&=
\begin{bmatrix}
cos40^{\circ} & sin40^{\circ} & 0 \\
sin40^{\circ}cos20^{\circ} & cos40^{\circ}cos20^{\circ} & -sin20^{\circ} \\
sin40^{\circ}sin20^{\circ} & cos40^{\circ}sin20^{\circ} & cos20^{\circ} \\
\end{bmatrix}
\begin{bmatrix}
cos40^{\circ} & sin40^{\circ}cos20^{\circ} & sin40^{\circ}sin20^{\circ} \\
-sin40^{\circ}  & cos40^{\circ}cos20^{\circ} & cos40^{\circ}sin20^{\circ} \\
0             & -sin20^{\circ} & cos20^{\circ} \\
\end{bmatrix}\\
&=
\begin{bmatrix}
cos^2 40^{\circ}+sin^2 40^{\circ} & cos40^{\circ}sin40^{\circ}cos20^{\circ}-cos40^{\circ}sin40^{\circ}cos20^{\circ} & cos40^{\circ}sin40^{\circ}sin20^{\circ}-cos40^{\circ}sin40^{\circ}sin20^{\circ} \\
sin^2 40^{\circ}cos^2 40^{\circ}cos20^{\circ}-
sin^2 40^{\circ}cos^2 40^{\circ}cos20^{\circ} & sin^2 40^{\circ}cos^2 20^{\circ}+cos^2 40^{\circ}cos^2 20^{\circ}+sin^2 20^{\circ} & sin^2 40^{\circ}sin20^{\circ}+cos^2 40^{\circ}sin20^{\circ}-sin20^{\circ}cos20^{\circ} \\
sin40^{\circ}cos40^{\circ}sin20^{\circ}-sin40^{\circ}cos40^{\circ}sin20^{\circ} & sin^2 40^{\circ}cos20^{\circ}sin20^{\circ}+cos^2 40^{\circ}sin20^{\circ}cos20^{\circ}-cos20^{\circ}sin20^{\circ} & sin^2 40^{\circ}sin^2 20^{\circ}+cos^2 40^{\circ}sin^2 20^{\circ}+cos^2 20^{\circ} \\
\end{bmatrix}\\
&=
\begin{bmatrix}
1 & 0 & 0 \\
0 & 1 & 0 \\
0 & 0 & 1 \\
\end{bmatrix}\\
よって&Aは直行行列である。
\end{align}
  • 問10.8
\begin{align}
D_{ij}&=\sum_{k=1}^{n}{\sum_{l=1}^p{A_{ik}B_{kl}C_{lj}}}\\
&=A_{i1}B_{11}C_{1j}+A_{i1}B_{12}C_{2j}+\cdots+A_{i1}B_{1p}C_{pj}\\
&+A_{i2}B_{21}C_{1j}+A_{i2}B_{22}C_{2j}+\cdots+A_{i2}B_{2p}C_{pj}\\
&+\cdots+\cdots+A_{in}B_{np}C_{pj}\\
&よって(10.1)に対応している。
\end{align}
  • 問10.9
\begin{align}
B&=DA\\
D&=
\begin{bmatrix}
d_1 & 0 & \cdots & \cdots & 0 \\
0   & d_2 & 0 & \cdots & 0 \\
0   & \cdots   & \ddots & & \vdots \\
\vdots & & & \ddots \\
0 & \cdots & \cdots & \cdots & d_m \\
\end{bmatrix}\\
A&=\begin{bmatrix}
a_{11} & \cdots & a_{1n} \\
\vdots & \ddots & \vdots \\
a_{m1} & \cdots & a_{mn} \\
\end{bmatrix}\\
\therefore B&=\begin{bmatrix}
d_1a_{11} & \cdots & d_1a_{1n} \\
\vdots    & \ddots & \vdots    \\
d_ma_{m1} & \cdots & d_ma_{mn} \\
\end{bmatrix}
\end{align}
  • 問10.10
\begin{align}
&\begin{bmatrix}
p_1 & 0   & \cdots &   & 0 \\
0   & p_2 & 0 & \cdots & 0 \\
\vdots &  & \ddots &   & \vdots \\
0 &  & \cdots &       & p_n \\
\end{bmatrix}
\begin{bmatrix}
q_{11} & q_{12} & \cdots & q_{1N} \\
q_{21} &        &        &        \\
\vdots &        & \ddots & \vdots \\
q_{n1} &        & \cdots & q_{nN} \\
\end{bmatrix}\\
&となれば良いから\\
&diag(P)Q
\end{align}
  • 問10.11
    • (a)
\begin{align}
A&=\begin{bmatrix}
A_{11} & \cdots & A_{1n} \\
\vdots & \ddots & \vdots \\
A_{m1} & \cdots & A_{mn} \\
\end{bmatrix}\\
Bも&同様とおくと、\\
A^{\top}B&=\begin{bmatrix}
A_{11} & \cdots & A_{m1} \\
\vdots & \ddots & \vdots \\
A_{1n} & \cdots & A_{nm} \\
\end{bmatrix}
\begin{bmatrix}
B_{11} & \cdots & B_{1n} \\
\vdots & \ddots & \vdots \\
B_{m1} & \cdots & B_{mn} \\
\end{bmatrix}\\
&=\begin{bmatrix}
A_{11}B_{11}+A_{21}B{21}+\cdots+A_{m1}B_{m1} & \cdots \\
\vdots & \ddots & \vdots \\
 &  & A_{1n}B_{1n}+\cdots+A_{mn}B_{mn} \\
\end{bmatrix}\\
\therefore tr(A^{\top}B) &=\sum_{i=1}^m{\sum_{j=1}^n{A_{ij}B_{ij}}}\\
計算量&はmn
\end{align}
    • (b)
\begin{align}
tr(A^{\top}B)&=\sum_{i=1}^m{\sum_{j=1}^n{A_{ij}B_{ij}}} \\
tr(B^{\top}A)&=\sum_{i=1}^m{\sum_{j=1}^n{B_{ij}A_{ij}}} \\
&=\sum_{i=1}^m{\sum_{j=1}^n{A_{ij}B_{ij}}} \\
&=tr(A^{\top}B)
\end{align}
    • (c)
\begin{align}
tr(A^{\top}A)&=\sum_{i=1}^m{\sum_{j=1}^n{A_{ij}A_{ij}}} \\
&=\sum_{i=1}^m{\sum_{j=1}^n{A_{ij}^2}} \\
(6.3)&より \\
\|A\|&=\sqrt{\sum_{i=1}^m{\sum_{j=1}^n{A_{ij}^2}}} \\
\|A\|^2&=\sum_{i=1}^m{\sum_{j=1}^n{A_{ij}^2}} \\
\therefore & tr(A^{\top}A)&=\|A\|^2
\end{align}
    • (d)
\begin{align}
BA^{\top}&=\begin{bmatrix}
B_{11} & \cdots & B_{1n} \\
\vdots & \ddots & \vdots \\
B_{m1} & \cdots & B_{mn} \\
\end{bmatrix}
\begin{bmatrix}
A_{11} & \cdots & B_{m1} \\
\vdots & \ddots & \vdots \\
A_{1n} & \cdots & A_{mn} \\
\end{bmatrix}\\
&=\begin{bmatrix}
B_{11}A_{11}+B_{12}A_{12}+\cdots+B_{1n}A_{1n} & \cdots \\
\vdots & \ddots & \\
       &        & B_{m1}A_{m1}+\cdots+B_{mn}A_{mn} \\
\end{bmatrix}\\
tr(BA^{\top})&=\sum_{i=1}^m{\sum_{j=1}^n{B_{ij}A_{ij}}} \\
&=\sum_{i=1}^m{\sum_{j=1}^n{A_{ij}B_{ij}}} \\
&=tr(A^{\top}B)
\end{align}
  • 問10.12
\begin{align}
a_1^{\top},& \cdots, a_m^{\top}をAの行\\
b_1,& \cdots, b_nをBの列とする\\
\|AB\|^2&=\sum_{i=1}^m{\sum_{j=1}^n{(a_i^{\top}b_j})^2}\\
コーシー&シュワルツの不等式\\
\|a^{\top}b\|&\le\|a\|\|b\| より\\
\|AB\|^2&=\sum_{i=1}^m{\sum_{j=1}^n{(a_i^{\top}b_j})^2}\\
&=\|A^{\top}B\| \\
&\le\|a\|\|b\|
\end{align}
  • 問10.13
    • (a)
\begin{align}
v^{\top}Lv&=v^{\top}AA^{\top}v \\
&=(A^{\top}v)^{\top}A^{\top}v \\
&=\|Av\|^2
\end{align}
    • (b)7.3節の例で考えると、
\begin{align}
AA^{\top} of &=\begin{bmatrix}
-1 & -1 &  0 &  1 &  0 \\
 1 &  0 & -1 &  0 &  0 \\
 0 &  0 &  1 & -1 & -1 \\
 0 &  1 &  0 &  0 &  1 \\
\end{bmatrix}
\begin{bmatrix}
-1 &  1 &  0 &  0 \\
-1 &  0 &  0 &  1 \\
 0 & -1 &  1 &  0 \\
 1 &  0 & -1 &  0 \\
 0 &  0 & -1 &  1 \\
\end{bmatrix} \\
&=\begin{bmatrix}
 3 & -1 & -1 & -1 \\
-1 &  2 & -1 &  0 \\
-1 & -1 &  3 & -1 \\
-1 &  0 & -1 &  2 \\
\end{bmatrix}\\
よって、&対角要素は各節点の辺の数。\\
(i, j)要素は&節点i, j間の辺の数\times(-1)\\
としたもの
\end{align}

  • 問10.14
\begin{align}
A&=\begin{bmatrix}
a_1 & a_2 & \cdots & a_n \\
\end{bmatrix} \\
\|a_1\|&=\cdots=\|a_n\|=1 \\
i&\ne j \implies \angle(a_i, a_j)=60^{\circ} \\
a_ia_hj&=\|a_i\|\|a_j\|cos60^{\circ} \\
A^{\top}A&=\begin{bmatrix}
1 & \frac{1}{2} & \cdots & \frac{1}{2} \\
\frac{1}{2} & 1 & & \vdots \\
\vdots & & \ddots & \\
\frac{1}{2} & \cdots & & 1 \\
\end{bmatrix} \\
で何を&どう答えれば良いか分からず
\end{align}
  • 問10.15
\begin{align}
G&=A^{\top}A \\
&=\begin{bmatrix}
a_1 \\
a_2 \\
\vdots \\
a_n \\
\end{bmatrix}
\begin{bmatrix}
a_1 & a_2 & \cdots & a_n \\
\end{bmatrix} \\
&=\begin{bmatrix}
a_{11}^2+a_{12}^2+a_{1m}^2 & \cdots & a_{1m}a_{m1}+\cdots+a_{1m}a_{nm} \\
\vdots & & \vdots \\
a_{n1}^2+a_{n2}^2+\cdots+a_{nm}^2 & \cdots & a_{n1}^2+\cdots+a_{nm}^2 \\
\end{bmatrix} \\
\|a_i-a_j\|&=\sqrt{(a_{i1}-a_{j1})^2+(a_{i2}-a_{j2})^2+\cdots+(a_{in}-a_{jn})^2} \\
&=\sqrt{a_{i1}^2+a_{i2}^2+\cdots+a_{in}^2+a_{j1}^2+\cdots+a_{jn}^2-2(a_{i1}a_{j1}+\cdots+a_{in}a_{jn})} \\
&=\sqrt{G_{ii}+G_{jj}-2G_{ij}}
\end{align}
  • 問10.16
    • (a)
\begin{align}
\mu_i&=avg(a_i) \\
&=\frac{1}{k}\sum_{j=1}^k{A_{ij}}
\end{align}
    • (b)$\tilde{a_i}は\tilde{a_1}の誤植か?$
\begin{align}
\tilde{a_i}&=a_i-\mu_i \\
\tilde{A}&=\begin{bmatrix}
a_1-\mu_1 & a_2-\mu_2 & \cdots & a_i\mu_i & \cdots & a_k\mu_k \\
\end{bmatrix} \\
&=A-\mu
\end{align}
    • (c)
\begin{align}
\sum_{ij}&=\frac{1}{n}\tilde{A^{\top}}\tilde{A} \\
&=\frac{1}{n}(A-\mu)^{\top}(A-\mu) \\
i&=j の時 \\
\sum_{ij}&=\frac{1}{n}(A_{ij}-\mu_i)^{\top}(A_{ij}-\mu_i) \\
は、変数&とその平均の差の2乗を変数の数で割ったものだから\\
std(a_i)^2& となる \\
i&\ne j の時 \\
\rho_{ij}&=\frac{std(a_i a_j)}{std(a_i)std(a_j)} より \\
\sum_{ij}&=std(a_i a_j)
\end{align}
    • (d)
\begin{align}
z_i&=\frac{\tilde{a_i}}{std(a_i)}より \\
Z&=\begin{bmatrix}
\frac{a_1-\mu_1}{std(a_1)} & \cdots \frac{a_k-\mu_k}{std(a_k)} \\
\end{bmatrix}
\end{align}
  • 問10.17
    • (a)
\begin{align}
S\mathbf{1}&=\begin{bmatrix}
S_{ij} \\
\end{bmatrix}
\begin{bmatrix}
1 \\
\vdots \\
1 \\
\end{bmatrix} \\
&=\begin{bmatrix}
s_{11} + s_{12} + \cdots + s_{1n} \\
\vdots \\
s_{N1} + s_{N2} + \cdots + s_{Nn} \\
\end{bmatrix} \\
つまり、&患者ごとに発症している症状数
\end{align}
    • (b)
\begin{align}
S^{\top}\mathbf{1}&=\begin{bmatrix}
S_{ji} \\
\end{bmatrix}
\begin{bmatrix}
1 \\
\vdots \\
1 \\
\end{bmatrix} \\
&=\begin{bmatrix}
s_{11} + s_{12} + \cdots + s_{1N} \\
\vdots \\
s_{n1} + s_{N2} + \cdots + s_{nN} \\
\end{bmatrix} \\
つまり、&症状ごとの患者数
\end{align}
    • (c)
\begin{align}
S^{\top}S&=\begin{bmatrix}
S_{ji} \\
\end{bmatrix}
\begin{bmatrix}
S_{ij} \\
\end{bmatrix} \\
&=\begin{bmatrix}
s_{11}^2 + s_{21}^2 + \cdots + s_{N1}^2 & s_{11}s_{12}+s_{21}s_{22}+\cdots + s_{N1}s_{N2} + \cdots \\
\vdots \\
\end{bmatrix} \\
つまり、&症状jとj'を併発しているか否か
\end{align}
    • (d)
\begin{align}
SS^{\top}&=\begin{bmatrix}
S_{ij} \\
\end{bmatrix}
\begin{bmatrix}
S_{ji} \\
\end{bmatrix} \\
&=\begin{bmatrix}
s_{11}^2 + s_{12}^2 + \cdots + s_{1N}^2 & s_{11}s_{21}+s_{12}s_{22}+\cdots + s_{1N}s_{2N} + \cdots \\
\vdots \\
\end{bmatrix} \\
つまり、&患者iとi'が同じ症状か否か
\end{align}
  • 問10.18
    • (a)N次元ベクトルは、n次元ベクトルの誤植でしょうか?
\mathbf{E}=\mathbf{1}^{\top}\mathbf{C}
    • (b)
\mathbf{S}=\mathbf{C}^{\top}\mathbf{M}
  • 問10.19
    • (a) グループ3に学生iが属しているか否か
    • (b) 学生15がグループjに属しているか否か
    • (c) $\mathbf{M}=\mathbf{1}^{\top}\mathbf{G}$
    • (d) 学生iとjが一緒に属しているグループ数
\begin{align}
(GG^{\top})_{ij}&=\sum_{j=1}^n{G_{ij}G_{ji}} \\
\end{align}
    • (e) グループiとjに同時に属している学生数
\begin{align}
(G^{\top}G)_{ij}&=\sum_{j=1}^n{G_{ji}G_{ij}} \\
\end{align}
  • 問10.20

    • $T_{pl}=Q_{mp}^{\top}C_{lm}^{\top}$
  • 問10.21

\begin{align}
J&=\int_0^1{p(x)q(x)dx} \\
&=\int_0^1{(c_1+c_2x+c_3x^2)(d_1+d_2x+d_3x^2)dx} \\
&=[c_1d_1x+\frac{c_1d_2+c_2d_1}{2}x^2+\frac{c_1d_3+c_2d_d+c_3d_1}{3}x^3+\frac{c_3d_2+c_2d_3}{4}x^4+\frac{c_3d_3}{5}x^5]_0^1 \\
&=c_1d_1+\frac{c_1d_2+c_2d_1}{2}+\frac{c_1d_3+c_2d_d+c_3d_1}{3}+\frac{c_3d_2+c_2d_3}{4}+\frac{c_3d_3}{5} \\
&=c^{\top}Gd \\
&=G_{11}c_1d_1+G_{12}c_1d_2+G_{13}c_1d_3+G_{21}c_2d_1+G_{22}c_2d_2+G_{23}c_2d_3+G_{31}c_3d_1+G_{32}c_3d_2+G_{33}c_3d_3\\
\therefore G&=\begin{bmatrix}
1 & \frac{1}{2} & \frac{1}{3} \\
\frac{1}{2} & \frac{1}{3} & \frac{1}{4} \\
\frac{1}{3} & \frac{1}{4} & \frac{1}{5} \\
\end{bmatrix}
\end{align}

問23から問44は次の記事に続きます


0
0
0

Register as a new user and use Qiita more conveniently

  1. You get articles that match your needs
  2. You can efficiently read back useful information
  3. You can use dark theme
What you can do with signing up
0
0

Delete article

Deleted articles cannot be recovered.

Draft of this article would be also deleted.

Are you sure you want to delete this article?