##背景

データサイエンスを始めるにあたり、Chainer Tutorialをやりました。
初学者にもわかりやすい文章で、数学やpythonの基本から教えてくれるので、機械学習の入門にはおすすめだと思います（しかも無料！）。
準備編の最後に演習問題がついていますが、復習がてら解答をまとめ、投稿しようと思った次第です。

Chainerチュートリアル Step1演習問題の解答1（本記事）　→ 問題2, 4
Chainerチュートリアル Step1演習問題の解答2　→ 問題5, 6

##問2.1（組み込み関数）


a = [4, 8, 3, 4, 1]

#リストaの長さを求める
res = len(a)
print(res)

#リストaに含まれる値の最大値を求める。
res = max(a)
print(res)

#リストaに含まれる値の最小値を求める。
res = min(a)
print(res)

#リストaに含まれる値の合計値を求める。
res = sum(a)
print(res)

#リストaをソートして、[1, 3, 4, 4, 8] というリストを返す。
res = sorted(a)
print(res)

##問2.3（リストの基本操作）


#リストaの先頭の要素を取り除いて、[8, 3, 4, 1] となるようにして下さい。
a = [4, 8, 3, 4, 1]
a.pop(0)
print(a)

#リストaの末尾の要素を取り除いて、[4, 8, 3, 4] となるようにして下さい。
a = [4, 8, 3, 4, 1]
a.pop()
print(a)

配列の削除にはpopメソッドを使います。引数xを指定して、pop(x)とすると、インデックスがxに等しい場所の要素を取り除きます。
引数に何も指定しない場合は、デフォルトで末尾の要素1つを削除します。


#リストaの末尾に 100 という値を追加して、[4, 8, 3, 4, 1, 100] となるようにして下さい。
a = [4, 8, 3, 4, 1]
a.append(100)
print(a)

appendメソッドは末尾に引数の値を追加します。

ちなみに、先頭に追加したい時はinsertメソッドを用いて、第一引数に追加したい場所、第二引数に追加したい要素を指定します。


a = [4, 8, 3, 4, 1]
a.insert(0, 100)
print(a)

##問2.4（リスト内包表記）

#####1. a=[4, 8, 3, 4, 1] というリストに対し、要素が偶数なら 0, 奇数なら 1 に変換するコードをリスト内包表記を用いて書いて下さい。この結果、このリストは [0, 0, 1, 0, 1] に変換されるべきです。


a=[4, 8, 3, 4, 1]

def convert(list):
    result = [0 if x % 2 == 0 else 1 for x in list]
    print(result)

convert(a)

#####2. 1.で書いたコードと組み込み関数を組み合わせて、リスト a に含まれる奇数の個数を数えるコードを書いて下さい。

1の関数で、奇数は1・偶数は0に変換されてますから、変換後の配列の全ての要素を足した数は、リストaに含まれる奇数の個数と等しくなるはずです。

a=[4, 8, 3, 4, 1]

def odd_num(list):
    result = [0 if x % 2 == 0 else 1 for x in list]
    print(sum(result))

odd_num(a)

#####3.リスト内包表記を使ってリスト a から奇数の要素だけを残すコードを書いて下さい。

a=[4, 8, 3, 4, 1]

def odd_only(list):
    result = [x for x in list if x % 2 == 1]
    print(result)

odd_only(a)

##問2.5（文字列）

#####1. str.join() を使って、0 から 99 までの数をスペース区切りで並べた文字列 "0 1 2 3 4 ... 99" を構成して下さい。

joinメソッドは、文字列に対する組み込み関数です。引数に配列を与えることで、配列内の要素を文字列で区切った、一つの文字列を形成します。


a = [str(x) for x in range(100)] #[0,1,2, ・・・, 98, 99]という配列を作る

str = ' '.join(a) #半角スペースに対してjoinを使うことで、配列要素をスペースで区切った１つの文字列を作る
print(str)

#####2. str.format() を使って float の値 (1.0 / 7.0) の小数点以下9桁までを表示して下さい。

formatメソッドは、文字列内の{ }で囲まれたエリアに対し、引数で受けた値を埋め込みます。
{インデックス番号：書式設定}としてかき、インデックス番号は位置を、書式設定は桁数などを指定できます。
インデックス番号は省略できます。


sentence = "{0}は{1}です".format("クジラ", "哺乳類")
print(sentence)

>>クジラは哺乳類です

小数点を指定する時は、{: .数字f}とします。


num = 1.0/7.0

print('{0:.9f}'.format(num)) #インデックス番号を省略し、print('{:.9f}'.format(num))でもok

##問2.6（クラス）


class DataManager:
    #3つの数 x, y, z をコンストラクタで受け取り、インスタンスの属性でそれぞれの値を記憶する。
    def __init__(self, x, y, z):
            self.x = x
            self.y = y
            self.z = z

    #add_x(self, delta): x に delta だけ足して、値を更新する。
    def add_x(self, delta):
            self.x += delta

    #add_y(self, delta): y に delta だけ足して、値を更新する。
    def add_y(self, delta):
            self.y += delta

    #add_z(self, delta): z に delta だけ足して、値を更新する。
    def add_z(self, delta):
            self.z += delta

    #sum(self): x, y, z の3つの数の合計値を返す。
    def sum(self):
        return self.x + self.y + self.z

##問2.8（制御構文）

list = [i+2 for i in range(98)] #2~100までのリスト
prime_numbers = [] #素数を格納するリスト

for a in list: 
    k = a - 1 #2~98までの数字について、自分自身未満の値で割っていくのを繰り返す
    while k > 1:
        if a % k == 0: #途中で割り切れる数字が出現したら素数ではないので終了
          break
        else:
            k -= 1
    if k == 1: #途中で割り切れる数字がなく、kが1となるまで下がりきれたら、それは素数である
        prime_numbers.append(a)
    
print(prime_numbers)

##問4.1（導関数）

##問4.2（線形性）

##問4.3（積の微分）

##問4.4（合成関数の微分）

##問4.5（合成関数の微分）
#####1.𝑔(𝑥)=𝑥^4+2^𝑥2+2 となることを確認して下さい。また、これより 𝑔′(𝑥)=4𝑥3+4𝑥 となることを確認して下さい。

#####2.一方で、合成関数の微分則によって 𝑔′(𝑥) を計算し、(1) で求めた導関数と一致することを確認して下さい。

1.で求めた式と一致しています。

#####3.ℎ(𝑥)=𝑓(𝑓(𝑓(𝑥))) とします。合成関数の微分によって ℎ′(𝑥) を計算して下さい。

##問4.6（指数関数・対数関数）

#####1.


import math  # exp を呼び出すために math モジュールをインポート

def f(x):
    return math.exp(x)

def dfdx_approx(x):
    dh = 0.0001
    return (f(x + dh) - f(x)) / dh

x = [-3, -2, -1, 0, 1, 2, 3]

for i in x:
    print('df({})dx = {}'.format(i,dfdx_approx(i)))
    print('exp({}) = {}'.format(i, math.exp(i)))
    print()

x = 3 ~ 3までの代入を行うため、それらが入ったリストを作ります。
今回は、代入した数字と、その結果どう言った数値になったかを見やすくするため、formatメソッドを利用し、代入した数字iと、df(x)/dxおよびexp(x)を出力しています。

##問4.7（ニューラルネットワーク関数の微分）

#####1.

ReLU(x)は、xと0のうち大きい方である、ということを言っています。すなわち、x > 0 であれば ReLU(x) = x となり, x =< 0　であれば、 ReLU(x) = 0 になります。

\begin{eqnarray}
ReLU ( x )
=
\begin{cases}
x & ( x \gt 0 ) \\
0 & ( x \leqq 0 )
\end{cases}
\end{eqnarray}

これを微分するので、

\begin{eqnarray}
ReLU' ( x )
=
\begin{cases}
1 & ( x \gt 0 ) \\
0 & ( x \lt 0 )
\end{cases}
\end{eqnarray}

となります。
問題は x = 0 のときです。右から近づいてきたときは ReLU(x) = x　なのでReLU'(0) = 1となるのに対し、左から近づくと ReLU(0) = 0 のため ReLU'(x) = 0となって、 x = 0において微分したときの値が異なります。この場合は、x=0において微分ができない、ということになります。

#####2.

\begin{align}
tanh' ( x )
&=\frac{(e^{x} - e^{-x})'(e^{x} + e^{-x}) - (e^{x} - e^{-x})(e^{x} + e^{-x})'}{(e^{x} + e^{-x})^2} \\ \\
&=\frac{(e^{x} + e^{-x})(e^{x} + e^{-x}) - (e^{x} - e^{-x})(e^{x} - e^{-x})}{(e^{x} + e^{-x})^2} \\ \\
&=\frac{(e^{2x} + 2 + e^{-2x}) - (e^{2x} - 2 + e^{-2x})}{(e^{x} + e^{-x})^2} \\ \\
&=\frac{4}{(e^{x} - e^{-x})^2}

\end{align}

#####3.
合成関数の微分を用います。
$ u = 1 + e^{-x} $ とおくと、$ Sigmoid(x) = 1/u $、 $ du/dx = - e^{-x} $

\begin{align}
Sigmoid' ( x )
&=\frac{df(u)}{du}・ \frac{du}{dx}\\ \\
&=-\frac{1}{u^2} ・ (- e^{-x}）\\ \\
&=\frac{e^{-x}}{(1 + e^{-x})^2}\\ \\

\end{align}

これは実は、$ f'(x) = (1 - f(x)) ・ f(x) $となっていて、シグモイド関数の特徴です。

#####4.
合成関数の微分を用います。
$ u = 1 + e^{x} $ とおくと、$ Softplus(x) = log(u) $、 $ du/dx = e^{x} $

\begin{align}
Softplus' ( x )
&=\frac{df(u)}{du}・ \frac{du}{dx}\\ \\
&=\frac{1}{u} ・ e^{x}\\ \\
&=\frac{e^{x}}{1 + e^{x}}\\ \\
&=\frac{1}{e^{-x} + 1}\\ \\

\end{align}

シグモイド関数になっていますね。ソフトプラス関数は微分するとシグモイド関数になり、ニューラルネットワークの活性化関数の一つとして使われています。

##問4.8（偏微分）

#####1.
絶対値関数は、中の符号によって場合分けをし、絶対値を外す必要があります。

\begin{eqnarray}

|x|
= \begin{cases}
x & ( x \geqq 0 ) \\
-x & ( x \lt 0 )
\end{cases}
\end{eqnarray}

したがって、

\begin{eqnarray}
\frac{\partial f(x,y)}{\partial x}
= {|x|}'
= \begin{cases}
1 & ( x \gt 0 ) \\
-1 & ( x \lt 0 )
\end{cases} \\ \\

\frac{\partial f(x,y)}{\partial y}
= {|y|}'
= \begin{cases}
1 & ( y \gt 0 ) \\
-1 & ( y \lt 0 )
\end{cases}

\end{eqnarray}

$ x = 0 $ において、右から近づいたときは $ f'(x,y) = 1$ 、左から近づいたときは$ f'(x,y) = -1$ になります。ある点において右側極限と左側極限の値が異なるとき、その関数はその点において微分できません。よって、今回の式では、 $ x = 0 $ で $ x $ について偏微分することはできません。$ y $ の偏微分についても、同じように $ y = 0 $ で微分することができません。

#####2.

\begin{eqnarray}

|x + y|
= \begin{cases}
x + y & ( x + y \geqq 0 ) \\
- x - y & ( x + y \lt 0 )
\end{cases}
\end{eqnarray}

ですので、

\begin{eqnarray}
\frac{\partial f(x,y)}{\partial x}

= \begin{cases}
1 & ( x + y \gt 0 ) \\
-1 & ( x + y \lt 0 )
\end{cases} \\ \\

\frac{\partial f(x,y)}{\partial y}
= \begin{cases}
1 & ( x + y \gt 0 ) \\
-1 & ( x + y \lt 0 )
\end{cases}

\end{eqnarray}

以上です。数学あまり自信がないので、間違っていたら教えていただけると幸いです。問題5, 6は次回。