「ゼロから作るDeep Learning」(斎藤 康毅 著 オライリー・ジャパン刊)を読んでいる時に、参照したサイト等をメモしていきます。 その１← →その３
この本では、「ゼロから」作るために、pythonの基礎やパーセプトロンとか、土台からきちんと説明されています。
ただ、そのせいで、最初のうちは自分が何を作ろうとしているのか、わからなくなったりします。
結局、あ、そういうこと？ と腑に落ちたのは、P86の図と説明を読んでからでした。
私みたいな古い人間は、「過去のデータを分析して」となると、回帰分析とかの手法をプログラムで組んで係数を計算させて、それを使って答えを出して、なんて感じで、アルゴリズムは人間が与えて、コンピュータは計算するだけでした。
しかし、ニューラルネットワークやディープラーニングは「データ駆動」であり、
ニューラルネットワークの利点は、すべての問題を同じ流れで解くことができる点にあります。たとえば、解くべき問題が「5」を認識する問題なのか、「犬」を認識する問題なのか、それとも、「人の顔」を認識する問題なのかといった詳細とは関係なしに、ニューラルネットワークは与えられたデータをただひたすら学習し、与えられた問題のパターンを発見しようと試みます。
どうしてそのようなことが可能になるのかというのが、この本には説明されているわけで、
それが、パーセプトロンであり、それを発展させたニューラルネットワークであり、その動作を行列で記述すると簡単に表現でき、しかもpythonのライブラリNumPyを使うと、プログラムもそのまま簡潔に記述できる、ということなわけです。
２．パーセプトロン、半加算器、全加算器
パーセプトロンについての説明は、特に難しいわけではありません。
しかし、パーセプトロンの重みとバイアスを変えると、ANDやORの論理回路を作れるということには驚きました。
が
素直にその先に行けないのが、年寄りの悪いところ。
昔の情報処理概論では、論理回路が真っ先にあって、そこから半加算器、全加算器の説明があるのがお決まりでした。
なので、この本では省略されている半加算器、全加算器をpythonで実装してみます。
P32の図
なぜか、XORゲートの記号が載せてありません。
XOR
import numpy as np
def perceptron(x1, x2, w1, w2, b):
tmp = w1*x1 + w2*x2 + b
if tmp <= 0:
return 0
else:
return 1
def AND(x1, x2):
return perceptron(x1, x2, 0.5, 0.5, -0.7)
def NAND(x1, x2):
return perceptron(x1, x2, -0.5, -0.5, 0.7)
def OR(x1, x2):
return perceptron(x1, x2, 0.5, 0.5, -0.2)
def XOR(x1, x2):
s1 = NAND(x1, x2)
s2 = OR(x1, x2)
y = AND(s1, s2)
return y
で、これらを組み合わせて、半加算器
# 半加算器 half adder
def HA(a, b):
s = XOR(a, b)
c = AND(a, b)
return c, s
全加算器
# 全加算器 full adder
def FA(a, b, c1):
c2, s2 = HA(a, b)
c3, s3 = HA(s2, c1)
c4 = OR(c2,c3)
return c4, s3
４ビット（０～１５）の足し算をする計算機
def fourALU(a,b):
c0, s0 = HA(a[0],b[0])
c1, s1 = FA(a[1],b[1], c0)
c2, s2 = FA(a[2], b[2], c1)
c3, s3 = FA(a[3], b[3], c2)
y = np.array([s0, s1, s2, s3, c3])
return y
# 10進数を２進数にして配列に格納して戻す。
# ただし、下１桁目から格納するので、左右が逆になる
def i2arr(a):
if a < 0:
print(a," 加算範囲外")
aa = np.array([0, 0, 0, 0])
elif a > 15:
print(a," 加算範囲外")
aa = np.array([1, 1, 1, 1])
else:
a3 = a // 8
m = a % 8
a2 = m // 4
m = m % 4
a1 = m // 2
a0 = m % 2
aa = np.array([a0, a1, a2, a3])
return aa
a = 4
b = 9
aa = i2arr(a)
ba = i2arr(b)
y = fourALU(aa, ba)
print(aa)
print(ba)
print(y)
print(a,"+",b,"=",y[0]+y[1]*2+y[2]*4+y[3]*8+y[4]*16)
実行結果は
[0 0 1 0]
[1 0 0 1]
[1 0 1 1 0]
4 + 9 = 13