Julia1.0のDeepLearningフレームワークFlux.jl入門

概要

Fluxの公式ドキュメントhttps://fluxml.ai/Flux.jl/stable/
に従ってFluxチュートリアルを行っていく。

Fluxとは

FluxとはJuliaのDLフレームワーク

インストール

Julia1.0かそれ以降で動作する。Pkgモード(]を入力する)で以下のように入力する。
deleteキーを押すとjuliaモードに戻る。

(v1.0) pkg> add Flux

CUDAを使いたいときは以下も入力。(この記事では使わない。使い方はhttps://fluxml.ai/Flux.jl/stable/gpu.htmlを参考)

(v1.0) pkg> add CuArrays

勾配を求める

一変数関数f(x)

f(x)の導関数f´(x)を求める。
(f´(x)の´はmacの場合optionとEキーで入力できる。)

julia> using Flux.Tracker
julia> f(x) = 3x^2 + 2x + 1 
julia> f´(x) = Tracker.gradient(f, x)[1] #f´(x)=6x+2と定義
julia> f´(2) #f´(2)を求める
14.0 (tracked)
julia> f´´(x) = Tracker.gradient(f´, x)[1] # f´´(x)=6
julia> f´´(1)
6.0 (tracked)

多変数関数

勾配とは

n変数関数f(x1,x2,x3,・・・,xn)について
n次元ベクトル

\nabla = \Biggl({\frac{\partial f}{\partial x_1}} ,..., {\frac{\partial f}{\partial x_n}}\Biggr)

を勾配と言う。n=1のときはただの導関数。

勾配を求める

f(W, b, x) = W \times x + b

この時の勾配は

\nabla f(W, b, x) = \Bigl(x , 1 , W\Bigr)

W = 2, b = 3, x = 4のとき

\nabla f(2, 3, 4) = \Bigl(4, 1, 2\Bigr)

これをjuliaで書くと以下のようになる。

julia> f(W, b, x) = W * x + b
julia> Tracker.gradient(f, 2, 3, 4)
(4.0 (tracked), 1.0, 2.0 (tracked))

パラメータの数が多いとき

機械学習のモデルのパラメータが多いときはparamというものを使って勾配を求める。
先ほどの例をparamを使って書いてみる。

julia> W = param(2) #W=2を代入
julia> b = param(3) #W=3を代入
julia> f(x) = W * x + b
julia> params = Params([W, b])
julia> grads = Tracker.gradient(() -> f(4), params)
julia> grads[W] 
4.0
julia> grads[b]
1.0

この例ではパラメータが少ないので違いがあまり分からないが、
paramを使うことによって、実際パラメータが多いとき、非常に扱いやすくなる。

Simple Models

入力xからyを予測する簡単な線形回帰の問題を考えて見る。

2×5行列Wと2×1行列bを乱数で作成し,同様に入力として5成分ベクトルx,2成分ベクトルyも乱数で作成し、その時の損失関数

loss(x, y) = \sum_{n=1}^{2}\Bigl(y_i-ŷ_i\Bigr)^2

を最小にする。

julia> W = rand(2, 5)  #Wを2×5行列を乱数で作成
 0.930514  0.396266  0.787115  0.682745  0.781531
 0.456005  0.84561   0.20131   0.703145  0.139113

julia> b = rand(2) #bを2×1行列を乱数で作成
 0.3862844664160474
 0.3715160899698007
julia> predict(x) = W*x .+ b
julia> function loss(x, y) #損失関数loss(x, y)を定義
         ŷ = predict(x)
         sum((y .- ŷ).^2)
       end
julia> x, y = rand(5), rand(2) # Dummy data
([0.98456, 0.6722, 0.629101, 0.497996, 0.513054], [0.180554, 0.920561])
julia> loss(x,y) 
7.9207555228077045

勾配を求めるため、損失関数lossを偏微分する。

julia> W = param(W)
 0.930514  0.396266  0.787115  0.682745  0.781531
 0.456005  0.84561   0.20131   0.703145  0.139113

julia> b = param(b)
 0.3862844664160474
 0.3715160899698007

julia> #損失関数lossを偏微分する
julia> gs = Tracker.gradient(() -> loss(x, y), Params([W, b]))

最急降下法で損失関数を最小にするWを得る。
update!(W, αΔ)は勾配gsの値によって以下のようにWの値を更新する。
αは更新する際の更新する度合いを定める定数である。

Δ = gs\\
W = W - αΔ

julia> using Flux.Tracker: update!

julia> Δ = gs[W] #勾配を求める
 5.16775  3.52824  3.30202  2.61388  2.69291
 2.00165  1.36661  1.27898  1.01244  1.04306

julia> update!(W, -0.1Δ)
 0.413739  0.0434426  0.456913   0.421358  0.51224  
 0.25584   0.708949   0.0734118  0.601901  0.0348072

julia> loss(x, y)
2.2616927513479204 (tracked)

これをloss(x, y) < εとなるまで繰り返せばよい。
[参考]もし実際にデータを持っているなら実際にモデルを訓練してみよう
https://fluxml.ai/Flux.jl/stable/training/training.html

Building Layers

実際は線形回帰よりもっと複雑なモデルを使うことが多い。
例えばsigmoid関数のような非線形活性化関数を使いニューラルネットを構成する。

julia> W1 = param(rand(3,5))
 0.17122    0.665763  0.0395654  0.533161  0.382145
 0.541056   0.781     0.212816   0.364648  0.335324
 0.0847882  0.737511  0.403253   0.684704  0.141392
julia> b1 = param(rand(3))
 0.8287821688331789
 0.5433551383280499
 0.2721052113521929
julia> layer1(x) = W1 * x .+ b1

julia> W2 = param(rand(2, 3))
 0.639634  0.702379  0.192444
 0.108319  0.146129  0.509777
julia> b2 = param(rand(2))
 0.31566080298798305
 0.820353365740117  
julia> layer2(x) = W2 * x .+ b2

julia> model(x) = layer2(σ.(layer1(x)))

julia> model(rand(5)) 
 1.593096701001898 
 1.4430508944882239

このままだと保守性がなく、変更修正、層の追加などをするときに、かなり扱いにくいので, 以下のように関数を使って書き直す。

julia> function linear(in, out)
         W = param(randn(out, in))
         b = param(randn(out))
         x -> W * x .+ b
       end

julia> linear1 = linear(5, 3) 
julia> linear2 = linear(3, 2)

julia> model(x) = linear2(σ.(linear1(x)))

julia> model(rand(5))
 -0.20356715657677094
  1.9012304757200134 

また以下のように構造体を使って実装することもできる。

julia> struct Affine
         W
         b
       end
julia> Affine(in::Integer, out::Integer) = 
         Affine(param(randn(out, in)), param(randn(out)))
julia> (m::Affine)(x) = m.W * x .+ m.b
julia> L1 = Affine(5, 3)
julia> L2 = Affine(3, 2)
julia> model2(x) = L2(σ.(L1(x)))

これらはFluxのDense layerの実装である。
Fluxは多くのレイヤーがあるが、全て簡単に実装することができる。

Stacking It Up!

DenseはDense(input, output, 活性化関数)のように使う。
3つ目の引数はなくてもよい。
上の例のL1はDense(5, 3, σ), L2はDense(3, 2)と書き換えられる。

以下のようなモデルを書くことはとても多い。

layer1 = Dense(10, 5, σ)
# ...
model(x) = layer3(layer2(layer1(x)))

もっと直感的に書くと

julia> using Flux
julia> layers = [Dense(10, 5, σ), Dense(5, 2), softmax]     
julia> model(x) = foldl((x, m) -> m(x), layers, init = x)
julia> model(rand(10))# => 2-element vector

これはまた以下のようにもっと簡単に書ける。

julia> model2 = Chain(
         Dense(10, 5, σ),
         Dense(5, 2),
         softmax)

julia> model2(rand(10)) # => 2-element vector

もっとシンプルに書くこともできる。

julia> m = Dense(5, 2) ∘ Dense(10, 5, σ)
julia> m(rand(10)) # => 2-element vector

Chainはどんなjuliaの関数でも動くことができるところが優れている。

julia> m = Chain(x -> x^2, x -> x+1)
julia> m(5)
26