##環境
GPU GTX1070
ubuntu 14.04
chainer 1.14.0
など
##はじめに
chainerで最新のモデルを実装する際には、links/connectionやfunctions/connectionをいじる必要がある。

そこで最も単純なlinear.pyをいじって、新しい層を作ってみる。第１回めはlinear.pyの中身を確認する。

##MNISTで性能を確認する
まず、MNISTで性能を確認する。sampleのtrain_mnist.pyには以下のように３層のlinearが使われている。

# Network definition
class MLP(chainer.Chain):

    def __init__(self, n_in, n_units, n_out):
        super(MLP, self).__init__(
            l1=L.Linear(n_in, n_units),  # first layer
            l2=L.Linear(n_units, n_units),  # second layer
            l3=L.Linear(n_units, n_out),  # output layer
        )

    def __call__(self, x):
        h1 = F.relu(self.l1(x))
        h2 = F.relu(self.l2(h1))
        return self.l3(h2)

n_unitsはdefaultで1000に設定されている。つまり、１層目のlinearはユニット数1,000、２層目のlinearはユニット数1,000、３層目のlinearはユニット数10。これを50回学習させて、学習時間とaccuracyを計測する。

python train_mnist.py -g=0 -e=50
GPU: 0
# unit: 1000
# Minibatch-size: 100
# epoch: 50

epoch       main/loss   validation/main/loss  main/accuracy  validation/main/accuracy
1           0.190119    0.0948303             0.941934       0.9713                    
2           0.070093    0.0740304             0.978332       0.9747                    
3           0.0504763   0.0662532             0.983782       0.9799
・・・・・
48          0.00491283  0.140848              0.998749       0.9825                    
49          0.00535585  0.172546              0.998999       0.9838                    
50          0.00589774  0.162305              0.998733       0.9847

学習時間１分５４秒でaccuracyは0.971から0.985になった。

##Linearクラスの初期化を確認する
初期化の段階でL.linearつまりchainer/links/connection/linear.pyのLinearクラスが初期化されている。このlinear.pyの概要は以下。

import math
from chainer.functions.connection import linear
from chainer import initializers
from chainer import link

class Linear(link.Link):
    def __init__(self, in_size, out_size, wscale=1, bias=0, nobias=False,
                 initialW=None, initial_bias=None):
        super(Linear, self).__init__()
        self.initialW = initialW
        self.wscale = wscale
        self.out_size = out_size

        if in_size is None:
            self.add_uninitialized_param('W')
        else:
            self._initialize_params(in_size)

        if nobias:
            self.b = None
        else:
            self.add_param('b', out_size)
            if initial_bias is None:
                initial_bias = bias
            initializers.init_weight(self.b.data, initial_bias)

    def _initialize_params(self, in_size):
        self.add_param('W', (self.out_size, in_size))
        initializers.init_weight(self.W.data, self.initialW,
                                 scale=math.sqrt(self.wscale))

    def __call__(self, x):

_initialize_params関数でinitializers.init_weight()が呼び出され、(out_size, in_size)の大きさのWが生成されているようだ。initializers.init_weight()は以下のようになっている。

def init_weight(weights, initializer, scale=1.0):
    """Helper function for initialization of the weight tensor.

    This function accepts several types of initializer, prepares
    the appropriate ``~chainer.Initializer`` if necessary,
    and does the initialization.

    Args:
         weights (numpy.ndarray or cupy.ndarray):
             Weight tensor to be initialized.
         initializer: The value used to initialize the data.
             May be ``None`` (in which case
             :class:`~chainer.initializers.HeNormal`
             is used as an initializer), a scalar to set all values to,
             an ``numpy.ndarray`` to be assigned,
             or a callable that takes :class:`numpy.ndarray`
             or :class:`cupy.ndarray` and edits its value.
         scale (scalar): A constant to multiply initializer by.

    """

    if initializer is None:
        initializer = HeNormal(1 / numpy.sqrt(2))
    elif numpy.isscalar(initializer):
        initializer = Constant(initializer)
    elif isinstance(initializer, numpy.ndarray):
        initializer = Constant(initializer)

    assert callable(initializer)
    initializer(weights)
    weights *= scale

今回送られてきたのは引数はweightsだけ。なんかW初期化するのにいろいろと面倒くさいことしてるね。知りたいのはWに相当するnumpy行列の形状なんだが・・・

とりあえずW(in_size, out_size)と考えて進める。

##call関数を確認する
train_mnist.py内MLPクラスのcall関数ではh1 = F.relu(self.l1(x))などとlinear（l1）にxが入力されている。

そこでchainer/links/connection/linear.pyのcall関数を確認すると、

    def __call__(self, x):
        """Applies the linear layer.

        Args:
            x (~chainer.Variable): Batch of input vectors.

        Returns:
            ~chainer.Variable: Output of the linear layer.

        """
        if self.has_uninitialized_params:
            self._initialize_params(x.shape[1])
        return linear.linear(x, self.W, self.b)

xはVariableのオブジェクトでbatch of imput vectorsとなっている。chainer/functions/connection/linear.pyを確認すると、概略以下のようになっている。

from chainer import function
from chainer.utils import type_check

def _as_mat(x):

class LinearFunction(function.Function):
    def check_type_forward(self, in_types):

    def forward(self, inputs):

    def backward(self, inputs, grad_outputs):
 
def linear(x, W, b=None):
    if b is None:
        return LinearFunction()(x, W)
    else:

linear関数でLinearFunction()(x,W)へ送られている。このLinearFunctionクラスでforward計算とbackward計算が行われている。そこでforward計算を確認する。
##forwardの演算処理を確認する
forward関数を見て演算処理を確認する。

    def forward(self, inputs):
        x = _as_mat(inputs[0])
        W = inputs[1]
        y = x.dot(W.T).astype(x.dtype, copy=False)
        if len(inputs) == 3:
            b = inputs[2]
            y += b
        return y,

inputs[0]に入力値x、inputs[1]に重み行列Wが送られてきている。xはまず_as_mat()関数に送られて、次元を整えられている。

def _as_mat(x):
    if x.ndim == 2:
        return x
    return x.reshape(len(x), -1)

入力xが２次元に整えられているが、０次元目はbatch方向、１次元目は前のユニット数（もしくは入力画素数）ということだろう。そして実際の演算は

y = x.dot(W.T).astype(x.dtype, copy=False)

になる。これを図示するとこんな感じ。

ここでWはW(out_size, in_size)の構成だったと判明。
次にbackwardを確認する。
##backwardを確認する。
backward関数を見てback propagationの演算を確認する。

    def backward(self, inputs, grad_outputs):
        x = _as_mat(inputs[0])
        W = inputs[1]
        gy = grad_outputs[0]

        gx = gy.dot(W).astype(x.dtype, copy=False).reshape(inputs[0].shape)
        gW = gy.T.dot(x).astype(W.dtype, copy=False)
        if len(inputs) == 3:
            gb = gy.sum(0)
            return gx, gW, gb
        else:
            return gx, gW

まず、forwardの時と同様にxを２次元に整形している。またこれも同様にinputs[0]がx、inputs[1]がWとなる。

gyがいわゆる

\delta=\frac{\partial E}{\partial w}

だろう。

        gx = gy.dot(W).astype(x.dtype, copy=False).reshape(inputs[0].shape)
        gW = gy.T.dot(x).astype(W.dtype, copy=False)

の部分を図示するとこんな感じだろう。

gxはreshapeでxと同じ形になっているが、もともとgxを算出した段階でxと同型になるはずだが、どのような例外が存在するか、不明。

次回はこの演算部分を改良して新しいconnectionを作る。