Lua版 ゼロから作るDeep Learning その８［損失関数］

過去記事

Lua版 ゼロから作るDeep Learning その１[パーセプトロンの実装]
Lua版 ゼロから作るDeep Learning その２［活性化関数］
Lua版 ゼロから作るDeep Learning その３［３層ニューラルネットワークの実装］
Lua版 ゼロから作るDeep Learning その４［ソフトマックス関数の実装］
Lua版 ゼロから作るDeep Learning その５［MNIST画像の表示］
Lua版 ゼロから作るDeep Learning その5.5［pklファイルをLua Torchで使えるようにする］
Lua版 ゼロから作るDeep Learning その６［ニューラルネットワークの推論処理］
Lua版 ゼロから作るDeep Learning その７［バッチ処理］

損失関数

　今回は原書４章の損失関数を実装します。　
　
　スクリプトは以下のようになります。

lossfunc.lua

---２乗和誤差算出関数
-- テンソル同士の２乗和誤差(∑(yi-ti)^2)/2を求める
-- @param y 入力１、今回はNNが出力する確率リスト {Type:Tensor}
-- @param t 入力２、今回は正解ラベルリスト {Type:ByteTensor}
-- @return ２乗和誤差 {Type:number}
function mean_squared_error(y, t)
    return ( y:double() - t:double() ):pow(2):sum() * 0.5
end

local t = torch.Tensor({0,0,1,0,0,0,0,0,0,0})
local y = torch.Tensor({0.1, 0.05, 0.6, 0.0, 0.05, 0.1, 0.0, 0.1, 0.0, 0.0})
print(mean_squared_error(y,t))
y = torch.Tensor({0.1, 0.05, 0.1, 0.0, 0.05, 0.1, 0.0, 0.6, 0.5, 0.0})
print(mean_squared_error(y,t))


---交差エントロピー誤差算出関数
-- テンソル同士の交差エントロピー誤差(-∑tilogyi)を求める
-- @param y 入力１、今回はNNが出力する確率リスト {Type:Tensor}
-- @param t 入力２、今回は正解ラベルリスト {Type:ByteTensor}
-- @return 交差エントロピー誤差 {Type:number}
function cross_entropy_error(y, t)
    local delta = 1e-7
    return -torch.cmul(t:double(), ( y:double() + delta ):log() ):sum()
end

local t = torch.Tensor({0,0,1,0,0,0,0,0,0,0})
local y = torch.Tensor({0.1, 0.05, 0.6, 0.0, 0.05, 0.1, 0.0, 0.1, 0.0, 0.0})
print(cross_entropy_error(y,t))
y = torch.Tensor({0.1, 0.05, 0.1, 0.0, 0.05, 0.1, 0.0, 0.6, 0.5, 0.0})
print(cross_entropy_error(y,t))

出力結果

$ th lossfunc.lua
0.0975  
0.7225  
0.51082545709934    
2.3025840929945 

　特につまづくところもないかと思います。
　

おわりに

　今回は以上です。

　次回は交差エントロピー誤差をバッチ処理に対応させましょう。
　
　ありがとうございました。