はじめに

本記事は、「初めての一人アドベンドカレンダー2024 by hohe」の13日目の記事となります。13日目はニューラルネットワークについてまとめます。

代表的なニューラルネットワーク

CNN(Convolutional Neural Network, 畳み込みニューラルネットワーク)は、主に画像分野に用いられるニューラルネットワークの１種です。主な層としては、畳み込み層、活性化層 (ReLU 層)、プーリング層の３つがある。

畳み込み層では、入力画像とは別にカーネルというフィルタのような重み行列を用意します。カーネルを左斜め上から入力行列の全ての位置に移動させ、加重和を計算することで出力する。

畳み込み層で得られた特徴マップを圧縮する。

過去の情報を利用して現在および将来の入力に対するネットワークの性能を向上させ、主に時系列データや自然言語処理に用いられるニューラルネットワークの１種です。

RNNでは中間層で計算した情報を、再び中間層の入力として繰り返し処理を行う回帰的な仕組みをとることで、時系列を持ったデータや言語などの連続的なデータを扱うことができます。

RNNで用いられている数式の特性上、計算を数多く繰り返している途中で正しいデータとの誤差が限りなく0に近づき、学習が止まってしまうという問題点（勾配消失）があります。そのため、これを改良したLSTM（Long Short-Term Memory）があります。