Approximation of complex nonlinear functions by means of neural networks
Thomas Most
presented at the 2nd Weimar Optimization and Stochastic Days 2005
2017年現在からすると、12年も前の論文。
論文ではmutli-layer perceptron (also called feed-forward back-propagation network)を使い、Katsuki and Frangopol(1994) による関数の近似例がある。
over fittingを防ぐ式としてEquation 2が紹介されている (Hagen et al., 1996).
(n + 2)M + 1 < m
m: the number of training samples
n: the number of input values
M: the number of hidden neurons for a network with single hidden layer
Hagan, M. T. ; Demuth, H. B. ; Beale, M.: Neural Network Design. PWS Publishing Company, 1996
dropoutを入れると上記の式が変化するかは不明。