回帰問題とは与えられた入力値から出力値を予測する問題のことであり、その中で出力値を非線形関数（曲線）で近似し、予測することを非線形回帰という。
非線形回帰モデルでは、回帰係数として基底関数と呼ばれる既知の非線形関数とパラメータベクトルの線形結合を使用し、未知パラメータω線形回帰モデルと同様に最小二乗法や最尤法を用いて推定する。
yi = ω0 + ΣwjΦj(xj) + εi
よく使われる基底関数としては、多項式関数、ガウス型関数、スプライン/Bスプライン関数等がある。
最尤法による予測値は以下の式で計算される。
ý = Φ（Φ(train)TΦ(train) )-1 Φ(train)T y((train)
ý：予測値
y：データ
Φ：非線形関数の行列