非線形ニューラル回帰ラボ
多層パーセプトロンで非線形曲線を当てはめ、過学習による train/val の乖離を観察します。
線形回帰 y=ax+b と違い、隠れ層で非線形写像 x → y を学習します。
$$\hat{y}=W_L\,\phi(W_{L-1}\phi(\cdots\phi(W_1x+b_1)\cdots)+b_{L-1})+b_L$$
深さ・幅・活性化でモデル容量を調整します。
目的は学習サブセットの MSE です：
$$\text{MSE}=\frac{1}{n}\sum_{i=1}^{n}(y_i-\hat{y}_i)^2$$
train 損失が下がり続け、val 損失が横ばい/上昇すると過学習です。
クリックでサンプル追加。テストモードでは x をクリックして予測 y と残差を確認します。
学習ステータス
点数： 0
Train / Val： 0 / 0
Epoch： 0
Train 損失： -
Val 損失： -
解釈
- 青：訓練、橙：検証。
- テストモードの黄色マーカーはクリック点の予測出力です。
- train が下がり val が上がる場合は容量過大/学習過多。
- L2 を強めるか隠れ層を小さくして過学習を抑えます。