Nichtlineares Neuronales Regressionslabor
Passe nichtlineare Kurven mit einem Mehrschicht-Perzeptron an und beobachte die Divergenz von Training/Validierung bei Übertraining.
Im Gegensatz zur linearen Regression y=ax+b nutzt dieses Labor versteckte Schichten, um nichtlineare Abbildungen x → y zu lernen.
$$\hat{y}=W_L\,\phi(W_{L-1}\phi(\cdots\phi(W_1x+b_1)\cdots)+b_{L-1})+b_L$$
Wähle Tiefe, Breite und Aktivierung, um die Modellkapazität zu steuern.
Ziel ist der mittlere quadratische Fehler im Trainings-Subset:
$$\text{MSE}=\frac{1}{n}\sum_{i=1}^{n}(y_i-\hat{y}_i)^2$$
Overfitting zeigt sich, wenn der Trainingsverlust weiter sinkt, während der Validierungsverlust stagniert oder steigt.
Klicke, um Stichproben hinzuzufügen. Im Testmodus auf eine x-Position klicken, um vorhergesagtes y und Residuum zu sehen.
Trainingsstatus
Interpretation
- Blaue Punkte: Trainings-Subset, orange Punkte: Validierungs-Subset.
- Gelber Marker im Testmodus: vorhergesagte Ausgabe am angeklickten x.
- Wenn der Trainingsverlust fällt, aber der Validierungsverlust steigt, ist die Kapazität zu hoch oder das Training zu lang.
- Probiere stärkere L2-Regularisierung oder kleinere versteckte Schichten, um Overfitting zu reduzieren.