Nonlinear Neural Regression Lab
Multilayer perceptron से nonlinear curves फिट करें और overtraining में train/validation divergence देखें।
Linear regression y=ax+b से अलग, यह लैब hidden layers का उपयोग करके nonlinear mappings x -> y सीखता है।
$$\hat{y}=W_L\,\phi(W_{L-1}\phi(\cdots\phi(W_1x+b_1)\cdots)+b_{L-1})+b_L$$
Depth, width और activation चुनकर model capacity नियंत्रित करें।
Objective training subset पर mean squared error है:
$$\text{MSE}=\frac{1}{n}\sum_{i=1}^{n}(y_i-\hat{y}_i)^2$$
Overfitting तब दिखता है जब train loss घटती रहती है लेकिन validation loss flat या बढ़ती है।
Samples जोड़ने के लिए क्लिक करें। Test Mode में x position पर क्लिक करके predicted y और residual देखें।
Training Status
Points: 0
Train / Val: 0 / 0
Epoch: 0
Train Loss: -
Val Loss: -
Interpretation
- नीले points: training subset, नारंगी points: validation subset।
- Test Mode में पीला marker: क्लिक किए गए x पर predicted output।
- अगर train loss घटती है लेकिन val loss बढ़ती है, capacity बहुत अधिक है या training बहुत लंबी है।
- Overfitting कम करने के लिए मजबूत L2 regularization या छोटे hidden layers आज़माएं।