Лабораторія нелінійної нейронної регресії
Підганяйте нелінійні криві за допомогою багатошарового персептрона і спостерігайте розходження train/validation під час overtraining.
На відміну від лінійної регресії y=ax+b, ця лабораторія використовує приховані шари для навчання нелінійних відображень x -> y.
$$\hat{y}=W_L\,\phi(W_{L-1}\phi(\cdots\phi(W_1x+b_1)\cdots)+b_{L-1})+b_L$$
Обирайте depth, width та activation, щоб керувати ємністю моделі.
Ціль — середньоквадратична помилка на підмножині training:
$$\text{MSE}=\frac{1}{n}\sum_{i=1}^{n}(y_i-\hat{y}_i)^2$$
Overfitting видно, коли train loss знижується, а validation loss вирівнюється або зростає.
Клікніть, щоб додати зразки. У Test Mode клікніть по x, щоб побачити прогноз y та залишок.
Статус навчання
Точки: 0
Train / Val: 0 / 0
Епоха: 0
Train Loss: -
Val Loss: -
Інтерпретація
- Сині точки: training, помаранчеві: validation.
- Жовтий маркер у Test Mode: прогноз для вибраної x.
- Якщо train loss падає, а val loss зростає — ємність завелика або training занадто довге.
- Спробуйте сильнішу L2 regularization або менші приховані шари для зменшення overfitting.