Нелинейная нейросетевая регрессия
Аппроксимация нелинейных кривых с MLP и наблюдение расхождения train/validation при переобучении.
В отличие от линейной регрессии y=ax+b, здесь используются скрытые слои для нелинейных отображений x → y.
$$\hat{y}=W_L\,\phi(W_{L-1}\phi(\cdots\phi(W_1x+b_1)\cdots)+b_{L-1})+b_L$$
Выбирайте глубину, ширину и активации, чтобы контролировать ёмкость модели.
Цель — среднеквадратичная ошибка на обучающем подмножестве:
$$\text{MSE}=\frac{1}{n}\sum_{i=1}^{n}(y_i-\hat{y}_i)^2$$
Переобучение проявляется, когда train loss падает, а validation loss выравнивается или растёт.
Кликните, чтобы добавить образцы. В Test Mode кликните по x, чтобы проверить прогноз y и остаток.
Статус обучения
Точки: 0
Train / Val: 0 / 0
Epoch: 0
Train Loss: -
Val Loss: -
Интерпретация
- Синие точки: обучение, оранжевые: валидация.
- Жёлтый маркер в Test Mode: прогноз в выбранном x.
- Если train loss падает, а val loss растёт — ёмкость слишком велика или обучение слишком долгое.
- Попробуйте более сильную L2-регуляризацию или меньшие скрытые слои, чтобы снизить переобучение.