Phòng lab hồi quy neural phi tuyến
Khớp các đường cong phi tuyến bằng perceptron nhiều lớp, rồi quan sát phân kỳ train/validation khi overtraining.
Khác với hồi quy tuyến tính y=ax+b, lab này dùng các lớp ẩn để học ánh xạ phi tuyến x → y.
$$\hat{y}=W_L\,\phi(W_{L-1}\phi(\cdots\phi(W_1x+b_1)\cdots)+b_{L-1})+b_L$$
Chọn độ sâu, độ rộng và hàm kích hoạt để kiểm soát dung lượng mô hình.
Mục tiêu là sai số bình phương trung bình trên tập huấn luyện:
$$\text{MSE}=\frac{1}{n}\sum_{i=1}^{n}(y_i-\hat{y}_i)^2$$
Overfitting xuất hiện khi loss train giảm nhưng loss validation đứng yên hoặc tăng.
Nhấp để thêm mẫu. Trong Test Mode, nhấp vào vị trí x để xem y dự đoán và sai lệch.
Trạng thái huấn luyện
Số điểm: 0
Train / Val: 0 / 0
Epoch: 0
Loss train: -
Loss val: -
Diễn giải
- Điểm xanh: tập train, điểm cam: tập validation.
- Dấu vàng trong Test Mode: đầu ra dự đoán tại x đã nhấp.
- Nếu loss train giảm nhưng loss val tăng, dung lượng quá lớn hoặc huấn luyện quá lâu.
- Thử L2 mạnh hơn hoặc giảm số lớp ẩn để giảm overfitting.