Лабораторія XOR Neural Network
Візуалізація forward/backward pass для маленького багатошарового персептрона.
XOR не може бути розвʼязаний одним лінійним розділювачем. Модель має навчитися нелінійній поверхні рішень.
Це робить XOR стандартною іграшковою задачею для демонстрації прихованих шарів і нелінійних активацій.
Симулятор використовує компактний MLP:
Input(2) -> Hidden(4) -> Hidden(2) -> Output(1)
Output activation — sigmoid для бінарної ймовірності. Hidden activation може бути tanh або ReLU.
Кожен крок вибирає один XOR випадок, виконує forward pass, рахує loss і застосовує backprop updates.
$$ z^{(l)} = a^{(l-1)}W^{(l)} + b^{(l)}, \quad a^{(l)} = f(z^{(l)}) $$
$$ W \leftarrow W - \eta \nabla_W L, \quad b \leftarrow b - \eta \nabla_b L $$
- Графік loss показує тренд збіжності під час навчання.
- Панель прогнозу показує впевненість виходу для всіх чотирьох XOR входів.
- Панель обчислень показує останні значення forward/backward для огляду.
Контролі навчання
Forward/Backward Trace
Prediction Snapshot
Більші кола означають вищу ймовірність виходу біля класу 1.
XOR Targets
- (0,0) -> 0
- (0,1) -> 1
- (1,0) -> 1
- (1,1) -> 0