XOR 신경망 실습
작은 MLP의 forward/backward 과정을 시각화합니다.
XOR은 단일 선형 분리기로 풀 수 없습니다. 비선형 결정면이 필요합니다.
그래서 XOR은 은닉층과 비선형 활성화의 대표 장난감 문제입니다.
시뮬레이터는 컴팩트한 MLP를 사용합니다:
입력(2) -> 은닉(4) -> 은닉(2) -> 출력(1)
출력은 sigmoid, 은닉 활성화는 tanh 또는 ReLU를 사용합니다.
각 단계는 XOR 케이스를 샘플링해 forward, 손실 계산, backprop 업데이트를 수행합니다.
$$ z^{(l)} = a^{(l-1)}W^{(l)} + b^{(l)}, \quad a^{(l)} = f(z^{(l)}) $$
$$ W \leftarrow W - \eta \nabla_W L, \quad b \leftarrow b - \eta \nabla_b L $$
- 손실 차트는 학습 단계별 수렴 추이를 보여줍니다.
- 예측 패널은 네 가지 XOR 입력의 출력 확신도를 보여줍니다.
- 계산 패널은 최신 forward/backward 값을 기록합니다.
학습 컨트롤
단계: 0 | 손실: -
Forward/Backward 추적
예측 스냅샷
원이 클수록 클래스 1 확률이 높습니다.
XOR 타깃
- (0,0) -> 0
- (0,1) -> 1
- (1,0) -> 1
- (1,1) -> 0