Momentum
모멘텀
Momentum(모멘텀)은 예측 오차를 줄이기 위해 신경망 파라미터를 갱신하는 학습 과정의 핵심 개념입니다. 계산 그래프에서 Gradient가 어떻게 전달되고 Weight가 어떻게 바뀌는지 연결해 봅니다.
WHY SHOULD I KNOW THIS?
왜 알아야 하나?
신경망이 단순히 예측하는 것을 넘어 오차를 이용해 스스로 파라미터를 개선하는 원리를 이해하는 데 필요합니다.
WHERE IS IT USED?
어디에 사용되나?
Model TrainingBackpropagationOptimizerTraining Loop
DEEP LEARNING
OPTIMIZER RACE
SGD distance 1.07
Momentum distance 0.24
Adam distance 0.21
개념적 비교: 실제 궤적은 Loss surface와 gradient에 따라 달라집니다.
Momentum distance 0.24
Adam distance 0.21
개념적 비교: 실제 궤적은 Loss surface와 gradient에 따라 달라집니다.
INTERACTIVE CONCEPT LABTRAINING LOOP LAB
CURRENT STAGE1 / 6 · Forward
Momentum
노드를 클릭하거나 PLAY FLOW를 눌러 정보가 어떻게 이동하는지 단계별로 확인하세요. 슬라이더는 시각적 영향도를 조절합니다.
이 Topic에서 알아야 할 핵심
✓Momentum
✓모멘텀
✓Forward → Loss → Backward → Update
✓파라미터 변화와 학습 안정성
이해 확인 질문
Q1모멘텀은 학습 루프의 어느 단계에서 필요한가?
Q2Momentum이 Weight 업데이트에 어떤 영향을 주는가?
Q3설정을 잘못하면 학습이 어떤 형태로 실패하는가?
CATEGORY
NEURAL NETWORK TRAINING오차가 어떻게 역전파되고 파라미터가 업데이트되는지 학습 루프 전체를 연결합니다.
CURRENT PATH
07.07 Momentum이 Topic의 위치와 앞뒤 순서를 항상 Curriculum 기준으로 유지합니다.