STEP 02 · FOUNDATION
Activation
같은 입력이 함수에 따라 어떻게 달라지는가
PLANNED
WHY THIS MATTERS
왜 Activation을 배우는가?
은 뉴런의 계산 결과에 비선형성을 넣어 여러 Layer가 복잡한 패턴을 학습할 수 있게 합니다. , , 를 같은 입력으로 비교하면 함수 선택이 출력에 어떤 차이를 만드는지 바로 확인할 수 있습니다.
왜 Layer를 많이 쌓는 것만으로는 부족할까?
음수 값을 0으로 만드는 이유는?
0~1 범위가 필요한 출력은 어디에 쓰일까?
WHERE THIS IS USED
Deep Learning의 표현력을 만드는 핵심CNN · MLP · 분류 출력 · Transformer Feed Forward
ReLU
0.800
음수는 0, 양수는 그대로 통과
Sigmoid
0.690
출력을 0~1 사이로 압축
Tanh
0.664
출력을 -1~1 사이로 압축