NeuralScope
GLOBAL LEARNING FLOW
AI 전체 학습 지도06.08 Activation Function · DEEP LEARNING FOUNDATION
현재 위치 기준 전체 진행
22%
00AI FOUNDATIONAI 기초 지도
100%01MATHEMATICS FOR AIAI 수학
100%02DATA & PREPROCESSING데이터와 전처리
100%03MACHINE LEARNING FUNDAMENTALS머신러닝 기초
100%04CLASSICAL MACHINE LEARNING전통 머신러닝
100%05ML TRAINING & EVALUATIONML 학습과 평가
100%06DEEP LEARNING FOUNDATION딥러닝 기초
53%07NEURAL NETWORK TRAINING신경망 학습
0%08DEEP LEARNING ARCHITECTURES딥러닝 아키텍처
0%09COMPUTER VISION컴퓨터 비전
0%10NLP FOUNDATION자연어 처리 기초
0%11ATTENTION어텐션
0%12TRANSFORMER트랜스포머
0%13LANGUAGE MODEL언어 모델
0%14LLM FOUNDATIONLLM 기초
0%15LLM TRAINING & ALIGNMENTLLM 학습과 정렬
0%16EMBEDDING & VECTOR SEARCH임베딩과 벡터 검색
0%17RAG검색 증강 생성
0%18PROMPT & CONTEXT ENGINEERING프롬프트와 컨텍스트
0%19AI AGENTAI 에이전트
0%20MULTIMODAL AI멀티모달 AI
0%21GENERATIVE MODELS생성 모델
0%22AI SYSTEM ENGINEERINGAI 시스템 엔지니어링
0%23LLM PERFORMANCE & INFERENCELLM 성능과 추론 최적화
0%24MLOPS & LLMOPSMLOps와 LLMOps
0%25AI SECURITY, SAFETY & GOVERNANCEAI 보안·안전·거버넌스
0%26MODERN AI ARCHITECTURE현대 AI 아키텍처
0%27BUILD IT YOURSELF직접 구현 실습
0%28AI RESEARCH & ADVANCED TOPICSAI 연구·고급 주제
0%
06. DEEP LEARNING FOUNDATION / 06.08

Activation Function

활성화 함수

CORE

Activation Function은 뉴런 계산에 비선형성을 넣어 복잡한 패턴을 표현할 수 있게 합니다.

WHY SHOULD I KNOW THIS?

왜 알아야 하나?

Activation이 없으면 여러 Linear Layer를 쌓아도 하나의 Linear 변환으로 합쳐질 수 있습니다.

WHERE IS IT USED?

어디에 사용되나?

Deep Neural NetworkCNNTransformer FFN분류 출력
ACTIVATION COMPARISON
ReLU0.500
Sigmoid0.622
Tanh0.462
xReLUOUT× w=1.2 + b=0.1z=1.06 → activation=1.06 → output=0.70

NEURAL SIGNAL

z = xw+b = 1.06
ReLU(z) = 1.06
신호가 뉴런을 통과하며 어떻게 변하는지 확인하세요.
INTERACTIVE CONCEPT LABNEURAL SIGNAL LAB
01Input02Weight03Sum04Activation05Layer06Output
CURRENT STAGE1 / 6 · Input

ReLU

노드를 클릭하거나 PLAY FLOW를 눌러 정보가 어떻게 이동하는지 단계별로 확인하세요. 슬라이더는 시각적 영향도를 조절합니다.
이 Topic에서 알아야 할 핵심
✓ReLU
✓Sigmoid
✓Tanh
✓Non-linearity
이해 확인 질문
Q1왜 ReLU가 흔한가?
Q2Sigmoid는 언제 쓰나?
CATEGORY
DEEP LEARNING FOUNDATION

뉴런에서 네트워크까지 딥러닝의 계산 구조를 단계적으로 이해합니다.

CURRENT PATH
06.08 Activation Function

이 Topic의 위치와 앞뒤 순서를 항상 Curriculum 기준으로 유지합니다.