Scaling
Scaling
Scaling(Scaling)은 Attention의 전체 흐름에서 중요한 단계입니다. 현재 Query가 다른 Token의 Key와 비교되어 어떤 Value를 얼마나 참고할지 계산하는 흐름 안에서 이 개념이 어떤 입력을 받고 무엇을 출력하는지 연결해서 이해합니다.
WHY SHOULD I KNOW THIS?
왜 알아야 하나?
Attention을 이름만 암기하지 않고 실제 데이터가 변환되는 과정을 이해하기 위한 핵심 연결점입니다. 이후 Transformer·LLM 학습에서 이 흐름이 반복해서 사용됩니다.
WHERE IS IT USED?
어디에 사용되나?
TransformerLLMVision Transformer멀티모달
TRANSFORMER FLOW
01Token→
02Embedding→
03Attention→
04Add & Norm→
05FFN→
06Output
QUERY cat
QKᵀ / √d → Softmax → Σ(weight × V)
ATTENTION WEIGHTS
각 막대는 현재 Query가 각 Key/Value를 얼마나 참고하는지 나타냅니다.
Σ weights = 1.00
Σ weights = 1.00
INTERACTIVE CONCEPT LABATTENTION LAB
CURRENT STAGE1 / 6 · Token
Scaling
노드를 클릭하거나 PLAY FLOW를 눌러 정보가 어떻게 이동하는지 단계별로 확인하세요. 슬라이더는 시각적 영향도를 조절합니다.
이 Topic에서 알아야 할 핵심
✓Scaling
✓Scaling
✓Q·K·V → Score → Scale → Softmax → Weighted Sum
✓앞 단계의 출력이 다음 단계의 입력으로 연결됨
이해 확인 질문
Q1Scaling은 전체 Attention 흐름의 어느 위치에 있는가?
Q2Scaling의 입력과 출력은 무엇인가?
Q3이 개념이 빠지면 다음 단계에서 어떤 문제가 생기는가?
CATEGORY
ATTENTIONTransformer의 핵심인 Attention 계산을 Q/K/V 이전부터 단계별로 분해합니다.
CURRENT PATH
11.07 Scaling이 Topic의 위치와 앞뒤 순서를 항상 Curriculum 기준으로 유지합니다.