Query / Key / Value
Query·Key·Value
Query는 내가 찾는 정보, Key는 각 Token이 가진 검색용 특징, Value는 실제로 가져올 정보라고 볼 수 있습니다. Attention은 Q와 K의 관계로 V의 혼합 비율을 결정합니다.
WHY SHOULD I KNOW THIS?
왜 알아야 하나?
Attention을 이름만 암기하지 않고 실제 데이터가 변환되는 과정을 이해하기 위한 핵심 연결점입니다. 이후 Transformer·LLM 학습에서 이 흐름이 반복해서 사용됩니다.
WHERE IS IT USED?
어디에 사용되나?
TransformerLLMVision Transformer멀티모달
TRANSFORMER FLOW
01Token→
02Embedding→
03Attention→
04Add & Norm→
05FFN→
06Output
QUERY cat
QKᵀ / √d → Softmax → Σ(weight × V)
ATTENTION WEIGHTS
각 막대는 현재 Query가 각 Key/Value를 얼마나 참고하는지 나타냅니다.
Σ weights = 1.00
Σ weights = 1.00
INTERACTIVE CONCEPT LABATTENTION LAB
CURRENT STAGE1 / 6 · Token
Query
노드를 클릭하거나 PLAY FLOW를 눌러 정보가 어떻게 이동하는지 단계별로 확인하세요. 슬라이더는 시각적 영향도를 조절합니다.
이 Topic에서 알아야 할 핵심
✓Query
✓Key
✓Value
✓Projection matrix
이해 확인 질문
Q1Q와 K가 점수를 만들고 V가 결과에 쓰이는 이유는?
Q2한 Token에서 Q/K/V가 각각 어떻게 만들어지는가?
CATEGORY
ATTENTIONTransformer의 핵심인 Attention 계산을 Q/K/V 이전부터 단계별로 분해합니다.
CURRENT PATH
11.04 Query / Key / Value이 Topic의 위치와 앞뒤 순서를 항상 Curriculum 기준으로 유지합니다.