Why Transformer?
왜 Transformer인가?
Transformer는 RNN처럼 Token을 하나씩 순차 처리하지 않고 Attention을 중심으로 Sequence의 관계를 병렬 계산하도록 설계된 아키텍처입니다.
WHY SHOULD I KNOW THIS?
왜 알아야 하나?
Transformer을 이름만 암기하지 않고 실제 데이터가 변환되는 과정을 이해하기 위한 핵심 연결점입니다. 이후 Transformer·LLM 학습에서 이 흐름이 반복해서 사용됩니다.
WHERE IS IT USED?
어디에 사용되나?
GPTBERT 계열번역LLM멀티모달
TRANSFORMER FLOW
01Token→
02Embedding→
03Attention→
04Add & Norm→
05FFN→
06Output
01TOKEN→
02EMBED + POS→
03ATTENTION→
04ADD & NORM→
05FFN→
06ADD & NORM→
07LOGITS
TRANSFORMER DATA FLOW
현재: ATTENTION
Token 표현이 Attention과 FFN을 통과하면서 문맥화되는 전체 경로를 따라가세요.
Token 표현이 Attention과 FFN을 통과하면서 문맥화되는 전체 경로를 따라가세요.
INTERACTIVE CONCEPT LABTRANSFORMER SIGNAL
CURRENT STAGE1 / 6 · Tokens
Parallel sequence processing
노드를 클릭하거나 PLAY FLOW를 눌러 정보가 어떻게 이동하는지 단계별로 확인하세요. 슬라이더는 시각적 영향도를 조절합니다.
이 Topic에서 알아야 할 핵심
✓Parallel sequence processing
✓Self-Attention
✓Long-range relation
✓Encoder/Decoder
이해 확인 질문
Q1RNN의 순차 계산 병목을 Transformer는 어떻게 줄였는가?
Q2Attention만으로는 Token 순서를 왜 알기 어려운가?
CATEGORY
TRANSFORMERAttention을 중심으로 Transformer 블록과 전체 데이터 흐름을 조립합니다.
CURRENT PATH
12.01 Why Transformer?이 Topic의 위치와 앞뒤 순서를 항상 Curriculum 기준으로 유지합니다.