Multimodal Transformer
멀티모달 Transformer
Multimodal Transformer는 여러 modality의 token을 Attention으로 연결해 서로의 정보를 참조하게 합니다.
WHY SHOULD I KNOW THIS?
왜 알아야 하나?
멀티모달 Transformer을 용어로만 외우지 않고 실제 시스템의 데이터 흐름과 자원·품질 트레이드오프에 연결해야 이후 설계와 문제 분석에서 원인을 추적할 수 있습니다.
WHERE IS IT USED?
어디에 사용되나?
Vision-Language ModelMultimodal SearchVisual QASpeech / Audio AI
20.13 CONCEPT VIEW
Visual tokens + text tokens → attention → fused representation
이 Topic은 이후 실제 계산/시각화 학습 시뮬레이션으로 확장됩니다.
MULTIMODAL ALIGNMENT
cos(image, text) = 0.998
서로 다른 Modality를 비교 가능한 공통 표현 공간으로 정렬하는 개념을 단순화한 실험입니다.
서로 다른 Modality를 비교 가능한 공통 표현 공간으로 정렬하는 개념을 단순화한 실험입니다.
INTERACTIVE CONCEPT LABMULTIMODAL FLOW
CURRENT STAGE1 / 6 · Text
Visual tokens + text tokens → attention → fused representation
노드를 클릭하거나 PLAY FLOW를 눌러 정보가 어떻게 이동하는지 단계별로 확인하세요. 슬라이더는 시각적 영향도를 조절합니다.
이 Topic에서 알아야 할 핵심
✓Visual tokens + text tokens → attention → fused representation
✓Early/Late fusion 등 결합 위치에 따라 계산 구조가 달라질 수 있습니다.
✓앞 단계와 다음 단계의 연결
✓직접 조작하는 Lab에서 변화 관찰
이해 확인 질문
Q1Multimodal Transformer의 입력과 출력은 무엇인가?
Q2멀티모달 Transformer이 전체 멀티모달 AI에서 필요한 이유는 무엇인가?
Q3관련 Parameter나 설계 선택을 바꾸면 결과에 어떤 변화가 생기는가?
CATEGORY
MULTIMODAL AI텍스트뿐 아니라 이미지·음성·비디오를 함께 처리하는 모델 구조를 이해합니다.
CURRENT PATH
20.13 Multimodal Transformer이 Topic의 위치와 앞뒤 순서를 항상 Curriculum 기준으로 유지합니다.