Multimodal Embedding
멀티모달 임베딩
Multimodal Embedding은 이미지와 텍스트 등 서로 다른 입력을 비교 가능한 벡터 공간에 정렬합니다.
WHY SHOULD I KNOW THIS?
왜 알아야 하나?
멀티모달 임베딩을 용어로만 외우지 않고 실제 시스템의 데이터 흐름과 자원·품질 트레이드오프에 연결해야 이후 설계와 문제 분석에서 원인을 추적할 수 있습니다.
WHERE IS IT USED?
어디에 사용되나?
Vision-Language ModelMultimodal SearchVisual QASpeech / Audio AI
20.12 CONCEPT VIEW
Image/Text → encoder → shared vector space
이 Topic은 이후 실제 계산/시각화 학습 시뮬레이션으로 확장됩니다.
MULTIMODAL ALIGNMENT
cos(image, text) = 0.998
서로 다른 Modality를 비교 가능한 공통 표현 공간으로 정렬하는 개념을 단순화한 실험입니다.
서로 다른 Modality를 비교 가능한 공통 표현 공간으로 정렬하는 개념을 단순화한 실험입니다.
INTERACTIVE CONCEPT LABMULTIMODAL FLOW
CURRENT STAGE1 / 6 · Text
Image/Text → encoder → shared vector space
노드를 클릭하거나 PLAY FLOW를 눌러 정보가 어떻게 이동하는지 단계별로 확인하세요. 슬라이더는 시각적 영향도를 조절합니다.
이 Topic에서 알아야 할 핵심
✓Image/Text → encoder → shared vector space
✓짝이 맞는 이미지·텍스트의 표현은 가깝게, 관련 없는 표현은 멀게 학습할 수 있습니다.
✓앞 단계와 다음 단계의 연결
✓직접 조작하는 Lab에서 변화 관찰
이해 확인 질문
Q1Multimodal Embedding의 입력과 출력은 무엇인가?
Q2멀티모달 임베딩이 전체 멀티모달 AI에서 필요한 이유는 무엇인가?
Q3관련 Parameter나 설계 선택을 바꾸면 결과에 어떤 변화가 생기는가?
CATEGORY
MULTIMODAL AI텍스트뿐 아니라 이미지·음성·비디오를 함께 처리하는 모델 구조를 이해합니다.
CURRENT PATH
20.12 Multimodal Embedding이 Topic의 위치와 앞뒤 순서를 항상 Curriculum 기준으로 유지합니다.