Word Embedding
단어 임베딩
Word Embedding은 이산적인 Token ID를 연속적인 실수 Vector로 바꿉니다. 학습을 통해 의미나 사용 문맥이 비슷한 Token이 공간에서 관련된 표현을 갖게 됩니다.
WHY SHOULD I KNOW THIS?
왜 알아야 하나?
NLP을 이름만 암기하지 않고 실제 데이터가 변환되는 과정을 이해하기 위한 핵심 연결점입니다. 이후 Transformer·LLM 학습에서 이 흐름이 반복해서 사용됩니다.
WHERE IS IT USED?
어디에 사용되나?
텍스트 분석검색번역Language Model
10.11 CONCEPT VIEW
Embedding table
이 Topic은 이후 실제 계산/시각화 학습 시뮬레이션으로 확장됩니다.
EMBEDDING SPACE
가까운 Vector는 학습된 표현 공간에서 더 관련된 문맥/의미를 가질 수 있습니다.
실제 embedding은 2차원이 아니라 수백~수천 차원일 수 있습니다.
실제 embedding은 2차원이 아니라 수백~수천 차원일 수 있습니다.
INTERACTIVE CONCEPT LABNLP PIPELINE
CURRENT STAGE1 / 6 · Text
Embedding table
노드를 클릭하거나 PLAY FLOW를 눌러 정보가 어떻게 이동하는지 단계별로 확인하세요. 슬라이더는 시각적 영향도를 조절합니다.
이 Topic에서 알아야 할 핵심
✓Embedding table
✓Dense vector
✓Semantic relation
✓Dimension
이해 확인 질문
Q1Token ID 자체로는 왜 의미적 거리를 표현하기 어려운가?
Q2Embedding dimension은 무엇을 의미하는가?
CATEGORY
NLP FOUNDATION텍스트가 모델이 계산할 수 있는 토큰과 벡터로 변환되는 과정을 학습합니다.
CURRENT PATH
10.11 Word Embedding이 Topic의 위치와 앞뒤 순서를 항상 Curriculum 기준으로 유지합니다.