Distillation
지식 증류
Distillation은 큰 Teacher의 출력·분포·표현을 작은 Student가 학습해 비용을 줄이면서 능력을 이전하는 방법입니다. 흐름은 Teacher → Soft targets/Traces → Student 로 추적할 수 있습니다.
WHY SHOULD I KNOW THIS?
왜 알아야 하나?
최신 연구 용어를 결과만 외우기보다 기존 Transformer/LLM/RAG 지식과 어떤 가정·효율·평가 차이가 있는지 연결해야 논문과 새로운 모델을 스스로 읽을 수 있습니다.
WHERE IS IT USED?
어디에 사용되나?
Paper ReadingModel ComparisonResearch LiteracyAdvanced Architecture
28.07 CONCEPT VIEW
Teacher
이 Topic은 이후 실제 계산/시각화 학습 시뮬레이션으로 확장됩니다.
HYPOTHESIS규모·구조·외부 메모리를 바꾸면 어떤 trade-off가 생길까?
EXPERIMENT
baselinechangemeasurecompare
INTERPRET, DON'T MEMORIZEBenchmark 점수 하나보다 데이터·metric·baseline·비용·한계를 함께 확인합니다.
RESEARCH EVIDENCE EXPLORER
PARAM/DATA SCALE4×RELATIVE LOSS*1.63ATTENTION COMPUTE*16EXTERNAL MEMORYRETRIEVAL
* 개념 이해용 상대값이며 실제 Scaling Law나 모델 성능 예측값이 아닙니다. 연구 결과는 논문의 데이터, 실험 조건과 측정 방법을 함께 확인해야 합니다.
INTERACTIVE CONCEPT LABRESEARCH FRONTIER
CURRENT STAGE1 / 6 · Question
Teacher
노드를 클릭하거나 PLAY FLOW를 눌러 정보가 어떻게 이동하는지 단계별로 확인하세요. 슬라이더는 시각적 영향도를 조절합니다.
이 Topic에서 알아야 할 핵심
✓Teacher
✓Student
✓Soft Targets
✓Compression
✓Teacher → Soft targets/Traces → Student
이해 확인 질문
Q1Distillation의 핵심 입력과 출력은 무엇인가?
Q2지식 증류에서 가장 중요한 trade-off 또는 실패 조건은 무엇인가?
Q3기존에 학습한 개념과 Distillation은 어떻게 연결되는가?
CATEGORY
AI RESEARCH & ADVANCED TOPICS기초를 마친 뒤 논문과 최신 모델 구조를 읽기 위한 확장 개념을 정리합니다.
CURRENT PATH
28.07 Distillation이 Topic의 위치와 앞뒤 순서를 항상 Curriculum 기준으로 유지합니다.