Sampling
샘플링
Sampling(샘플링)은 LLM에서 중요한 개념입니다. 대규모 Transformer 언어 모델의 생성과 추론 원리 안에서 이 개념이 어떤 입력을 받고 어떤 결과를 만드는지 연결해 이해합니다.
WHY SHOULD I KNOW THIS?
왜 알아야 하나?
LLM을 용어 암기가 아니라 실제 데이터 흐름으로 이해하기 위해 필요합니다. 앞선 Token·Transformer 개념과 이후 RAG·Agent 시스템을 연결하는 기반이 됩니다.
WHERE IS IT USED?
어디에 사용되나?
대화요약코드생성형 AI
LLM PIPELINE
1Text
2Tokens
3Embedding
4Transformer × N
5Logits
6Next Token
Neural networks can learning
learning40.2%
model24.4%
AI17.2%
data10.9%
system7.3%
NEXT TOKEN SAMPLER
logits ÷ T → Softmax → Top-K → Sample
Temperature가 높을수록 분포가 평평해지고 선택 다양성이 커집니다. 이 Lab은 생성 원리를 설명하는 결정론적 시각화입니다.
Temperature가 높을수록 분포가 평평해지고 선택 다양성이 커집니다. 이 Lab은 생성 원리를 설명하는 결정론적 시각화입니다.
INTERACTIVE CONCEPT LABLLM GENERATION LOOP
CURRENT STAGE1 / 6 · Prompt
Sampling
노드를 클릭하거나 PLAY FLOW를 눌러 정보가 어떻게 이동하는지 단계별로 확인하세요. 슬라이더는 시각적 영향도를 조절합니다.
이 Topic에서 알아야 할 핵심
✓Sampling
✓샘플링
✓입력 → 변환 → 출력
✓앞뒤 Topic과의 연결
이해 확인 질문
Q1Sampling은 전체 LLM 흐름에서 어디에 위치하는가?
Q2Sampling의 입력과 출력은 무엇인가?
Q3샘플링가 실제 AI 시스템에서 사용되는 예를 설명할 수 있는가?
CATEGORY
LLM FOUNDATION대규모 언어 모델의 파라미터, 컨텍스트, 생성 과정과 한계를 이해합니다.
CURRENT PATH
14.15 Sampling이 Topic의 위치와 앞뒤 순서를 항상 Curriculum 기준으로 유지합니다.