Reward Model
Reward Model
Reward Model(Reward Model)은 LLM 학습·정렬에서 중요한 개념입니다. 사전학습 모델을 목적과 선호에 맞게 조정하는 과정 안에서 이 개념이 어떤 입력을 받고 어떤 결과를 만드는지 연결해 이해합니다.
WHY SHOULD I KNOW THIS?
왜 알아야 하나?
LLM 학습·정렬을 용어 암기가 아니라 실제 데이터 흐름으로 이해하기 위해 필요합니다. 앞선 Token·Transformer 개념과 이후 RAG·Agent 시스템을 연결하는 기반이 됩니다.
WHERE IS IT USED?
어디에 사용되나?
Fine-tuningSFTLoRAAlignment
LLM PIPELINE
1Text
2Tokens
3Embedding
4Transformer × N
5Logits
6Next Token
TRAINING → ALIGNMENT
SFT
Instruction → Response 예제로 행동 조정
모든 모델이 정확히 동일한 파이프라인을 사용하는 것은 아니며, 대표적인 개념 흐름입니다.
Instruction → Response 예제로 행동 조정
모든 모델이 정확히 동일한 파이프라인을 사용하는 것은 아니며, 대표적인 개념 흐름입니다.
INTERACTIVE CONCEPT LABLLM TRAINING FLOW
CURRENT STAGE1 / 6 · Dataset
Reward Model
노드를 클릭하거나 PLAY FLOW를 눌러 정보가 어떻게 이동하는지 단계별로 확인하세요. 슬라이더는 시각적 영향도를 조절합니다.
이 Topic에서 알아야 할 핵심
✓Reward Model
✓Reward Model
✓입력 → 변환 → 출력
✓앞뒤 Topic과의 연결
이해 확인 질문
Q1Reward Model은 전체 LLM 학습·정렬 흐름에서 어디에 위치하는가?
Q2Reward Model의 입력과 출력은 무엇인가?
Q3Reward Model가 실제 AI 시스템에서 사용되는 예를 설명할 수 있는가?
CATEGORY
LLM TRAINING & ALIGNMENTPre-training 이후 모델을 목적에 맞게 조정하는 주요 기법을 연결합니다.
CURRENT PATH
15.12 Reward Model이 Topic의 위치와 앞뒤 순서를 항상 Curriculum 기준으로 유지합니다.