GPU Memory / VRAM
GPU 메모리·VRAM
VRAM은 모델 weight, activation, KV cache, batch 입력 등 GPU 계산에 필요한 데이터를 보관하는 제한된 자원입니다.
WHY SHOULD I KNOW THIS?
왜 알아야 하나?
GPU 메모리·VRAM을 용어로만 외우지 않고 실제 시스템의 데이터 흐름과 자원·품질 트레이드오프에 연결해야 이후 설계와 문제 분석에서 원인을 추적할 수 있습니다.
WHERE IS IT USED?
어디에 사용되나?
Model ServingInference APIScalable AIProduction Operations
22.04 CONCEPT VIEW
weights + activations + cache + batch ≤ VRAM
이 Topic은 이후 실제 계산/시각화 학습 시뮬레이션으로 확장됩니다.
R1R2R3R4R5R6R7R8
QUEUE→GPU 1batch × 2GPU 2batch × 2
→RESPONSEAI SERVING LOAD
ROUNDS 2LATENCY* 130 msTHROUGHPUT* 33.3/s
* 교육용 상대 지표입니다. 실제 값은 모델·GPU·입력 길이·스케줄러 등에 따라 달라집니다.
INTERACTIVE CONCEPT LABAI SERVING FLOW
CURRENT STAGE1 / 6 · Request
weights + activations + cache + batch ≤ VRAM
노드를 클릭하거나 PLAY FLOW를 눌러 정보가 어떻게 이동하는지 단계별로 확인하세요. 슬라이더는 시각적 영향도를 조절합니다.
이 Topic에서 알아야 할 핵심
✓weights + activations + cache + batch ≤ VRAM
✓메모리 부족은 batch size, precision, model size, context length와 직접 연결됩니다.
✓앞 단계와 다음 단계의 연결
✓직접 조작하는 Lab에서 변화 관찰
이해 확인 질문
Q1GPU Memory / VRAM의 입력과 출력은 무엇인가?
Q2GPU 메모리·VRAM이 전체 AI 시스템 엔지니어링에서 필요한 이유는 무엇인가?
Q3관련 Parameter나 설계 선택을 바꾸면 결과에 어떤 변화가 생기는가?
CATEGORY
AI SYSTEM ENGINEERING모델을 실제 서비스로 제공할 때 필요한 Serving, 확장성, 관측성을 학습합니다.
CURRENT PATH
22.04 GPU Memory / VRAM이 Topic의 위치와 앞뒤 순서를 항상 Curriculum 기준으로 유지합니다.