CPU vs GPU
CPU와 GPU
CPU와 GPU는 모두 계산 장치지만, GPU는 많은 병렬 연산을 처리하는 구조 때문에 대규모 tensor/matrix 연산에서 강점을 가집니다.
WHY SHOULD I KNOW THIS?
왜 알아야 하나?
CPU와 GPU을 용어로만 외우지 않고 실제 시스템의 데이터 흐름과 자원·품질 트레이드오프에 연결해야 이후 설계와 문제 분석에서 원인을 추적할 수 있습니다.
WHERE IS IT USED?
어디에 사용되나?
Model ServingInference APIScalable AIProduction Operations
22.03 CONCEPT VIEW
workload → CPU or GPU → compute
이 Topic은 이후 실제 계산/시각화 학습 시뮬레이션으로 확장됩니다.
R1R2R3R4R5R6R7R8
QUEUE→GPU 1batch × 2GPU 2batch × 2
→RESPONSEAI SERVING LOAD
ROUNDS 2LATENCY* 130 msTHROUGHPUT* 33.3/s
* 교육용 상대 지표입니다. 실제 값은 모델·GPU·입력 길이·스케줄러 등에 따라 달라집니다.
INTERACTIVE CONCEPT LABAI SERVING FLOW
CURRENT STAGE1 / 6 · Request
workload → CPU or GPU → compute
노드를 클릭하거나 PLAY FLOW를 눌러 정보가 어떻게 이동하는지 단계별로 확인하세요. 슬라이더는 시각적 영향도를 조절합니다.
이 Topic에서 알아야 할 핵심
✓workload → CPU or GPU → compute
✓모든 단계가 GPU에 적합한 것은 아니며 전처리·I/O·제어 흐름은 CPU가 담당하기도 합니다.
✓앞 단계와 다음 단계의 연결
✓직접 조작하는 Lab에서 변화 관찰
이해 확인 질문
Q1CPU vs GPU의 입력과 출력은 무엇인가?
Q2CPU와 GPU이 전체 AI 시스템 엔지니어링에서 필요한 이유는 무엇인가?
Q3관련 Parameter나 설계 선택을 바꾸면 결과에 어떤 변화가 생기는가?
CATEGORY
AI SYSTEM ENGINEERING모델을 실제 서비스로 제공할 때 필요한 Serving, 확장성, 관측성을 학습합니다.
CURRENT PATH
22.03 CPU vs GPU이 Topic의 위치와 앞뒤 순서를 항상 Curriculum 기준으로 유지합니다.