Autoscaling
오토스케일링
Autoscaling은 부하나 지표에 따라 serving replica/compute 수를 조절해 성능과 비용의 균형을 맞춥니다.
WHY SHOULD I KNOW THIS?
왜 알아야 하나?
오토스케일링을 용어로만 외우지 않고 실제 시스템의 데이터 흐름과 자원·품질 트레이드오프에 연결해야 이후 설계와 문제 분석에서 원인을 추적할 수 있습니다.
WHERE IS IT USED?
어디에 사용되나?
Model ServingInference APIScalable AIProduction Operations
22.16 CONCEPT VIEW
metrics → scaling decision → replicas
이 Topic은 이후 실제 계산/시각화 학습 시뮬레이션으로 확장됩니다.
R1R2R3R4R5R6R7R8
QUEUE→GPU 1batch × 2GPU 2batch × 2
→RESPONSEAI SERVING LOAD
ROUNDS 2LATENCY* 130 msTHROUGHPUT* 33.3/s
* 교육용 상대 지표입니다. 실제 값은 모델·GPU·입력 길이·스케줄러 등에 따라 달라집니다.
INTERACTIVE CONCEPT LABAI SERVING FLOW
CURRENT STAGE1 / 6 · Request
metrics → scaling decision → replicas
노드를 클릭하거나 PLAY FLOW를 눌러 정보가 어떻게 이동하는지 단계별로 확인하세요. 슬라이더는 시각적 영향도를 조절합니다.
이 Topic에서 알아야 할 핵심
✓metrics → scaling decision → replicas
✓Scale-out 속도, cold start, 최소/최대 용량과 비용을 함께 고려해야 합니다.
✓앞 단계와 다음 단계의 연결
✓직접 조작하는 Lab에서 변화 관찰
이해 확인 질문
Q1Autoscaling의 입력과 출력은 무엇인가?
Q2오토스케일링이 전체 AI 시스템 엔지니어링에서 필요한 이유는 무엇인가?
Q3관련 Parameter나 설계 선택을 바꾸면 결과에 어떤 변화가 생기는가?
CATEGORY
AI SYSTEM ENGINEERING모델을 실제 서비스로 제공할 때 필요한 Serving, 확장성, 관측성을 학습합니다.
CURRENT PATH
22.16 Autoscaling이 Topic의 위치와 앞뒤 순서를 항상 Curriculum 기준으로 유지합니다.