Queue & Backpressure
Queue와 Backpressure
Queue와 Backpressure는 처리 능력보다 요청 유입이 빠를 때 시스템이 무너지지 않도록 대기·제한·거절 정책을 적용하는 핵심 구조입니다.
WHY SHOULD I KNOW THIS?
왜 알아야 하나?
Queue와 Backpressure을 용어로만 외우지 않고 실제 시스템의 데이터 흐름과 자원·품질 트레이드오프에 연결해야 이후 설계와 문제 분석에서 원인을 추적할 수 있습니다.
WHERE IS IT USED?
어디에 사용되나?
Model ServingInference APIScalable AIProduction Operations
22.17 CONCEPT VIEW
arrival rate > service rate → queue/backpressure
이 Topic은 이후 실제 계산/시각화 학습 시뮬레이션으로 확장됩니다.
R1R2R3R4R5R6R7R8
QUEUE→GPU 1batch × 2GPU 2batch × 2
→RESPONSEAI SERVING LOAD
ROUNDS 2LATENCY* 130 msTHROUGHPUT* 33.3/s
* 교육용 상대 지표입니다. 실제 값은 모델·GPU·입력 길이·스케줄러 등에 따라 달라집니다.
INTERACTIVE CONCEPT LABAI SERVING FLOW
CURRENT STAGE1 / 6 · Request
arrival rate > service rate → queue/backpressure
노드를 클릭하거나 PLAY FLOW를 눌러 정보가 어떻게 이동하는지 단계별로 확인하세요. 슬라이더는 시각적 영향도를 조절합니다.
이 Topic에서 알아야 할 핵심
✓arrival rate > service rate → queue/backpressure
✓무제한 Queue는 지연만 키울 수 있으므로 timeout과 admission control도 필요합니다.
✓앞 단계와 다음 단계의 연결
✓직접 조작하는 Lab에서 변화 관찰
이해 확인 질문
Q1Queue & Backpressure의 입력과 출력은 무엇인가?
Q2Queue와 Backpressure이 전체 AI 시스템 엔지니어링에서 필요한 이유는 무엇인가?
Q3관련 Parameter나 설계 선택을 바꾸면 결과에 어떤 변화가 생기는가?
CATEGORY
AI SYSTEM ENGINEERING모델을 실제 서비스로 제공할 때 필요한 Serving, 확장성, 관측성을 학습합니다.
CURRENT PATH
22.17 Queue & Backpressure이 Topic의 위치와 앞뒤 순서를 항상 Curriculum 기준으로 유지합니다.