Evaluation & Red Teaming
평가와 Red Teaming
Evaluation & Red Teaming(평가와 Red Teaming)은 AI 보안·안전·거버넌스에서 중요한 개념입니다. 사용자 입력부터 RAG·모델·Agent Tool·출력까지 신뢰 경계를 나누고 통제를 배치하는 흐름 안에서 이 개념이 시스템의 어느 지점에 위치하고 어떤 지표·통제·운영 결과에 영향을 주는지 연결해 이해합니다.
WHY SHOULD I KNOW THIS?
왜 알아야 하나?
평가와 Red Teaming을 용어로만 외우면 실제 시스템의 병목이나 위험을 설명하기 어렵습니다. 최소권한, 데이터 보호, Guardrail, 감사 가능성 관점에서 입력 → 처리 → 관측 결과를 추적할 수 있어야 설계와 장애 분석에 활용할 수 있습니다.
WHERE IS IT USED?
어디에 사용되나?
Enterprise AI GovernanceProduction AIArchitecture DesignTroubleshooting
25.15 CONCEPT VIEW
Evaluation & Red Teaming
이 Topic은 이후 실제 계산/시각화 학습 시뮬레이션으로 확장됩니다.
PROMPT THREATCONTROL BLOCKED / CONTAINED
INPUT→
INPUT GUARD→
RAG→
MODEL→
TOOL→
OUTPUT GUARD→
AUDIT
AUDIT EVENT: identity · input class · retrieval · tool decision · result
AI TRUST BOUNDARY LAB
Result: BLOCK / CONTAIN
단일 Guardrail이 모든 위협을 해결하지 않습니다. Identity, data boundary, retrieval trust, tool permission, output control, audit를 계층적으로 배치하는 개념 실험입니다.
단일 Guardrail이 모든 위협을 해결하지 않습니다. Identity, data boundary, retrieval trust, tool permission, output control, audit를 계층적으로 배치하는 개념 실험입니다.
INTERACTIVE CONCEPT LABAI SECURITY PATH
CURRENT STAGE1 / 6 · Input
Evaluation & Red Teaming
노드를 클릭하거나 PLAY FLOW를 눌러 정보가 어떻게 이동하는지 단계별로 확인하세요. 슬라이더는 시각적 영향도를 조절합니다.
이 Topic에서 알아야 할 핵심
✓Evaluation & Red Teaming
✓평가와 Red Teaming
✓입력 → 처리 → 결과
✓Trade-off / Failure Mode
✓관측·검증 포인트
이해 확인 질문
Q1Evaluation & Red Teaming은 전체 AI 보안·안전·거버넌스 흐름의 어디에 위치하는가?
Q2평가와 Red Teaming을 변경하거나 실패했을 때 가장 먼저 달라지는 지표·위험은 무엇인가?
Q3운영 환경에서 평가와 Red Teaming을 검증하려면 무엇을 관측해야 하는가?
CATEGORY
AI SECURITY, SAFETY & GOVERNANCEAI 시스템에서 발생하는 새로운 공격면과 데이터·모델·감사 통제를 이해합니다.
CURRENT PATH
25.15 Evaluation & Red Teaming이 Topic의 위치와 앞뒤 순서를 항상 Curriculum 기준으로 유지합니다.