Sparse Attention
Sparse Attention
Sparse Attention은 모든 Token 쌍을 연결하지 않고 선택된 위치만 Attention해 긴 Sequence의 계산량을 줄이는 접근입니다. 흐름은 Tokens → Sparse pattern → Selected attention edges 로 추적할 수 있습니다.
WHY SHOULD I KNOW THIS?
왜 알아야 하나?
최신 연구 용어를 결과만 외우기보다 기존 Transformer/LLM/RAG 지식과 어떤 가정·효율·평가 차이가 있는지 연결해야 논문과 새로운 모델을 스스로 읽을 수 있습니다.
WHERE IS IT USED?
어디에 사용되나?
Paper ReadingModel ComparisonResearch LiteracyAdvanced Architecture
28.10 CONCEPT VIEW
Local Window
이 Topic은 이후 실제 계산/시각화 학습 시뮬레이션으로 확장됩니다.
HYPOTHESIS규모·구조·외부 메모리를 바꾸면 어떤 trade-off가 생길까?
EXPERIMENT
baselinechangemeasurecompare
INTERPRET, DON'T MEMORIZEBenchmark 점수 하나보다 데이터·metric·baseline·비용·한계를 함께 확인합니다.
RESEARCH EVIDENCE EXPLORER
PARAM/DATA SCALE4×RELATIVE LOSS*1.63ATTENTION COMPUTE*16EXTERNAL MEMORYRETRIEVAL
* 개념 이해용 상대값이며 실제 Scaling Law나 모델 성능 예측값이 아닙니다. 연구 결과는 논문의 데이터, 실험 조건과 측정 방법을 함께 확인해야 합니다.
INTERACTIVE CONCEPT LABRESEARCH FRONTIER
CURRENT STAGE1 / 6 · Question
Local Window
노드를 클릭하거나 PLAY FLOW를 눌러 정보가 어떻게 이동하는지 단계별로 확인하세요. 슬라이더는 시각적 영향도를 조절합니다.
이 Topic에서 알아야 할 핵심
✓Local Window
✓Global Token
✓Sparsity
✓Complexity
✓Tokens → Sparse pattern → Selected attention edges
이해 확인 질문
Q1Sparse Attention의 핵심 입력과 출력은 무엇인가?
Q2Sparse Attention에서 가장 중요한 trade-off 또는 실패 조건은 무엇인가?
Q3기존에 학습한 개념과 Sparse Attention은 어떻게 연결되는가?
CATEGORY
AI RESEARCH & ADVANCED TOPICS기초를 마친 뒤 논문과 최신 모델 구조를 읽기 위한 확장 개념을 정리합니다.
CURRENT PATH
28.10 Sparse Attention이 Topic의 위치와 앞뒤 순서를 항상 Curriculum 기준으로 유지합니다.