← 실험실 · /LAB/ATTENTION-DEEP
어텐션의 계산 원리 — Q·K·V 분해
STAGE · ③ Q · Kᵀ
query: 이부프로펜
아모잘탄
token 0
메트포르민
token 1
아스피린
token 2
이부프로펜
token 3
Q
prn
token 4
식후
token 5
PHASE · 3 / 6
③ Q · Kᵀ
내적으로 유사도
이부프로펜의 Q와 모든 토큰의 K를 내적. 값이 클수록 "관련 있음". 아스피린이 2.84로 최고 — NSAID + 항혈소판 신호.
FORMULA
Attention(Q, K, V) =
softmax(QKᵀ / √dₖ)V
softmax(QKᵀ / √dₖ)V
전체 식을 한 번에 보면 추상적이지만, 6단계로 쪼개면 약사의 판단 루틴과 동형:
1) 대상 찾기 → 2) 렌즈 3종 → 3) 유사도 → 4) 조정 → 5) 비율화 → 6) 반영
1) 대상 찾기 → 2) 렌즈 3종 → 3) 유사도 → 4) 조정 → 5) 비율화 → 6) 반영
⚙ WHY Q·K·V?
하나의 임베딩이 세 얼굴을 가진다. Q는 "내가 묻는 질문", K는 "내가 답할 수 있는 주제", V는 "실제로 전할 내용". 약사가 처방전을 볼 때 Q=지금 확인할 약, K=각 약의 카테고리 태그, V=주의사항 텍스트와 같다.