← 실험실

Attention — 한 토큰이 어디를 보는가

처방전 한 줄을 8개 토큰으로 쪼개고, head별 관심 분포를 가시화합니다. 모델은 같은 "메트포르민"도 head에 따라 전혀 다른 곳을 본다.

심화편 — Q·K·V 계산 분해 →
🎓 교육용 수동 큐레이션 weight
입력 처방전 (S16)
메트포르민 500mg bid 30일, 75세 남, eGFR 45
메트포르민500mgbid30일75세eGFR45토큰을 탭하면 이 head가 어디를 보는지 드러납니다

경외 포인트. "메트포르민"을 선택한 뒤 Head 2로 바꿔 보세요 — eGFR·45·75세 에 굵은 선이 몰립니다. 모델이 "이 약은 신기능을 봐야 한다"는 관계를 스스로 학습한 결과입니다. Head 1로 돌아가면 같은 토큰이 용법(500mg·bid·30일)으로 관심을 옮깁니다.