M1S1213분 등장

토큰

토큰

LLM이 문장을 처리하는 최소 단위 조각

💊 약사 비유

아세트아미노펜을 '아세트·아미노·펜'으로 쪼개듯 — LLM은 글자를 작은 조각으로 분해해 계산

🔗 관련 용어
컨텍스트 윈도우임베딩확률 분포
📍 강의 슬라이드 참조
S12
← 용어 지도로 돌아가기