AI의 속을 하나씩 뜯어보는 새 연재예요! 🔬 첫 주제는 '토큰(Token)'이에요. 클로드 같은 AI는 우리가 쓴 글을 통째로 읽는 게 아니라, '토큰'이라는 작은 조각으로 잘게 쪼개서 읽어요. 단어 하나가 한 토큰일 때도 있고, 긴 단어는 여러 조각으로 나뉘기도 해요. 한글은 보통 한 글자에 1~2토큰 정도예요. 그래서 "안녕하세요"는 대략 5~6토큰이 되죠. 이게 왜 중요하냐면, AI가 한 번에 기억할 수 있는 대화 길이도, 유료 요금이 매겨지는 기준도 모두 '토큰' 단위거든요. 다음 편은 'AI는 언제 배우고 언제 답할까(학습 vs 추론)'예요. 여러분은 '토큰'이라는 말, 들어보신 적 있으세요? 궁금한 점은 댓글로 남겨주세요! 😊