Tag: machine-learning
-
Token, Tokenizer (ko)
Token이란 Manning & Schütze (1998)1 에서는 token을 Mark Twain의 Tom Sawyer를 통해 token을 설명함. 소설 전문에 있는 전체 단어가 71,370개 정도 존재하며, 이러한 ‘구분 가능한 단어의 출현’을 token이라고 지칭함. 따라서, 자연어처리 초기에는 word와 token간에 큰 차이가 없었으며, (word) token으로 오히려 token이 word를 지칭하는 형태로 인식됨. 이와 별개로, word의 출현 빈도에…
