Tag: ai
-
Token, Tokenizer (ko)
Token이란 Manning & Schütze (1998)1 에서는 token을 Mark Twain의 Tom Sawyer를 통해 token을 설명함. 소설 전문에 있는 전체 단어가 71,370개 정도 존재하며, 이러한 ‘구분 가능한 단어의 출현’을 token이라고 지칭함. 따라서, 자연어처리 초기에는 word와 token간에 큰 차이가 없었으며, (word) token으로 오히려 token이 word를 지칭하는 형태로 인식됨. 이와 별개로, word의 출현 빈도에…
-
Some mysterious stable diffusion weights model
Recently, I managed myself to get acquainted with Stable Diffusion and Stable Diffusion WebUI wrapper project. As a beginner, I referred some webpages to bootstrap my headstart, and tried to follow every reproducible procedures – even pretrained model. One curious thing is that some model hash is frequently discovered by…
