토크나이저는 그만봅니다
A 모델에서 사용하는 토큰이 B 모델에는 안 맞습니다. 단어를 자르는 토크나이저의 파편화로 인한 문제라서 그냥 토크나이저를 사용하지 않겠습니다.
평소 토크나이저의 파편화에 불만이 많았습니다. 그러다 예전에 굳이 토큰으로 쪼개지 않고 '단어의 모양새'를 그대로 사용해도 모델이 학습하는 데 아무 문제가 없다는 이야기를 접했고, 그런 관점에서 보면 소리의 파형 또한 토크나이저가 필요 없는 매우 훌륭한 자료구조입니다.
다음 문장은 공통 입력을 사용합니다. 예를 들면 SNN에 가까운 파형 시그널입니다. '사과'라고 하면 토크나이저는 1개의 값을 표현하겠지만, 이를 소리 파형으로 나타내면 자료구조가 커지는 대신 해상도는 제작자가 적당하게 정하면 됩니다.
