Antes de que un modelo de lenguaje pueda procesar texto, este debe dividirse en tokens: unidades que pueden ser palabras completas, fragmentos de palabras o incluso caracteres individuales, según el método usado. Cada token se convierte luego en un número que el modelo puede procesar matemáticamente.
Por qué no siempre son palabras completas
Dividir el texto en fragmentos de palabras, en lugar de palabras completas, permite que el modelo maneje palabras que nunca vio durante el entrenamiento, combinando fragmentos ya conocidos, y reduce drásticamente el tamaño del vocabulario que el modelo necesita manejar.