Tokenización y normalización
Qué es un token
Un token es la unidad mínima que el modelo trata como símbolo: una palabra, un subfijo o un carácter. Tokenizar es convertir texto en una secuencia de esos símbolos identificables.
Por palabras
- Separar por espacios y puntuación es intuitivo y legible.
- Genera vocabularios enormes y sufre con palabras nuevas.
- La riqueza morfológica —tildes, mayúsculas, sufijos— fragmenta aún más.
Normalizar
Pasar a minúsculas, acentuar o no, unificar espacios y eliminar ruido reduce variantes que serían tokens distintos. La normalización conviene decidirla según la tarea: en algunos idiomas perder matices cuesta exactitud.
Lematización y stemming
Reducir palabras a su raíz agrupa flexiones: «corriendo» y «corre» comparten base. El stemming corta de forma mecánica y barata; la lematización usa diccionario y contexto y da formas válidas.
Por subpalabras
Métodos como BPE o WordPiece dividen palabras raras en piezas frecuentes vistas en el entrenamiento. Así el vocabulario se mantiene acotado y ninguna palabra es completamente desconocida.
Tokens especiales
Se añaden símbolos para inicio, fin, relleno o incógnito. Gestionarlos bien es crucial: un modelo confunde relleno con contenido si no se enmascara.
El coste del vocabulario
Un vocabulario grande aumenta los parámetros de la capa de embedding. Subpalabras equilibran cobertura y tamaño, sobre todo en idiomas morfológicamente ricos.
Tokenizadores modernos
Los grandes modelos de lenguaje usan tokenizadores de subpalabras entrenados con datos masivos. Una misma frase puede partirse de forma distinta según el tokenizador, cambiando coste y comportamiento.
Errores frecuentes
- Normalizar de más y borrar información útil —mayúsculas o negaciones— que después cambia el sentido.
- Ignorar los tokens de relleno y dejar que el modelo los trate como contenido real.
- Elegir una granularidad inadecuada: por palabra dispersa el vocabulario, por carácter alarga las secuencias.
Ejemplo resuelto: tokenizar una frase
Quieres pasar una frase a un modelo y decides cómo trocearla:
- Limpias la frase de ruido y espacios sobrantes.
- Normalizas mayúsculas según convenga a la tarea.
- Segmentas con un tokenizador de subpalabras tipo BPE.
- Añades los tokens especiales de inicio y fin.
- Verificas que ninguna palabra caiga como desconocida.
¿Para qué sirve en la realidad?
Todo sistema de lenguaje —buscadores, traductores, chatbots— empieza tokenizando; cómo partes el texto afecta al coste, al vocabulario y a si el modelo entiende o no una palabra nueva.
La tokenización por subpalabras (BPE, WordPiece) se prefiere a la por palabras sobre todo porque:
El stemming y la lematización son exactamente equivalentes y dan siempre los mismos resultados.
Tokenización
Toca una tarjeta para ver la respuesta.
Ordena las etapas típicas de preprocesar un texto:
Arrastra cada ficha a su categoría (o tócala y luego toca la categoría). También puedes usar el teclado.
Análisis léxicoTokenización y procesamiento de texto.
Une cada término de tokenización con su definición.
Trocear bien es medio camino
- Tokenización y normalización
- Normalizar
- minúsculas
- minúsculas
- unificar espacios
- Normalizar
- stemming
- por palabra
- inicio y fin
TokenizerComponente que convierte el texto en tokens para el modelo.
Vas a clasificar tweets en español. ¿Normalizarías las tildes y las mayúsculas? Razona qué ganas y qué podrías perder para esa tarea concreta.
Tu texto se guarda sólo en este dispositivo.
Comentarios
Inicia sesión para comentar.
Todavía no hay comentarios. Sé la primera persona en opinar.