Últimamente he escuchado con mucha frecuencia la palabra “token” en el contexto de la inteligencia artificial y de los grandes modelos de lenguaje (LLMs).
Pero ¿Qué es un Token?
Un token es la unidad básica de texto que un modelo de IA “lee y procesa”. Los tokens pueden ser palabras completas, partes de palabras, puntuación o incluso espacios. El modelo no “lee” letras — lee tokens (tampoco sé si la palabra “lee” es la adecuada cuando se trata de la IA, la verdad). Un token equivale aproximadamente a 4-5 caracteres, o sea menos de una palabra completa. De hecho, se estima que un token es 0,75 de una palabra completa. Ejemplos:
- “Hola” → 1 token
- “hamburguesa” → 4 tokens (ham / bur / gue / sa)
- “Me gusta la pizza” → 4 tokens
- Un párrafo típico → ~100 tokens
- 1-2 páginas de texto →~1000 tokens
El proceso de dividir el texto en tokens se llama “tokenización”. Esto permite a la IA analizar y “digerir” el lenguaje humano en una forma que pueda entender.
¿Por qué importan los tokens?
Aunque tu no lo sepas, el tema es que los LLMs tienen un límite de tokens. Esto significa que solo pueden considerar una cierta cantidad de tokens a la vez para leer o generar texto. Este límite varía desde unos pocos miles para modelos más pequeños hasta decenas de miles para los grandes modelos comerciales. Superar el límite de tokens es complejo porque puede provocar errores, confusión, halucinaciones o respuestas de baja calidad por parte de la IA.
Piénsalo como un amigo con deficit atencional. Tienes que mantenerte dentro de lo que puede entender, o se mareará y perderá el hilo de la conversación. Los límites de tokens funcionan de la misma manera para los bots de IA.
El otro tema es el costo. Para usuarios básicos como yo, el plan pagado incluye una cantidad x de mensajes al día (seguramente no se habla de token para hacerlo más entendible para la población no techie). Pero, los desarrolladores de IA que usan la API de los modelos sí tienen planes pagados que cobran por paquete de tokens. Y ahí el gasto en token varía mucho pues depende del uso que están dando al modelo y puede representar un costo bien grande en algunos casos.
