Los modelos de lenguaje no procesan palabras sino tokens: fragmentos de texto que pueden ser una palabra completa, una parte de una palabra o un signo de puntuación. Un texto en español suele consumir más tokens que el mismo texto en inglés.
Esa unidad importa por dos razones prácticas. La primera es el costo: los servicios de inteligencia artificial se facturan por token procesado, tanto de entrada como de salida. La segunda es el límite de contexto: cada modelo puede considerar una cantidad máxima de tokens a la vez.
El efecto del límite de contexto
Cuando una conversación o un documento superan ese límite, el sistema debe descartar o resumir parte del contenido. Eso explica por qué un modelo puede parecer que olvida algo que se le dijo al principio de una sesión larga.
Los modelos más recientes ampliaron considerablemente ese límite, pero procesar contextos muy largos sigue siendo más lento y más caro.
Cada proveedor publica los precios por millón de tokens y los límites de sus modelos.