Un análisis de CLEAR encontró diferencias de hasta 17 veces en los tokens necesarios para procesar contenido equivalente en distintos idiomas. La brecha encarece los servicios de inteligencia artificial que cobran por token y reduce cuánto texto cabe en su ventana de contexto, el espacio disponible para documentos e historial.
La Coalition for Language Equity in AI Research publicó esta evaluación técnica en su sitio el 29 de septiembre de 2026. Utilizó traducciones de FLORES-200 y analizó 203 combinaciones de idioma y sistema de escritura.
Los tokens son las unidades en que un modelo divide el texto: pueden corresponder a palabras, fragmentos o caracteres. OpenAI explica en su documentación que su cantidad depende del modelo, la codificación y el idioma; contar palabras ofrece una medida diferente.
La brecha máxima describe los extremos de cada modelo
CLEAR divide el mayor consumo de tokens entre el menor para contenido equivalente dentro de cada modelo. Esta selección de sus resultados muestra cómo cambia la brecha al ampliar la diversidad lingüística:
| Modelo o familia evaluada | 20 idiomas con mayor presencia web | 203 combinaciones de idioma y escritura |
|---|---|---|
| Gemini 3.1 Pro | 1.6 veces | 5.1 veces |
| GPT-5 / gpt-oss | 1.8 veces | 13.8 veces |
| Falcon 3 | 4.5 veces | 17 veces |
La distribución añade un matiz: con GPT-5/gpt-oss, 158 combinaciones, el 78 %, consumen menos del doble de tokens que la más eficiente. Un resultado extremo puede coexistir con diferencias mucho menores para gran parte de la muestra.
El sistema de escritura influye en esa desigualdad. Rest of World destaca el caso del asturiano, que se beneficia del alfabeto latino pese a su escasa presencia digital. Escrituras como la birmana, tibetana o jemer quedan entre las más perjudicadas.
La tarifa por token cuenta solo parte del costo
El efecto económico depende de cómo se cobre el servicio. En una API, la interfaz que utilizan las aplicaciones para acceder al modelo, más tokens facturables elevan el cargo si se mantiene la misma tarifa. El análisis compara consumo de texto equivalente; sus cocientes no equivalen automáticamente a diferencias en el precio de las suscripciones mensuales.
OpenAI distingue tarifas de entrada, salida y contenido reutilizado mediante caché. También advierte que el costo total depende de cuánto genera cada modelo, incluidos sus tokens de razonamiento. Para comparar servicios multilingües, esto implica considerar el consumo completo de tareas equivalentes en los idiomas de uso, además del precio anunciado por millón de tokens.
La penalización también afecta la cantidad de información disponible en una consulta. Un documento que ocupa más tokens consume una mayor proporción del mismo límite de contexto. Pratyush Choudhury, cofundador de Activate AI, explicó a Rest of World que un tutor necesita conservar errores y explicaciones anteriores del estudiante: si ese historial llena antes la ventana, la desventaja alcanza la calidad del servicio.
