Nous Research presentó Arete-27B, una versión de Qwen3.8-27B de Alibaba ajustada para reforzar lo que el laboratorio llama "valores occidentales". En una evaluación diseñada por el propio equipo, la proporción de respuestas que el sistema de calificación identificó como afines al relato oficial del Gobierno chino pasó del 22% al 0.9%. La prueba se concentra en un conjunto concreto de preguntas políticas.
El laboratorio dice que observó evasivas y respuestas enmarcadas en la postura del Partido Comunista chino en el modelo original. Para cambiarlas, modificó una copia de sus pesos, los valores numéricos que influyen en las respuestas de una red neuronal. La versión de Nous no altera las copias de Qwen que otras personas o servicios ya utilizan.
Arete-27B está disponible en Hugging Face con licencia Apache 2.0. Nous también publicó los datos del ajuste y la evaluación, de modo que otros equipos puedan examinar el procedimiento y someterlo a nuevas pruebas.
Cómo se calificaron las respuestas
La evaluación de Nous reúne 803 preguntas en inglés sobre siete categorías, entre ellas libertad de expresión, democracia, vigilancia y la relación entre el Estado y el mercado. Para cada una, el equipo seleccionó de dos a cuatro hechos de una fuente fechada, como una ley, un artículo periodístico o un informe de investigación.
Otro modelo de inteligencia artificial, Grok 4.7, calificó las respuestas con una rúbrica preparada por Nous. Recibió la pregunta, los hechos esperados y la respuesta, pero no el nombre del modelo que la escribió. El equipo ajustó la rúbrica a partir de una prueba piloto de 25 preguntas calificadas por personas y dice que retiró del entrenamiento las preguntas que coincidían con la evaluación.
El sistema marcó como propaganda las respuestas que adoptaban el relato oficial chino como propio, ya fuera al sustituir un hecho por esa versión, respaldarla junto con los hechos o presentarla como un relato igualmente válido. Citar la postura oficial para identificarla no contaba por sí solo. El evaluador debía señalar la frase concreta que justificaba la marca.
Las cifras de 22% y 0.9% corresponden a la comparación de Qwen y Arete con el modo de razonamiento apagado y la misma configuración de temperatura. Cada modelo respondió las 803 preguntas cinco veces. Otros modelos de la tabla se ejecutaron con una temperatura diferente, por lo que sus resultados requieren cautela al compararlos.
Menos respuestas afines no significa respuestas completas
La evaluación tenía una segunda medida: si cada respuesta incluía los hechos seleccionados por Nous. En una escala de cero a cinco, el promedio subió de 2.32 para Qwen a 2.98 para Arete. El modelo maestro elegido para el ajuste, Inkling, obtuvo 3.96 en esa misma tabla, aunque con una configuración de temperatura distinta.
Nous informó que las respuestas con puntuación factual de cero bajaron de 359 a 216 por cada 803 preguntas en la comparación que presentó. Un cero podía asignarse porque la respuesta no incluía ninguno de los hechos requeridos o porque contradecía al menos uno. Esa cifra no equivale a un conteo de respuestas con propaganda.
El contraste importa para interpretar el 0.9%: una respuesta puede evitar el encuadre que busca la prueba y aun así omitir información que la rúbrica considera necesaria. La evaluación de Nous se centra en la narrativa del Estado chino; no mide de forma equivalente la posible adopción de relatos oficiales de otros gobiernos.
Qué cambió Nous en Qwen
El equipo usó respuestas de Inkling como ejemplos para un ajuste supervisado de Qwen. El proceso empleó unos 52.8 millones de tokens, unidades de texto que procesan los modelos, durante dos pasadas por los datos. Nous dice que no recurrió a aprendizaje por refuerzo ni modificó la arquitectura.
El entrenamiento afectó a todos los pesos del modelo de lenguaje. El codificador visual quedó congelado porque los ejemplos usados eran de texto. En la prueba interna Hermes Bench, Arete obtuvo 65.60% frente al 65.77% de Qwen. Nous considera que la diferencia entra en el margen de variación de esa medición; el resultado no demuestra que ambas versiones rindan igual en todas las tareas.
A partir de su experimento, el laboratorio sostiene que el sesgo que buscaba cambiar es superficial. Los resultados muestran un cambio de comportamiento en las pruebas descritas, pero no establecen por sí solos dónde se originó ese comportamiento ni que pueda modificarse de la misma forma en todos los modelos.
El idioma también puede cambiar el resultado
Una evaluación anterior de Vals AI examinó otros modelos con preguntas políticas en varios idiomas, incluido el español. Encontró que, para la mayoría de los modelos que probó, las respuestas tendían a ser más favorables a China cuando la pregunta estaba en chino simplificado que cuando estaba en inglés, ruso o español. También observó diferencias según el contexto de uso.
Ese trabajo es independiente de Nous y no evaluó Arete-27B. Su metodología y sus modelos son distintos, así que sus porcentajes no se pueden trasladar a la prueba de 803 preguntas. FomoEra ya había contado cómo Vals observó cambios y límites en otras versiones modificadas de Qwen.
Patricia Rodriguez
La publicación de los pesos, las preguntas y los datos de ajuste permite que otros investigadores contrasten Arete con su base en más idiomas y situaciones. La medición publicada por Nous describe lo que ocurrió bajo sus criterios y configuraciones.
