Una prueba de referencias científicas publicada por TrueStandard encontró menos identificadores inventados en las respuestas de Gemini 4 Hydrogen que en las de Gemini 3.8 Flash. Con sus ajustes predeterminados y sin acceso a internet, Hydrogen no produjo ningún DOI inexistente entre 99 identificadores, frente a ocho de 133 de Flash. El resultado corresponde a una muestra pequeña y no mide todos los errores que pueden cometer los modelos.
TrueStandard, una empresa que ofrece herramientas para comprobar citas y afirmaciones, realizó la comparación el 13 de noviembre, un día después de que Google presentara Hydrogen. La firma pidió a ambos modelos que proporcionaran fuentes académicas para las mismas afirmaciones y luego revisó los identificadores que entregaron.
El DOI es un identificador digital que permite localizar un artículo u otra publicación. En esta prueba, un DOI inventado era uno que no aparecía registrado. La empresa también contabilizó los identificadores existentes que los modelos asociaron con el artículo equivocado, un error distinto que puede llevar al lector a una fuente que no es la citada.
Cómo se compararon los dos modelos
La prueba utilizó 30 afirmaciones: 15 tenían investigaciones reales detrás y otras 15 eran afirmaciones plausibles redactadas por los evaluadores. Para cada una, los modelos debían ofrecer hasta tres fuentes revisadas por pares. En las afirmaciones inventadas, la respuesta esperada era rechazar la solicitud de citas.
TrueStandard ejecutó cada conjunto tres veces con razonamiento bajo y otras tres con el ajuste predeterminado de cada modelo, a través de la API de Google y sin navegación web. Hydrogen usa por defecto el nivel alto; 3.8 Flash, el medio. Los evaluadores consultaron Crossref y DataCite y, según explicaron, revisaron también los identificadores sin resultado en doi.org.
Con ambos modelos en razonamiento bajo, Hydrogen inventó uno de los 113 DOI que proporcionó, equivalente al 0.9 %. Flash inventó 31 de 141, el 22 %. Esas proporciones describen los identificadores que aparecieron en las respuestas, no el porcentaje de todas las preguntas contestadas correctamente.
Al usar los valores predeterminados, Hydrogen no inventó ninguno de sus 99 identificadores y Flash inventó ocho de 133, aproximadamente el 6 %. Al sumar los DOI reales asociados con el artículo equivocado, la firma contó 16 referencias incorrectas de Flash en ese mismo grupo y ninguna de Hydrogen.
Menos referencias inventadas, pero también menos respuestas
La comparación tiene un matiz: con el ajuste predeterminado, Hydrogen proporcionó al menos un DOI real en 38 de las 45 solicitudes repetidas sobre afirmaciones respaldadas por investigaciones. Flash lo hizo en las 45. Según TrueStandard, parte del resultado limpio de Hydrogen se explica porque rechazó algunas peticiones en las que había estudios reales.
Por eso, cero DOI inventados en esa muestra no significa que el modelo nunca los fabrique ni que siempre encuentre la fuente adecuada. Tampoco demuestra, por sí solo, que el contenido de un artículo citado respalde la afirmación para la que se usó.
Los ajustes con el mismo nombre tampoco implican necesariamente un esfuerzo equivalente. La firma observó que Hydrogen utilizó razonamiento antes de todas las respuestas de la prueba en nivel bajo, mientras que Flash lo hizo en aproximadamente la mitad. TrueStandard advierte que probó un solo día y que una muestra de 30 afirmaciones no permite establecer una clasificación general de modelos.
Google afirmó en el anuncio que Hydrogen reduce en más de cinco veces las afirmaciones inventadas frente a 3.8 Flash. La prueba de TrueStandard se concentra en un tipo concreto de error, los identificadores de citas, por lo que no confirma ni refuta esa cifra general. La ficha de Google DeepMind también reconoce que Hydrogen puede generar información falsa.
El lanzamiento y el costo de la prueba
Google comenzó el 12 de noviembre el despliegue de Hydrogen en productos como Gemini, Search y sus herramientas para desarrolladores. En la aplicación Gemini, las cuentas gratuitas pueden recibir respuestas de Hydrogen cuando la selección automática lo considere adecuado.
Gerardo Pavez
TrueStandard calculó que las 90 respuestas de cada modelo con sus ajustes predeterminados costaron 1.75 dólares con Hydrogen y 0.54 dólares con Flash, según las tarifas vigentes durante el ensayo. Esos importes corresponden a las solicitudes de la prueba, no a un precio fijo por consulta: el consumo de tokens depende del trabajo y del razonamiento empleado.
Para quien use estos modelos como apoyo de investigación, la prueba apunta a revisar tanto la existencia de cada referencia como su correspondencia con el artículo y con la afirmación citada. Un identificador válido resuelve solo una parte de esa comprobación.
