Gavin Newsom presentó el 18 de noviembre una propuesta para que California pueda ordenar la suspensión inmediata de modelos de inteligencia artificial ante un riesgo inminente de daño catastrófico o una pérdida grave de control, si su desarrollador no logra contenerlo. El informe también pide evaluaciones independientes continuas y estándares obligatorios para los grandes desarrolladores de modelos de frontera. Son recomendaciones para una futura ley: el estado todavía no recibió esas facultades.
El documento de la Government Operations Agency (GovOps), fechado el 16 de noviembre, responde a la orden ejecutiva que Newsom firmó en septiembre para estudiar controles más estrictos, incluido un posible "kill switch". Entonces se encargó el análisis; ahora hay un diseño de medidas que el gobernador quiere llevar a la Legislatura.

Apagar el modelo sería el último recurso
El informe no describe un botón único capaz de desactivar toda la IA. Propone que cada gran desarrollador de modelos de frontera tenga un protocolo de contención verificable: podría restringir accesos, detener agentes, aislar recursos informáticos o suspender un modelo, según la gravedad del incidente. La empresa tendría que probar esos controles y una organización independiente comprobaría que funcionan.
En una emergencia, el estado podría ordenar al desarrollador activar ese protocolo si existe un riesgo inminente de una catástrofe o de una pérdida grave de control que la compañía no pueda o no quiera atender. La orden entraría en vigor de inmediato. El informe plantea que la empresa pueda impugnarla ante un tribunal, pero que siga vigente mientras se revisa. California debería limitar la suspensión a lo necesario y retirarla cuando cese el peligro.
Hay un límite técnico reconocido en el propio texto: una compañía no puede apagar una copia de un modelo de pesos abiertos que otra entidad ya ejecuta fuera de su infraestructura y de su control. Por eso la propuesta combina distintas respuestas y reserva la suspensión completa para casos en los que una intervención menor no baste.
El alcance del comunicado y el del informe no coinciden del todo
El comunicado de Newsom habla de estándares de seguridad que seguirían todas las empresas de IA. El informe de GovOps formula el requisito de estándares obligatorios y supervisión permanente para los grandes desarrolladores de modelos de frontera, una categoría más acotada. El alcance definitivo dependerá del texto que presenten y aprueben los legisladores.
California ya exige mediante la ley SB 53 que esos grandes desarrolladores publiquen y cumplan un marco de seguridad y notifiquen ciertos incidentes. Las leyes SB 813 y AB 1405 crean la estructura para verificadores y auditores, pero el informe señala que actualmente no obligan a las empresas a someter sus modelos a una evaluación independiente. La recomendación es volver obligatorias esas revisiones durante el desarrollo, el uso interno y el despliegue.
GovOps también propone reducir de 15 días a 48 horas el plazo para reportar la mayoría de los incidentes críticos y conservar el aviso de 24 horas para los riesgos catastróficos inminentes. Pide incluir incidentes graves de pérdida de control antes de que causen lesiones, una condición que limita parte del reporte actual.
Otra recomendación es vigilar la automatización de la investigación en IA. Las empresas cubiertas informarían cada trimestre qué parte de sus recursos de cómputo destinan a desarrollar nueva IA con ayuda de la propia IA. El estado tendría una facultad de reserva para limitar temporalmente esa actividad si sus riesgos superan las salvaguardas disponibles; el documento no recomienda imponer un límite inmediato.
La decisión pasa a los legisladores
Newsom dijo a Politico que ya trabaja con legisladores para convertir el informe en propuestas de ley. El gobernador electo Xavier Becerra, que asumirá en enero, describió el documento como un punto de partida para su administración en una declaración recogida por San Francisco Chronicle.
El paso pendiente es legislativo. Mientras no se aprueben nuevas normas, las empresas siguen sujetas a las obligaciones actuales de California, pero el estado no dispone del sistema de auditorías continuas ni de la facultad de ordenar el apagado de emergencia que plantea GovOps.
