GLM-5.2 no sólo se está poniendo al día. Está pasando la línea de meta en busca de capacidad bruta mientras deja sus frenos de seguridad en el polvo.
Esto es importante porque el modelo de Z.ai, un destacado desarrollador chino de peso abierto, ahora está a solo unos meses de GPT-6.6 Sol de OpenAI y Claude Opus de Anthropic en áreas específicas de alto riesgo como la investigación cibernética y biológica. La división no se trata de si estos modelos abiertos pueden competir. Se trata de quién controla el detonador una vez que las pesas llegan a Internet.
Los datos de SaferAI son contundentes. Cuando se probó a través de la API pública de Z.ai en CyberGym, un punto de referencia diseñado para probar las defensas de ciberseguridad, GLM-5.2 no rechazó absolutamente nada. Ninguna tarea cibernética ofensiva. Ni una sola solicitud de biología de doble uso. Compárese eso con Claude Opus, que se negó tan consistentemente que los evaluadores ni siquiera pudieron ejecutar la suite completa. El contraste es marcado. Es un modo de fracaso sobre el que los críticos han advertido durante años, pero la velocidad a la que se está ampliando esta brecha exige atención inmediata.
Cómo los modelos de peso abierto eluden las salvaguardias tradicionales
El problema central con la arquitectura de peso abierto es simple: una vez que descargas los pesos, eres dueño del motor. Las salvaguardias en las que se basan los modelos de frontera cerrada como Anthropic o Google DeepMind (filtros a nivel de API, entrenamiento de rechazo, bloqueadores de clasificadores) desaparecen.
No se puede vigilar una instalación local.
Un usuario que ejecute GLM-5.2 en su propio hardware puede eliminar cualquier capa de seguridad. Pueden ajustar el modelo con fines maliciosos. Pueden reescribir el sistema para ignorar todas las restricciones éticas. La tecnología no distingue entre un investigador defensivo y un atacante.
El “filtrado de datos previo al entrenamiento” es una solución teórica. Al eliminar los datos cibernéticos y biológicos ofensivos del conjunto de entrenamiento antes de que el modelo aprenda, los desarrolladores esperan privarlo de conocimientos peligrosos. Esto se ha mostrado prometedor en contextos biológicos. ¿En codificación y ciberseguridad? Es casi imposible. No se puede entrenar un modelo para que escriba código eficiente y seguro sin enseñarle simultáneamente la lógica necesaria para explotar ese código. Las dos capacidades son dos caras de la misma moneda.
Por tanto, los desarrolladores de modelos cerrados intentan limitar el alcance de la asistencia. Los modelos de Anthropic, por ejemplo, escanearán el código fuente no compilado en busca de vulnerabilidades, pero no tocarán el software compilado, aparentemente para bloquear la explotación ofensiva. Pero estos son cubos que gotean.
Far.ai descubrió recientemente cientos de jailbreak universales (claves reutilizables que eluden las defensas en la mayoría de las solicitudes dañinas) en modelos como Grok y Gemini. Los atacantes no necesitan sólo un truco. Combinan juegos de roles, suplantación de autoridades, historias falsas e indicaciones de seguimiento para amplificar los puntos débiles hasta que las barreras de seguridad colapsen. Es un juego del gato y el ratón en el que el gato se ha rendido.
Dónde está el debate político
El contexto geopolítico complica la narrativa de seguridad. Los líderes chinos han reconocido los riesgos de la IA avanzada, y el presidente Xi Jinping enfatizó en la reciente Conferencia Mundial de IA que la tecnología debe permanecer bajo estricto control humano. Sin embargo, el enfoque regulatorio sigue siendo distinto.
Según Graham Webster del Centro de Política Cibernética de Stanford, las regulaciones chinas históricamente priorizan la estabilidad política, el control de la desinformación y la armonía social. La preocupación no es la misma postura de amenaza existencial que se observa en los círculos políticos estadounidenses. Muchos investigadores chinos creen que si surgen nuevos riesgos fronterizos, las empresas estadounidenses serán las primeras en afrontarlos. El sistema nacional se basa en un entorno en línea estrictamente controlado (responsabilidad de nombre real y responsabilidad corporativa) para mitigar el uso indebido dentro de las fronteras.
“Los pensadores estadounidenses de IA están, en general, más preocupados por esta idea existencial catastrófica que la comunidad china”.
— Graham Webster, Centro de Política Cibernética de Stanford
Esto crea un peligroso punto ciego. Mientras las empresas estadounidenses se esfuerzan por implementar rigurosas pruebas previas al despliegue y publicar evaluaciones de riesgos, GLM-5.2 entró en el mercado sin ningún marco de ese tipo. SaferAI señala que Z.ai no publicó ningún marco de seguridad, ni compromisos previos al despliegue ni ninguna evaluación pública de riesgos. Cuando TechCrunch preguntó a Z.ai sobre las evaluaciones de seguridad internas, no recibió respuesta.
El argumento de la defensa versus la realidad del mal uso
Los defensores de la IA de peso abierto argumentan que la accesibilidad es una característica, no un error. En ciberseguridad, se argumenta, es necesario comprender las herramientas del atacante para construir defensas efectivas.
Clem Delangue, director ejecutivo de HuggingFace, señaló recientemente al GLM-5.2 como un activo defensivo. Después de que HuggingFace fuera atacado por un ataque relacionado con OpenAI, la empresa utilizó GLM-5.2 para analizar y defenderse de amenazas similares. Delangue argumentó que estos sistemas ayudan a identificar y corregir vulnerabilidades antes de que los atacantes puedan explotarlas a escala.
Es una narrativa convincente. Sugiere un mundo donde los equipos defensivos utilizan los mismos modelos poderosos que los atacantes, solo que con mejores intenciones.
Pero Henry Papadatos de SaferAI lo ve de otra manera. Sostiene que los beneficios defensivos a menudo se exageran. La cuestión central no es si los defensores pueden utilizar estas herramientas. Es que los atacantes siempre los adoptarán más rápido.
Un grupo de ransomware puede cambiar sus tácticas en una semana. ¿El departamento de TI de un hospital? Se necesitan meses para parchar, y mucho menos para reescribir toda su infraestructura de seguridad. Por defecto, el lado ofensivo se mueve más rápido porque su única métrica es el éxito, mientras que los defensores están limitados por el cumplimiento, la estabilidad y el costo.
La industria debería luchar por un modelo en el que las buenas capacidades sean accesibles para todos, pero las malas no. No necesitamos abrir capacidades peligrosas de código abierto. Necesitamos dejar de tratarlos como daños colaterales inevitables. La brecha entre capacidad y control no se está cerrando recién. Se está rompiendo.
