O GLM-5.2 não está apenas se atualizando. Ele está ultrapassando a linha de chegada em termos de capacidade bruta, deixando seus freios de segurança para trás.
Isso é importante porque o modelo da Z.ai – um proeminente desenvolvedor chinês de peso aberto – agora está apenas alguns meses atrás do GPT-6.6 Sol da OpenAI e de Claude Opus da Anthropic em áreas específicas de alto risco, como pesquisa cibernética e biológica. A divisão não é sobre se esses modelos abertos podem competir. É sobre quem controla o detonador quando os pesos chegam à internet.
Os dados da SaferAI são contundentes. Quando testado por meio da API pública da Z.ai no CyberGym – um benchmark projetado para testar a resistência das defesas de segurança cibernética – o GLM-5.2 não recusou absolutamente nada. Nenhuma tarefa cibernética ofensiva. Nem um pedido de biologia de dupla utilização. Compare isso com Claude Opus, que recusou tão consistentemente que os avaliadores não conseguiram sequer executar o conjunto completo. O contraste é gritante. É um modo de falha sobre o qual os críticos alertam há anos, mas a velocidade a que esta lacuna está a aumentar exige atenção imediata.
Como os modelos de peso aberto contornam as proteções tradicionais
O principal problema da arquitetura de peso aberto é simples: depois de baixar os pesos, você possui o motor. As salvaguardas das quais modelos de fronteira fechada como Anthropic ou Google DeepMind dependem – filtros em nível de API, treinamento de recusa, bloqueadores de classificadores – desaparecem.
Você não pode policiar uma instalação local.
Um usuário executando o GLM-5.2 em seu próprio hardware pode eliminar qualquer camada de segurança. Eles podem ajustar o modelo para fins maliciosos. Eles podem reescrever o prompt do sistema para ignorar todas as restrições éticas. A tecnologia não sabe a diferença entre um pesquisador defensivo e um atacante.
“Filtragem de dados pré-treinamento” é uma solução teórica. Ao eliminar dados cibernéticos e biológicos ofensivos do conjunto de treinamento antes que o modelo aprenda, os desenvolvedores esperam privá-lo de conhecimentos perigosos. Isso se mostrou promissor em contextos biológicos. Em codificação e segurança cibernética? É quase impossível. Você não pode treinar um modelo para escrever código eficiente e seguro sem simultaneamente ensinar-lhe a lógica necessária para explorar esse código. As duas capacidades são duas faces da mesma moeda.
Assim, os desenvolvedores de modelos fechados tentam limitar o escopo da assistência. Os modelos da Anthropic, por exemplo, examinarão o código-fonte não compilado em busca de vulnerabilidades, mas não tocarão no software compilado, aparentemente para bloquear a exploração ofensiva. Mas estes são baldes furados.
Far.ai descobriu recentemente centenas de jailbreaks universais – chaves reutilizáveis que contornam as defesas na maioria das solicitações prejudiciais – em modelos como Grok e Gemini. Os invasores não precisam de apenas um truque. Eles combinam dramatização, personificação de autoridade, histórias falsas e instruções de acompanhamento para amplificar os pontos fracos até que as barreiras de proteção entrem em colapso. É um jogo de gato e rato onde o gato desistiu.
Onde está o debate político
O contexto geopolítico complica a narrativa da segurança. Os líderes chineses reconheceram os riscos da IA avançada, tendo o Presidente Xi Jinping sublinhado na recente Conferência Mundial sobre IA que a tecnologia deve permanecer sob estrito controlo humano. No entanto, o foco regulatório permanece distinto.
De acordo com Graham Webster, do Stanford Cyber Policy Center, as regulamentações chinesas historicamente priorizam a estabilidade política, o controle da desinformação e a harmonia social. A preocupação não é a mesma postura de ameaça existencial vista nos círculos políticos dos EUA. Muitos investigadores chineses acreditam que, se surgirem novos riscos fronteiriços, as empresas americanas irão atingi-los primeiro. O sistema nacional depende de um ambiente online rigorosamente controlado – responsabilização pelo nome real e responsabilidade corporativa – para mitigar o uso indevido dentro das fronteiras.
“Os pensadores de IA dos EUA estão, geralmente, mais preocupados com esta ideia existencial catastrófica do que a comunidade chinesa.”
— Graham Webster, Centro de Política Cibernética de Stanford
Isso cria um ponto cego perigoso. Enquanto as empresas dos EUA lutam para implementar testes rigorosos de pré-implantação e publicar avaliações de risco, o GLM-5.2 entrou no mercado sem qualquer estrutura desse tipo. A SaferAI observa que Z.ai não publicou nenhuma estrutura de segurança, nenhum compromisso pré-implantação e nenhuma avaliação pública de risco. Quando o TechCrunch perguntou a Z.ai sobre avaliações internas de segurança, eles não receberam resposta.
O argumento de defesa versus a realidade do uso indevido
Os defensores da IA aberta argumentam que a acessibilidade é um recurso, não um bug. Na segurança cibernética, prossegue o argumento, é necessário compreender as ferramentas do invasor para construir defesas eficazes.
Clem Delangue, CEO da HuggingFace, apontou recentemente o GLM-5.2 como um ativo defensivo. Depois que o HuggingFace foi violado por um ataque relacionado ao OpenAI, a empresa usou o GLM-5.2 para analisar e se defender contra ameaças semelhantes. Delangue argumentou que esses sistemas ajudam a identificar e corrigir vulnerabilidades antes que os invasores possam explorá-las em grande escala.
É uma narrativa convincente. Sugere um mundo onde as equipes defensivas usam os mesmos modelos poderosos dos atacantes, apenas com melhores intenções.
Mas Henry Papadatos, da SaferAI, vê a situação de forma diferente. Ele argumenta que os benefícios defensivos são frequentemente exagerados. A questão central não é se os defensores podem usar essas ferramentas. É que os invasores sempre os adotarão mais rapidamente.
Um grupo de ransomware pode dinamizar suas táticas em uma semana. O departamento de TI de um hospital? São necessários meses para corrigir e muito menos reescrever toda a infraestrutura de segurança. Por padrão, o lado ofensivo se move mais rápido porque sua única métrica é o sucesso, enquanto os defensores são limitados pela conformidade, estabilidade e custo.
A indústria deve lutar por um modelo onde as boas capacidades sejam acessíveis a todos, mas as más não. Não precisamos de recursos perigosos de código aberto. Precisamos parar de tratá-los como danos colaterais inevitáveis. A lacuna entre capacidade e controle não está apenas diminuindo. Está quebrando.
