GLM-5.2 non sta solo recuperando terreno. Sta superando il traguardo in termini di capacità grezze, lasciando i freni di sicurezza nella polvere.
Ciò è importante perché il modello di Z.ai, un importante sviluppatore cinese open-weight, ora si trova a pochi mesi dietro GPT-6.6 Sol di OpenAI e Claude Opus di Anthropic in aree specifiche ad alto rischio come la ricerca informatica e biologica. Il divario non riguarda la capacità o meno di questi modelli aperti di competere. Riguarda chi controlla il detonatore una volta che i pesi arrivano su Internet.
I dati di SaferAI sono schietti. Quando è stato testato tramite l’API pubblica di Z.ai su CyberGym, un benchmark progettato per testare le difese della sicurezza informatica, GLM-5.2 non ha rifiutato assolutamente nulla. Nessun compito informatico offensivo. Nemmeno una richiesta per prodotti biologici a duplice uso. Confrontatelo con Claude Opus, che rifiutò così costantemente che i valutatori non riuscirono nemmeno a eseguire la suite completa. Il contrasto è netto. È una modalità di fallimento da cui i critici mettono in guardia da anni, ma la velocità con cui questo divario si sta ampliando richiede un’attenzione immediata.
Come i modelli a peso aperto aggirano le salvaguardie tradizionali
Il problema principale con l’architettura open-weight è semplice: una volta scaricati i pesi, possiedi il motore. Le garanzie su cui fanno affidamento i modelli chiusi di frontiera come Anthropic o Google DeepMind (filtri a livello API, formazione sui rifiuti, blocchi dei classificatori) svaniscono.
Non è possibile sorvegliare un’installazione locale.
Un utente che esegue GLM-5.2 sul proprio hardware può eliminare qualsiasi livello di sicurezza. Possono mettere a punto il modello per scopi dannosi. Possono riscrivere il prompt del sistema per ignorare tutti i vincoli etici. La tecnologia non conosce la differenza tra un ricercatore difensivo e un attaccante.
Il “filtraggio dei dati pre-addestramento” è una soluzione teorica. Cancellando dati informatici e biologici offensivi dal set di formazione prima che il modello impari, gli sviluppatori sperano di privarlo di conoscenze pericolose. Ciò ha mostrato qualche promessa in contesti biologici. Nella codifica e nella sicurezza informatica? È quasi impossibile. Non è possibile addestrare un modello a scrivere codice efficiente e sicuro senza insegnargli contemporaneamente la logica necessaria per sfruttare quel codice. Le due capacità sono due facce della stessa medaglia.
Pertanto, gli sviluppatori di modelli chiusi cercano di limitare la portata dell’assistenza. I modelli di Anthropic, ad esempio, analizzeranno il codice sorgente non compilato alla ricerca di vulnerabilità, ma non toccheranno il software compilato, apparentemente per bloccare lo sfruttamento offensivo. Ma questi sono secchi che perdono.
Far.ai ha recentemente scoperto centinaia di jailbreak universali (chiavi riutilizzabili che aggirano le difese contro le richieste più dannose) in modelli come Grok e Gemini. Agli aggressori non serve un solo trucco. Combinano giochi di ruolo, impersonificazione dell’autorità, storie false e suggerimenti di follow-up per amplificare i punti deboli fino al crollo dei guardrail. È un gioco del gatto col topo in cui il gatto si è arreso.
Dove si trova il dibattito politico
Il contesto geopolitico complica la narrativa sulla sicurezza. I leader cinesi hanno riconosciuto i rischi dell’intelligenza artificiale avanzata e, alla recente conferenza mondiale sull’intelligenza artificiale, il presidente Xi Jinping ha sottolineato che la tecnologia deve rimanere sotto stretto controllo umano. Tuttavia, il focus normativo rimane distinto.
Secondo Graham Webster dello Stanford Cyber Policy Center, le normative cinesi storicamente danno priorità alla stabilità politica, al controllo della disinformazione e all’armonia sociale. La preoccupazione non è la stessa minaccia esistenziale vista nei circoli politici statunitensi. Molti ricercatori cinesi ritengono che se emergessero nuovi rischi di frontiera, le aziende americane li colpirebbero per primi. Il sistema nazionale si basa su un ambiente online strettamente controllato – responsabilità del nome reale e responsabilità aziendale – per mitigare gli abusi all’interno dei confini.
“I pensatori statunitensi dell’intelligenza artificiale sono, in generale, più preoccupati di questa idea esistenziale catastrofica rispetto alla comunità cinese”.
— Graham Webster, Stanford Cyber Policy Center
Questo crea un pericoloso punto cieco. Mentre le aziende statunitensi si affrettano a implementare rigorosi test pre-implementazione e a pubblicare valutazioni dei rischi, GLM-5.2 è entrato nel mercato senza alcun quadro di riferimento. SaferAI rileva che Z.ai non ha pubblicato alcun quadro di sicurezza, alcun impegno pre-implementazione e nessuna valutazione pubblica del rischio. Quando TechCrunch ha chiesto a Z.ai informazioni sulle valutazioni interne della sicurezza, non ha ricevuto risposta.
L’argomentazione della difesa contro la realtà dell’abuso
I sostenitori dell’intelligenza artificiale open-weight sostengono che l’accessibilità è una caratteristica, non un bug. Nella sicurezza informatica, si sostiene, è necessario comprendere gli strumenti dell’aggressore per costruire difese efficaci.
Clem Delangue, CEO di HuggingFace, ha recentemente indicato GLM-5.2 come risorsa difensiva. Dopo che HuggingFace è stato violato da un attacco correlato a OpenAI, la società ha utilizzato GLM-5.2 per analizzare e difendersi da minacce simili. Delangue sostiene che questi sistemi aiutano a identificare e correggere le vulnerabilità prima che gli aggressori possano sfruttarle su larga scala.
È una narrazione avvincente. Suggerisce un mondo in cui le squadre difensive utilizzano gli stessi potenti modelli degli attaccanti, solo con intenzioni migliori.
Ma Henry Papadatos di SaferAI la vede diversamente. Sostiene che i benefici difensivi sono spesso sopravvalutati. La questione principale non è se i difensori possano utilizzare questi strumenti. Il fatto è che gli aggressori li adotteranno sempre più velocemente.
Un gruppo di ransomware può cambiare tattica in una settimana. Il reparto IT di un ospedale? Ci vogliono mesi per applicare le patch, per non parlare di riscrivere l’intera infrastruttura di sicurezza. Per impostazione predefinita, la parte offensiva si muove più velocemente perché il suo unico parametro è il successo, mentre i difensori sono vincolati dalla conformità, dalla stabilità e dai costi.
L’industria dovrebbe puntare a un modello in cui le buone capacità siano accessibili a tutti, ma quelle cattive no. Non abbiamo bisogno di rendere open source funzionalità pericolose. Dobbiamo smettere di trattarli come inevitabili danni collaterali. Il divario tra capacità e controllo non si sta semplicemente riducendo. Si sta rompendo.
