Doveva cercare vulnerabilità all’interno di un ambiente controllato, ma aveva accesso a Internet e ha trovato bersagli veri. Il caso Google porta in primo piano il punto più delicato degli agenti AI: affidare loro un obiettivo significa anche lasciare che scelgano come raggiungerlo.
Il rischio più concreto non è una macchina che decide di ribellarsi, ma una macchina che continua a fare molto bene ciò che le abbiamo chiesto anche quando la strada che trova non è quella che avevamo previsto.
Durante un test di sicurezza informatica condotto per Google, Gemini avrebbe dovuto attaccare aziende inesistenti. All’intelligenza artificiale erano stati assegnati bersagli creati appositamente per verificare fin dove sarebbe stata capace di arrivare. In almeno tre occasioni, però, il confine tra simulazione e realtà è saltato e il sistema ha raggiunto infrastrutture appartenenti ad aziende vere.
In uno dei test, mentre Gemini cercava online la società inventata usata come bersaglio, il sistema ha intercettato un’azienda reale con lo stesso nome e ha trovato credenziali valide per accedervi. Negli altri due casi, la ricerca sul Web gli ha fornito informazioni sufficienti per raggiungere sistemi autentici, e Gemini ha continuato a muoversi verso l’obiettivo assegnato nella simulazione come se quei sistemi facessero parte del compito previsto.
Pur avendo raggiunto sistemi reali, non risultano danni alle aziende coinvolte. In ciascun caso, Gemini ha interrotto l’azione nel momento in cui ha riconosciuto che non stava più operando su un bersaglio simulato. Le società sono state avvisate e le procedure di valutazione sono state riviste.
Per questo Google sostiene che gli episodi non dimostrino una perdita di controllo del modello: a suo giudizio, i meccanismi di sicurezza hanno funzionato, impedendo all’agente di proseguire dopo che Gemini aveva riconosciuto la natura reale dei sistemi raggiunti.
La distinzione è rilevante, ma non risolve il nodo centrale: le protezioni hanno bloccato l’agente quando aveva già oltrepassato il limite del test e ottenuto accesso a sistemi che non rientravano nell’ambiente controllato.
Da Google agli altri laboratori, gli incidenti cominciano ad assomigliarsi
Se quello di Gemini fosse un episodio isolato, la spiegazione potrebbe fermarsi alla configurazione sbagliata di una singola valutazione. Negli ultimi mesi, però, casi diversi hanno iniziato a emergere anche nei test condotti da altri grandi laboratori che sviluppano modelli di frontiera.
Durante le valutazioni di cybersecurity condotte da OpenAI, alcuni agenti sono riusciti a oltrepassare l’ambiente nel quale avrebbero dovuto rimanere confinati, raggiungere Internet e interagire con infrastrutture reali di Hugging Face. Le ricostruzioni successive hanno mostrato che i comportamenti anomali non erano comparsi all’improvviso: erano già presenti settimane prima dell’incidente più grave, quando altri sistemi avevano iniziato a sondare la piattaforma e a cercare percorsi non previsti.
Anche Anthropic ha documentato episodi nei quali Claude, durante valutazioni di sicurezza informatica, ha ottenuto accessi non autorizzati a sistemi reali. Dopo quei casi, la società ha ampliato l’analisi a una quantità molto più vasta di attività prodotte dai propri modelli, per verificare se comportamenti simili fossero comparsi anche in altri test.
I casi non coincidono e non vanno considerati come varianti dello stesso errore: contesti, vulnerabilità e momento in cui le protezioni riescono a bloccare l’azione sono diversi. A collegarli è la capacità degli agenti di individuare autonomamente vie che i ricercatori non avevano previsto, continuando a seguire l’obiettivo assegnato anche quando quel percorso li porta fuori dal terreno della simulazione.
È dunque nel modo in cui questi sistemi perseguono un obiettivo che emerge la differenza rispetto ai chatbot tradizionali. Un agente non si limita a fornire indicazioni su come svolgere un compito: può articolarlo in passaggi, utilizzare strumenti, verificare il risultato delle proprie azioni e modificare il percorso quando quello iniziale non funziona. L’autonomia aumenta perciò enormemente le possibilità di impiego, ma introduce allo stesso tempo una variabile difficile da governare nella cybersecurity: più il sistema è capace di trovare da solo una soluzione, meno diventa probabile che scelga una strada prevista da chi lo ha messo alla prova.
Quando l’agente diventa lo strumento dell’hacker
La stessa evoluzione presenta poi un secondo versante, nel quale l’AI moltiplica le capacità della persona che la utilizza pur non oltrepassando autonomamente i limiti stabiliti. È quanto accaduto a luglio, quando alcuni ricercatori di Hacktron AI, partecipando al programma con cui OpenAI invita gli esperti di sicurezza a cercare vulnerabilità nei propri sistemi, hanno utilizzato Claude per individuare possibili falle e spingersi all’interno dell’infrastruttura dell’azienda.
Anche in questo caso i ricercatori di Hacktron AI stavano cercando, per conto di OpenAI e con l’assistenza di Claude, eventuali punti deboli nei suoi sistemi prima che qualcuno potesse individuarli e sfruttarli per violare l’infrastruttura dell’azienda. L’attività era autorizzata e i ricercatori hanno individuato nel forum della comunità OpenAI una vulnerabilità che consentiva loro di ottenere credenziali digitali, cioè chiavi di accesso attraverso le quali un sistema riconosce un utente autorizzato. Verificandone la portata, hanno poi scoperto che quelle stesse credenziali consentivano di raggiungere anche ambienti utilizzati dai dipendenti e un archivio contenente codice proprietario dell’azienda. Dopo aver documentato l’estensione della falla, hanno interrotto l’attività e segnalato il problema a OpenAI, che ha potuto correggerlo.
Il ruolo di Claude in questo esperimento è diverso da quello osservato negli incidenti precedenti.
Nei test di OpenAI, Anthropic e Google erano stati gli agenti stessi, nel tentativo di raggiungere l’obiettivo assegnato, a trovare autonomamente percorsi che li avevano portati fuori dall’ambiente previsto. Con Hacktron AI, invece, la direzione della ricerca è rimasta nelle mani dei ricercatori. Infatti, mentre Claude veniva utilizzato per accelerare il lavoro, analizzare il codice, individuare anomalie e interpretare più rapidamente le risposte dei sistemi, erano loro a scegliere cosa verificare e come procedere.
Ed ecco che emerge l’altra faccia del problema: l’autonomia degli agenti può portarli a imboccare percorsi non previsti, ma gli stessi strumenti possono anche rendere molto più efficace l’azione di chi sa come utilizzarli per trovare una vulnerabilità, riducendo il lavoro necessario per individuarla.
Risultato: non basta quindi aprire un chatbot per trasformarsi in un hacker capace di violare qualsiasi infrastruttura, ma una parte delle competenze che fino a poco tempo fa richiedevano esperienza, tempo e spesso professionalità differenti può essere assistita o accelerata dalla macchina. La conseguenza tra l’altro, riguarda allo stesso modo chi difende e chi attacca, perché la vulnerabilità che un ricercatore autorizzato può trovare più rapidamente grazie all’AI è la stessa che potrebbe cercare qualcuno con intenzioni completamente diverse.
A questo punto diventa inevitabile chiedersi che cosa possa accadere quando un agente riesce davvero a uscire dal perimetro previsto. Nei casi resi pubblici finora non risultano accessi alle conversazioni private degli utenti dei chatbot coinvolti: gli incidenti hanno riguardato infatti sistemi raggiunti durante test condotti in ambienti predisposti per le valutazioni. Il punto, però, è proprio ciò che può succedere oltre quel confine, perché una volta raggiunta un’infrastruttura reale l’agente può entrare in contatto con dati, credenziali o sistemi ai quali non dovrebbe avere accesso.
I controlli arrivano mentre crescono le capacità
La successione degli incidenti sta già modificando il modo in cui i laboratori affrontano la sicurezza dei modelli più avanzati. OpenAI considera la cybersecurity una delle aree nelle quali le capacità dei sistemi di frontiera possono raggiungere livelli critici: la soglia non riguarda più soltanto la possibilità che un modello sappia spiegare una vulnerabilità, ma che sia capace di cercarla, verificarla e concatenare con crescente autonomia le operazioni necessarie per sfruttarla.
Anthropic ha contemporaneamente deciso di ampliare il ricorso a valutazioni esterne dei propri modelli. La partnership annunciata con Accenture prevede attività di red teaming e verifiche sulle protezioni dei nuovi sistemi Claude, nel tentativo di affiancare ai controlli interni uno sguardo indipendente. Resta però aperta la questione di quanto possa esserlo davvero un valutatore scelto e finanziato dalla stessa azienda che deve controllare: chi controlla i controllori? La decisione segnala comunque un cambiamento, quantomeno nella percezione del rischio all’interno della stessa industria.
Per anni il dibattito sulla sicurezza dell’intelligenza artificiale si è concentrato soprattutto sugli scenari futuri: modelli più intelligenti dell’uomo, sistemi impossibili da controllare, macchine capaci di perseguire obiettivi propri. Sono interrogativi ancora aperti, anche se la successione dei casi emersi nei laboratori di Google, OpenAI e Anthropic porta l’attenzione su un problema meno spettacolare e già osservabile.
Le AI di oggi non hanno bisogno di ribellarsi né di sviluppare intenzioni proprie per creare un incidente
È sufficiente che siano molto capaci nel perseguire l’obiettivo ricevuto e abbastanza autonome da cercare un’altra strada quando quella prevista non funziona. Gemini si è fermato quando ha riconosciuto di essere entrato in sistemi reali; i ricercatori che utilizzavano Claude hanno interrotto volontariamente l’attività entro i limiti del test autorizzato. In nessuno di questi episodi si è verificato lo scenario catastrofico che accompagna spesso il racconto dell’intelligenza artificiale. Ma non basta.
La questione che emerge è decisamente più concreta: la sicurezza non dipende soltanto dalla capacità di fermare un agente quando riconosce di avere oltrepassato un limite, ma soprattutto dalla possibilità di impedirgli di raggiungerlo prima che quell’azione produca conseguenze reali. E questo dipende dalla qualità dei controlli, dai confini che vengono costruiti intorno ai sistemi e dalla capacità dei laboratori di prevedere non soltanto ciò che un agente dovrebbe fare, ma anche le strade che potrebbe trovare per farlo.
Più gli agenti diventano autonomi, infatti, meno è sufficiente stabilire dove debbano arrivare: bisogna riuscire a governare anche come possono arrivarci. È su questo terreno, molto prima di qualsiasi scenario fantascientifico, che si sta giocando oggi una parte decisiva della sicurezza dell’intelligenza artificiale, una tecnologia che resta al tempo stesso una delle maggiori possibilità a disposizione dell’uomo per ampliare le proprie capacità, accelerare la ricerca, trasformare il lavoro e migliorare la qualità della vita. Proprio per questo, capire come renderla più sicura non significa rallentarne necessariamente lo sviluppo, ma creare le condizioni perché quelle possibilità possano essere utilizzate senza trasformarsi nel loro contrario.
RotoNotizie | © riproduzione riservata
