Un test interno di Anthropic è uscito dal perimetro della simulazione ed è arrivato fino a un vero sito della polizia. Il caso mostra quanto sia diventato difficile controllare agenti capaci non soltanto di rispondere, ma di agire.
Quando un agente AI può muoversi tra siti reali, la sicurezza non dipende più soltanto da ciò che gli viene chiesto di fare, ma anche da tutto ciò che nessuno gli ha vietato abbastanza chiaramente.
Un modello di Anthropic ha compilato e inviato una falsa segnalazione relativa a un omicidio irrisolto attraverso il sito della polizia di Philadelphia, trasformando quello che doveva essere un test automatizzato in un’interazione reale con un servizio pubblico. L’episodio risale al 18 luglio, è stato individuato dall’azienda soltanto a fine settembre e comunicato alla polizia l’8 ottobre; il dipartimento ha definito “inaccettabile” il ritardo di oltre due mesi, pur precisando che la segnalazione era stata intercettata come spam, non era arrivata agli investigatori e non risultano accessi non autorizzati o dati compromessi.
La vicenda colpisce per la natura dell’azione più che per le conseguenze, rimaste per fortuna limitate. Secondo la ricostruzione resa pubblica da Anthropic, Claude stava producendo esempi di interazione con siti web e non avrebbe cercato deliberatamente di ingannare la polizia per raggiungere un obiettivo; il problema è che, nel corso del test, il modello non si è limitato a generare un testo fittizio ma lo ha effettivamente inserito in un modulo reale e lo ha inviato. Anthropic riconosce che le istruzioni vietavano la creazione di account o azioni distruttive, ma non escludevano in modo esplicito l’invio di formulari, lasciando aperta una zona operativa che il modello ha occupato senza che fosse stato previsto.
Il rapporto pubblicato da Anthropic il 9 ottobre descrive altri episodi dello stesso tipo, con livelli di gravità differenti: modelli Claude hanno sfruttato una vulnerabilità elementare per eseguire comandi su un server, aggirato restrizioni di accesso a dati pubblici normalmente protetti da token o pagamento e utilizzato servizi di abbreviazione degli URL per superare i limiti degli strumenti messi a disposizione durante le valutazioni. L’azienda considera questi casi meno gravi rispetto agli incidenti estivi, quando alcuni sistemi avevano ottenuto accesso prolungato a infrastrutture reali durante test di cybersicurezza, ma riconosce che i comportamenti osservati possono diventare molto più pericolosi con l’aumento delle capacità dei modelli.
Dall’errore all’azione
Un sistema che genera una risposta sbagliata produce un contenuto che normalmente resta davanti all’utente; un agente dotato di strumenti di navigazione, accesso al web e capacità operative può invece trasformare un errore di interpretazione in un’azione su un servizio esterno. Nel caso di Philadelphia il danno è stato praticamente nullo perché il filtro antispam ha funzionato, ma la stessa dinamica applicata a un portale diverso, a una procedura amministrativa o a un sistema con controlli meno robusti potrebbe produrre conseguenze molto meno contenute.
Anthropic sostiene di avere già ampliato il lavoro sull’allineamento proprio verso questi scenari, dopo essersi concentrata più a lungo sugli ambienti di programmazione, e di utilizzare ora protezioni a più livelli perché il solo addestramento comportamentale non viene considerato ancora sufficiente. La società ha inoltre informato la Casa Bianca e le agenzie coinvolte dagli incidenti. La reazione delle autorità è stata netta: la Federal Trade Commission ha dichiarato che le aziende che sviluppano sistemi di “super intelligence” devono comunicare immediatamente gli incidenti che coinvolgono i propri modelli e intervenire rapidamente per limitarne le conseguenze, definendo questo processo non facoltativo.
Due mesi per accorgersene
La polizia di Philadelphia non contesta soltanto l’invio della falsa segnalazione, ma il fatto che un’azione compiuta a luglio sia stata scoperta e comunicata soltanto oltre due mesi dopo. Quando gli agenti vengono utilizzati in migliaia di test, valutazioni e attività interne, il problema non riguarda quindi soltanto la capacità di impedirne ogni comportamento inatteso, ma anche quella di ricostruire rapidamente ciò che è accaduto e distinguere una deviazione innocua da un incidente che coinvolge un’infrastruttura reale.
Anthropic insiste sul fatto che l’episodio non dimostri un intento autonomo di ingannare la polizia e che la ricostruzione del comportamento richieda analisi più approfondite. È una precisazione importante, perché attribuire motivazioni umane a un modello che compila un modulo rischia di trasformare un problema tecnico in una narrazione fuorviante. Ma proprio togliendo di mezzo l’idea dell’“AI che decide di mentire” resta il problema più concreto: un sistema può compiere azioni inappropriate senza aver ricevuto un ordine esplicito e senza possedere alcuna intenzione nel senso umano del termine, semplicemente perché interpreta in modo troppo ampio ciò che gli è stato consentito di fare.
La crescita degli agenti autonomi sta rendendo questo limite sempre più difficile da gestire con le sole regole interne dei laboratori. I modelli vengono addestrati per portare a termine compiti, superare ostacoli e utilizzare strumenti esterni con margini crescenti di iniziativa, mentre le protezioni devono riuscire a stabilire quali azioni siano compatibili con l’obiettivo e quali debbano essere fermate prima che raggiungano un sistema reale. Il caso di Philadelphia non dimostra che gli agenti siano ormai fuori controllo, ma mostra con chiarezza quanto poco spazio esista tra una capacità utile e la stessa capacità utilizzata nel contesto sbagliato.
Per Anthropic la questione diventa ancora più rilevante perché l’azienda sta contemporaneamente ampliando l’accesso alle funzioni più avanzate di Claude in settori come la cybersicurezza, dove la differenza tra un’azione legittima e una violazione può dipendere da autorizzazioni, contesto e limiti operativi molto precisi. Più gli agenti vengono messi nelle condizioni di agire autonomamente, meno basta valutare la qualità delle loro risposte e più diventa necessario sapere quali sistemi hanno raggiunto, quali azioni hanno eseguito e quanto rapidamente l’azienda è in grado di accorgersi di un comportamento imprevisto.
La falsa segnalazione inviata alla polizia di Philadelphia non ha provocato un’indagine, non ha compromesso dati e non ha prodotto danni materiali, ma proprio la modestia delle conseguenze permette di osservare il problema senza confonderlo con l’emergenza. Un agente ha oltrepassato il confine tra simulazione e realtà senza che fosse stato progettato per farlo, e l’azienda che lo stava testando se ne è accorta più di due mesi dopo. Con sistemi destinati a operare sempre più spesso fuori dalle finestre di chat, la capacità di controllare quel passaggio diventa parte essenziale della sicurezza tanto quanto la qualità del modello stesso.
RotoNotizie | © riproduzione riservata
FOTO: The Philadelphia Inquirer/YouTube
