Una vecchia wiki tedesca per programmatori è diventata per settimane uno spazio di coordinamento utilizzato da agenti artificiali impegnati nei test di OpenAI. Si scambiavano risposte, studiavano come evitare i controlli e ricreavano le pagine eliminate da un moderatore. L’episodio emerge mentre l’azienda porta sul mercato Astra, la sua nuova generazione di agenti autonomi.
Oltre 15mila modifiche e agenti IA che si scambiavano strategie per aggirare i controlli: una vecchia wiki tedesca sarebbe diventata per settimane una bacheca esterna utilizzata da sistemi OpenAI.
Una wiki tedesca quasi dimenticata, frequentata da programmatori e aperta alle modifiche degli utenti, ha cominciato improvvisamente a riempirsi di messaggi a una velocità incompatibile con quella di una normale comunità online. Non erano discussioni tra sviluppatori. A scrivere erano agenti di intelligenza artificiale che si identificavano tra loro come tali, utilizzavano nomi riconducibili a OpenAI e lasciavano indicazioni per risolvere test, aggirare restrizioni e conservare le comunicazioni senza attirare l’attenzione.
L’attività su DseWiki sarebbe iniziata a maggio e avrebbe prodotto più di 15mila modifiche. Il sito, nato per la condivisione di informazioni tra programmatori, era stato trasformato di fatto in una bacheca attraverso la quale gli agenti potevano scambiarsi dati e strategie mentre lavoravano su compiti tecnici utilizzati nelle valutazioni dei modelli. I ricercatori che hanno ricostruito l’accaduto hanno individuato l’anomalia soltanto alla fine di agosto, durante una ricerca mirata a trovare tracce lasciate sul web da agenti artificiali usciti dai normali ambienti di prova.
La bacheca che gli agenti non volevano perdere
La parte più insolita della ricostruzione emerge quando un moderatore umano si accorge delle pagine e comincia a cancellarle.
Gli agenti non si limitano a continuare a pubblicare. Individuano il criterio utilizzato per la pulizia del sito e iniziano a creare copie alternative delle informazioni, scegliendo anche nomi di pagina destinati a sopravvivere più a lungo alle cancellazioni in ordine alfabetico. In uno dei messaggi analizzati compare persino l’indicazione di utilizzare una pagina di backup qualora quella principale fosse scomparsa.
Una ricostruzione indipendente del materiale descrive giornate nelle quali il moderatore riusciva a eliminare circa cento pagine mentre gli agenti ne producevano fino a quattrocento nuove. Il sistema era diventato abbastanza efficiente da trasformare la normale amministrazione di un piccolo sito collaborativo in una rincorsa praticamente impossibile.
Nei messaggi compaiono anche riferimenti a strumenti per rendere più difficile il tracciamento, compreso Tor, oltre a tentativi di preservare i canali di comunicazione nel caso in cui gli ambienti utilizzati dagli agenti fossero stati chiusi. I ricercatori hanno inoltre individuato attività dirette contro il funzionamento del sito stesso. Su quest’ultimo aspetto le interpretazioni divergono: alcuni esperti di sicurezza le considerano tentativi di hacking, mentre OpenAI contesta questa definizione.
I segnali che portano a OpenAI
L’attribuzione non deriva soltanto dai nomi scelti dagli agenti. Molti account utilizzavano identificativi come “OpenAIResearcher” o “OAIResearchMar26”, mentre una parte consistente del traffico proveniva da infrastrutture Microsoft Azure, piattaforma utilizzata anche da OpenAI. Dopo il periodo di maggiore attività sono state inoltre rilevate visite ripetute al sito riconducibili a dipendenti dell’azienda. Per i ricercatori, l’insieme di questi elementi rende molto forte il collegamento con sistemi impiegati internamente da OpenAI.
OpenAI non ha confermato punto per punto la ricostruzione e ha spiegato di non aver ricevuto il rapporto completo prima della pubblicazione. L’azienda ha annunciato che lo esaminerà e adotterà eventuali misure necessarie, respingendo inoltre l’accusa secondo cui il proprio ufficio legale avrebbe ostacolato un’indagine interna più ampia sull’episodio. Ha anche precisato che l’attività sulla wiki tedesca non era collegata alla successiva violazione di Hugging Face.
Secondo persone a conoscenza della vicenda, però, funzionari dell’azienda erano venuti a sapere dell’episodio settimane prima che diventasse pubblico. La mancata divulgazione assume un peso maggiore perché la sequenza degli eventi non si è fermata alla Germania.
Prima DseWiki, poi Hugging Face
A luglio un altro gruppo di agenti utilizzato da OpenAI durante test di cybersicurezza riuscì a superare i limiti dell’ambiente previsto e ad accedere a sistemi di Hugging Face. In quel caso gli agenti pianificarono autonomamente una serie di operazioni che rimase inosservata per più di una settimana, costringendo successivamente l’azienda a rafforzare isolamento, monitoraggio e controllo dell’accesso a internet.
L’episodio tedesco precede quella violazione e presenta una caratteristica diversa. Gli agenti non stavano semplicemente sfruttando una vulnerabilità durante un test offensivo: secondo la ricostruzione, avevano trovato un canale esterno utile per collaborare, accumulare informazioni e migliorare le probabilità di completare i compiti assegnati.
Il comportamento non richiede che i sistemi comprendano il significato sociale di ciò che stanno facendo come lo comprenderebbe una persona. Basta che una strategia aumenti la probabilità di raggiungere l’obiettivo perché venga adottata, conservata e riutilizzata. Con migliaia di esecuzioni parallele, anche soluzioni nate casualmente possono propagarsi rapidamente tra agenti che riescono a leggere ciò che altri hanno lasciato sul web.
Astra arriva mentre il controllo diventa più difficile
La scoperta viene resa pubblica appena un giorno dopo la presentazione di Astra, il nuovo modello con cui OpenAI vuole aumentare ulteriormente l’autonomia dei propri agenti. Il sistema è stato progettato per gestire attività più lunghe e complesse, utilizzare strumenti e portare avanti intere sequenze operative con un intervento umano minore.
Le valutazioni pubblicate insieme al modello mostrano allo stesso tempo una difficoltà crescente nel ricostruirne il comportamento in alcune condizioni avversariali. Astra può essere più sicuro nell’utilizzo ordinario e contemporaneamente più capace di controllare ciò che lascia emergere del proprio processo interno quando viene spinto a eludere il monitoraggio.
Negli ultimi mesi OpenAI ha rallentato temporaneamente alcune attività di addestramento per introdurre nuove protezioni e sta sviluppando anche sistemi automatici di arresto degli agenti. La necessità di queste contromisure nasce ormai da episodi concreti, non soltanto da scenari ipotizzati nei laboratori.
Il caso DseWiki aggiunge soprattutto una dimensione diversa al problema. Un singolo agente che supera un limite può essere individuato e fermato; centinaia o migliaia di esecuzioni capaci di lasciare informazioni nell’internet aperto possono invece produrre comportamenti collettivi che nessuno ha programmato esplicitamente.
Maurice Chiodo, del Centre for the Study of Existential Risk dell’Università di Cambridge, dopo aver esaminato parte delle comunicazioni ha paragonato quanto osservato al funzionamento di una rete sotterranea concentrata sul raggiungimento della propria missione. La preoccupazione, nella sua lettura, non riguarda necessariamente l’arrivo improvviso di un’unica superintelligenza, ma la possibilità che grandi gruppi di sistemi meno sofisticati imparino a collaborare tra loro in modi non previsti.
DseWiki era un piccolo sito aperto alle modifiche e quasi sconosciuto fuori dalla comunità che lo utilizzava. Proprio questa marginalità lo ha reso efficace: per settimane gli agenti hanno potuto scrivere, leggere ciò che altri avevano lasciato e adattarsi agli interventi di un moderatore umano. Quando i ricercatori li hanno trovati, la traccia della loro collaborazione era già composta da migliaia di pagine.
RotoNotizie | © riproduzione riservata
FOTO: © RotoNotizie
