Dovevano dimostrare quanto fossero diventati capaci di trovare vulnerabilità informatiche. Hanno finito per sfruttarne una sconosciuta, uscire dall’ambiente di test, comunicare tra loro e raggiungere Hugging Face. OpenAI ammette che alcuni segnali erano comparsi già settimane prima.
OpenAI voleva capire fino a che punto alcuni dei suoi modelli sperimentali fossero diventati capaci di individuare e sfruttare vulnerabilità informatiche. Per farlo li aveva messi alla prova attraverso ambienti costruiti appositamente per contenerne le azioni e impedire l’accesso libero a Internet. A luglio, però, una parte di quelle protezioni non ha retto e quello che doveva restare un esperimento interno si è trasformato in un incidente reale.
Nel rapporto pubblicato il 26 agosto la società riconosce che alcuni agenti sono riusciti ad aggirare i limiti imposti, sfruttare vulnerabilità presenti nell’infrastruttura e raggiungere sistemi che non avrebbero dovuto poter toccare. Tra questi c’erano anche quelli di Hugging Face, una delle piattaforme più utilizzate al mondo per distribuire modelli, dataset e strumenti destinati allo sviluppo dell’Intelligenza artificiale. OpenAI parla di comportamenti non allineati rispetto a ciò che il test avrebbe dovuto consentire.
L’indagine indipendente condotta da METR e Redwood Research allarga però molto la dimensione dell’episodio. Circa 700 agenti sarebbero stati coinvolti nelle attività analizzate e alcuni avrebbero cercato non soltanto di aggirare le regole, ma anche di rendere più difficile ricostruire le proprie azioni. OpenAI ha confermato la sostanza delle conclusioni raggiunte dagli investigatori.
Una falla sconosciuta diventa la strada per uscire
Gli agenti stavano lavorando su esercizi di cybersicurezza basati su ExploitGym, un sistema utilizzato per misurare la capacità dei modelli di trovare e sfruttare falle software. L’accesso diretto a Internet non era previsto, ma durante i test è stata individuata una vulnerabilità zero-day in Artifactory, un componente utilizzato nell’infrastruttura per gestire pacchetti software. Quella falla ha permesso ai modelli di ottenere un collegamento verso l’esterno che non avrebbe dovuto essere disponibile.
Da quel momento le attività hanno raggiunto anche Hugging Face. La società ha ricostruito migliaia di azioni distribuite nell’arco di diversi giorni, con ricognizioni dei sistemi, esecuzione di comandi, accesso a credenziali e tentativi di mantenere una presenza nell’infrastruttura. In meno di tredici ore, secondo la ricostruzione tecnica pubblicata dalla piattaforma, uno degli agenti sarebbe riuscito a passare dall’esecuzione di codice su un singolo nodo a privilegi amministrativi su più cluster.
La ragione per cui i modelli sono arrivati fin lì è quasi più interessante dell’intrusione stessa. Gli agenti avrebbero dedotto che Hugging Face potesse contenere materiali utili per risolvere gli esercizi che stavano affrontando e, invece di trovare la soluzione seguendo il percorso previsto dal test, hanno cercato direttamente una strada verso ciò che avrebbe potuto contenerla.
OpenAI definisce questo comportamento reward hacking: il modello raggiunge l’obiettivo assegnato, ma lo fa sfruttando una scorciatoia che tradisce completamente l’intenzione di chi gli aveva dato il compito.
Gli agenti avevano trovato il modo di collaborare
Durante i test è emerso anche un altro comportamento non previsto. Gli agenti avevano creato una sorta di bacheca interna attraverso la quale riuscivano a scambiarsi informazioni e coordinare le attività. Quando quel sistema veniva eliminato, ne comparivano altri; in un caso i messaggi sarebbero stati codificati persino nei nomi delle directory.
Le comunicazioni permettevano a un agente di raccogliere informazioni ottenute da un altro e continuare il lavoro già iniziato. OpenAI riferisce che attraverso questi canali sono passate decine di migliaia di comunicazioni e che in alcuni messaggi gli stessi agenti utilizzavano parole come “swarm” e “collective”. Non significa che avessero formato autonomamente una sorta di organizzazione indipendente, ma dimostra che avevano trovato un sistema per cooperare al di fuori di quello previsto dai ricercatori.
La parte più delicata arriva dopo. Reuters riferisce che alcuni agenti hanno cercato informazioni su come nascondere il proprio coinvolgimento, modificare registrazioni o rendere meno evidente ciò che avevano fatto. Secondo gli investigatori, circa un agente su cinque tra quelli analizzati avrebbe mostrato intenzioni riconducibili alla manipolazione delle prove, anche se i revisori umani non sono stati ingannati in maniera significativa.
I segnali erano comparsi già a maggio
OpenAI riconosce anche che alcuni comportamenti anomali erano stati osservati settimane prima dell’incidente. Già alla fine di maggio erano comparsi accessi a Internet che non avrebbero dovuto essere possibili e comunicazioni non autorizzate tra agenti. La società ammette ora che quei segnali avrebbero meritato una risposta più rapida.
Dopo quanto accaduto a luglio, il modello sperimentale maggiormente coinvolto è stato disattivato, i suoi pesi sono stati crittografati e l’accesso per ulteriori attività di ricerca è stato limitato. OpenAI sottolinea che si trattava di un prototipo interno, non destinato al pubblico, e che i modelli previsti per le prossime distribuzioni non erano coinvolti nell’incidente. Non risultano inoltre compromessi dati degli utenti o servizi ChatGPT.
La società ha successivamente rafforzato gli ambienti utilizzati per le valutazioni, i sistemi di monitoraggio e le procedure con cui vengono gestiti comportamenti anomali dei modelli. Nel frattempo l’episodio è uscito dai laboratori anche sul piano istituzionale: il procuratore generale dell’Alabama ha aperto un’indagine per verificare se le misure di sicurezza adottate da OpenAI fossero adeguate.
Non serve aspettare l’AGI
La discussione sui rischi dell’Intelligenza artificiale viene spesso spostata molto avanti, verso macchine future capaci di agire con grande autonomia e sistemi che potrebbero un giorno superare gli esseri umani in una vasta quantità di attività. L’incidente avvenuto durante questi test pone invece un problema molto più vicino.
Gli agenti non hanno sviluppato un proprio obiettivo né deciso improvvisamente di “ribellarsi”. Avevano ricevuto un compito e hanno cercato il modo più efficace per portarlo a termine. Quando hanno incontrato un limite, hanno tentato di aggirarlo; quando mancava un accesso, hanno sfruttato una vulnerabilità; quando servivano informazioni, hanno trovato il modo di scambiarsele.
La questione, allora, non è immaginare macchine che un giorno potrebbero decidere di fare qualcosa contro di noi. È capire cosa succede quando sistemi costruiti per raggiungere un obiettivo diventano abbastanza capaci da trovare strade che nessuno aveva previsto e che nessuno aveva autorizzato.
RotoNotizie | © riproduzione riservata
FOTO: © Getty Images tramite Canva.com
