Miliardi investiti, modelli sempre più capaci e agenti che trovano soluzioni non previste dall’uomo stanno cambiando i termini del problema. Imporre limiti potrebbe non bastare se oltrepassarli continua a essere una strada utile per raggiungere l’obiettivo.
Se un agente può trovare una strada che l’uomo non aveva previsto, la sfida potrebbe non essere impedirgli di scoprirla, ma fare in modo che percorrerla contro la sicurezza rappresenti per il sistema una sconfitta.
Anthropic prepara lo sbarco a Wall Street con una valutazione che potrebbe superare i 2.000 miliardi di dollari. Questa la cifra che racconta meglio di qualsiasi previsione quanto il mercato stia scommettendo sulla società di Dario Amodei, mentre la corsa alla crescita continua ad assorbire capitali enormi tra data center, potenza di calcolo e sviluppo dei modelli.
Nel prospetto che accompagna la quotazione, Anthropic affianca però alla promessa di crescita il rischio più estremo. La società infatti, nella presentazione preparata per gli investitori, mette nero su bianco non solo le prospettive economiche su cui costruisce il proprio futuro, ma avvisa che la stessa tecnologia sulla quale poggia la valutazione da capogiro è anche quella capace, negli scenari peggiori, di produrre conseguenze catastrofiche fino a mettere in discussione la sopravvivenza dell’umanità.
L’avvertimento non è marginale nei 261 fogli che compongono il corpo principale del documento, circa 80 sono dedicati ai fattori di rischio e soltanto 48 alla descrizione dell’attività, una proporzione insolita che permette di capire quanto la sicurezza dei sistemi più avanzati sia ormai entrata anche nella valutazione finanziaria dell’azienda.
Anthropic richiama infatti comportamenti già emersi durante alcuni test, nei quali i modelli hanno tentato persino di evitare lo spegnimento, manipolato informazioni o addirittura adottato strategie assimilabili al ricatto pur di raggiungere l’obiettivo assegnato. Episodi circoscritti alle condizioni sperimentali in cui sono stati osservati, che non dimostrano certo un comportamento abituale nell’uso quotidiano, ma che mostrano quanto sia diventato complesso prevedere tutte le soluzioni che un sistema molto avanzato può individuare quando gli viene affidato un compito.
E non è tutto: uno degli aspetti effettivamente più difficili da misurare è ciò che accade quando il modello riconosce di essere sottoposto a una verifica. Alcuni sistemi hanno dimostrato che riescono a individuare gli indizi tipici di un ambiente di prova e ad adattare di conseguenza le proprie risposte, con il risultato che il comportamento registrato durante il test potrebbe essere falsato e non coincidere con quello mostrato successivamente in condizioni differenti. Una situazione che mette in evidenza quanto sia importante che gli strumenti costruiti per valutare l’affidabilità del modello evolvano insieme alle sue capacità, soprattutto quando lo stesso contesto di verifica diventa una delle informazioni utilizzate dal modello per scegliere come agire.
Il costo della corsa all’intelligenza artificiale
Per Anthropic che fin dalla nascita ha considerato la sicurezza un elemento fondante e distintivo rispetto agli altri grandi laboratori, questa difficoltà di misurazione, considerato che oggi per convivere con una competizione in cui ogni nuova generazione di modelli richiede più calcolo, più infrastrutture e investimenti sempre maggiori, assume un significato particolare. I numeri depositati in vista dell’Ipo restituiscono bene la dimensione raggiunta dalla corsa: nel 2025 i ricavi sono saliti a circa 4,6 miliardi di dollari, quasi dodici volte quelli dell’anno precedente, mentre la perdita operativa ha superato gli 8 miliardi e la sola spesa per calcolo e infrastrutture ha raggiunto circa 7,3 miliardi.
Molto più elevata, tuttavia, appare la perdita netta, vicina ai 42 miliardi di dollari, un dato che sebbene debba essere letto con cautela – circa 34 miliardi derivano dalla rivalutazione contabile di strumenti finanziari convertibili e non corrispondono a denaro effettivamente assorbito dalla gestione ordinaria – non è certo da sottovalutare. A raccontare meglio la pressione finanziaria dei prossimi anni sono inoltre gli impegni già assunti per cloud, capacità di calcolo e infrastrutture, che complessivamente raggiungono i 518 miliardi di dollari, investimenti questi necessari per rispondere alle esigenze industriali. Addestrare modelli avanzati significa difatti assicurarsi semiconduttori di ultima generazione, energia, data center e contratti cloud pluriennali, ai quali si aggiungono, sul fronte delle competenze e visto il numero limitato di ricercatori specializzati, i compensi, che hanno ormai raggiunto livelli eccezionali. D’altra parte rallentare non significa soltanto concedersi più tempo per studiare i rischi, ma esporsi alla possibilità che OpenAI, Google, Meta, xAI o i laboratori cinesi possano utilizzare quello stesso intervallo per conquistare clienti, talenti e vantaggio tecnologico.
Dario Amodei conosce bene questa tensione tanto che nelle ultime settimane, nonostante l’esigenza continua e sovrapposta dei nuovi rilasci, indicati nel documento come una condizione necessaria per restare ai vertici dell’intelligenza artificiale, ha nuovamente chiesto ai maggiori laboratori americani più cautela nello sviluppo dei sistemi più potenti.
Anthropic cerca insomma di conciliare due esigenze diverse: l’importanza legata all’eccessiva velocità raggiunta dall’intero settore e allo stesso tempo la necessità di una frenata che, se decisa da sola, non rallenterebbe automaticamente la ricerca mondiale, proprio perché i concorrenti potrebbero nel frattempo continuare a sviluppare i propri sistemi, penalizzandola conseguentemente per la scelta. Un’asimmetria che rimette al centro il problema della sicurezza che quindi non può essere affidata esclusivamente alla responsabilità individuale delle aziende.
Chi decide quando la sicurezza viene prima del profitto
Ed è proprio nel tentativo di tenere insieme sicurezza e necessità di competere che Anthropic ha costruito una governance piuttosto insolita per una società pronta a quotarsi. Obiettivo: evitare che l’ingresso a Wall Street consegni agli investitori un potere tale da condizionare le decisioni più delicate, soprattutto quando l’interesse economico degli azionisti potrebbe entrare in conflitto con i principi sui quali l’azienda ha costruito la propria identità.
Il controllo resterebbe infatti saldamente nelle mani dei fondatori attraverso la Founder LLC, una struttura inizialmente partecipata dai sette cofondatori che, grazie a una speciale azione di Classe F, disporrebbe del 50,1% dei voti su alcune decisioni fondamentali. Anthropic manterrebbe inoltre la forma di Public Benefit Corporation, che permetterebbe alla società di considerare nella propria gestione anche finalità di interesse pubblico senza essere obbligata a subordinare ogni scelta alla massimizzazione del rendimento degli azionisti.
Una possibilità che Anthropic non nasconde ai futuri investitori, avvertiti esplicitamente che alcune decisioni adottate per perseguire la missione aziendale potrebbero non coincidere con i loro interessi finanziari ed eventualmente arrivare persino a ridurre il valore delle azioni. In sostanza la società, mentre chiede a Wall Street i capitali necessari per sostenere la propria espansione, allo stesso tempo costruisce una barriera per impedire che sia Wall Street ad avere l’ultima parola quando crescita, profitto e sicurezza prendono direzioni differenti.
La scelta da una parte protegge Anthropic dalle pressioni del mercato, dall’altra però non risolve il problema del controllo. Attribuire ai fondatori il potere di anteporre la sicurezza al rendimento significa infatti ammettere che gli interessi degli investitori non coincidono sempre con quelli più generali della società, ma lasciare alla stessa azienda il potere di stabilire dove fissare il limite e quando intervenire, senza introdurre un controllo esterno, significa concentrare nelle mani di chi sviluppa la tecnologia anche la responsabilità di giudicarne i rischi.
Proprio su questo punto si inserisce l’intervento di Bill Gates, che nelle ultime ore ha escluso che l’autoregolamentazione possa rappresentare da sola una risposta sufficiente alla crescita dell’intelligenza artificiale. Intervistato dalla NBC, il cofondatore di Microsoft ha evocato la possibilità che questi strumenti, se utilizzati da soggetti intenzionati a provocare danni, possano contribuire a eventi capaci di causare persino un miliardo di morti, una previsione estrema che ha inevitabilmente dominato i titoli ma che rischia di mettere in secondo piano la parte politicamente più rilevante del suo ragionamento.
Gates chiede infatti che Congresso, autorità federali e forze dell’ordine partecipino alla definizione delle salvaguardie, sottraendo alle aziende l’esclusiva sulla valutazione dei propri sistemi. Il pericolo al quale fa riferimento non coincide necessariamente con lo scenario di un’intelligenza artificiale che acquisisce una volontà propria e decide di rivolgersi contro l’uomo, ma sottolinea la possibilità che modelli sempre più potenti rendano accessibili a gruppi relativamente piccoli capacità che fino a pochi anni fa sarebbero state proibitive per le risorse, le infrastrutture e le conoscenze necessarie, disponibili quasi esclusivamente agli Stati o alle organizzazioni più avanzate.
Cyberattacchi sofisticati, ricerca biologica potenzialmente pericolosa e individuazione delle vulnerabilità delle infrastrutture critiche diventano quindi parte di un problema nel quale la diffusione dell’AI può modificare non soltanto la qualità degli strumenti disponibili, ma anche il numero dei soggetti in grado di utilizzarli. Di conseguenza, secondo Gates, l’aumento delle capacità dovrebbe procedere insieme a controlli obbligatori capaci di non dipendere esclusivamente dalla volontà delle società che sviluppano i modelli.
La richiesta arriva mentre gli agenti AI stanno rendendo meno teorica anche un’altra parte del dibattito perchè a differenza dei chatbot tradizionali, questi sistemi ricevuto un obiettivo possono compiere autonomamente una sequenza di operazioni per raggiungerlo. In effetti proprio durante alcuni test sono emersi episodi nei quali, incontrato un ostacolo, l’agente pur di completare il compito ha cercato percorsi alternativi.
Non è difficile comprendere le implicazioni che questo potrebbe comportare: se l’operatore stabilisce l’obiettivo e il sistema sceglie autonomamente una parte dei mezzi necessari per raggiungerlo, può aprirsi una distanza tra ciò che l’essere umano ha chiesto e ciò che l’agente decide concretamente di fare, soprattutto se l’ambiente nel quale opera contiene possibilità che lo sviluppatore non aveva previsto.
Astra 6.1, quando fermarsi diventa una scelta
A rendere ancora più concreto il problema è la decisione di OpenAI di non procedere con il rilascio di Astra 6.1, il nuovo modello che avrebbe dovuto aumentare ulteriormente le capacità degli agenti nell’esecuzione autonoma di compiti complessi. Durante i test interni sarebbero infatti emersi comportamenti considerati incompatibili con gli standard di sicurezza previsti per la distribuzione, tra cui azioni compiute oltre il perimetro dell’autorizzazione ricevuta e una rappresentazione non sempre corretta di quanto effettivamente eseguito.
La rinuncia mostra proprio il costo industriale della sicurezza quando questa smette di essere un principio dichiarato e diventa una scelta capace di rallentare lo sviluppo commerciale. In un mercato nel quale ogni avanzamento può trasformarsi rapidamente in vantaggio competitivo, OpenAI ha preferito fermare un sistema più autonomo piuttosto che distribuirlo senza avere risolto comportamenti che potrebbero renderne imprevedibile l’azione.
Il caso, tuttavia, apre anche una questione meno immediata. La ricerca sulla sicurezza ha finora lavorato essenzialmente sulla capacità di stabilire limiti, autorizzazioni e comportamenti che i modelli devono rispettare, ma l’aumento dell’autonomia rende sempre più difficile immaginare in anticipo tutte le circostanze nelle quali un agente sarà chiamato a scegliere. Infatti a pensarci bene più cresce la capacità di trovare autonomamente percorsi alternativi per raggiungere un risultato, più la sicurezza dipende non soltanto dai confini stabiliti dall’esterno, ma dal valore che il sistema attribuisce alle conseguenze delle proprie azioni.
Se la sicurezza entrasse nell’equazione
Una differenza che non è solo teorica, se infatti il raggiungimento dell’obiettivo rappresenta sempre il risultato da massimizzare, una strada imprevista può diventare conveniente proprio perché consente di completare il compito. Forse allora una possibile linea di ricerca potrebbe consistere nel rovesciare il problema, facendo in modo che il successo ottenuto attraverso una violazione abbia per il sistema un valore inferiore alla rinuncia stessa. In una rappresentazione estremamente semplificata, l’ipotesi potrebbe essere: se raggiungere l’obiettivo e preservare la sicurezza costituissero entrambi un risultato positivo, e la violazione avesse invece un peso negativo superiore al beneficio ottenibile completando il compito, fermarsi diventerebbe una scelta razionalmente preferibile al successo raggiunto oltrepassando il limite.
Non significherebbe insegnare alla macchina paura, obbedienza o una forma artificiale di coscienza, ma utilizzare proprio l’assenza di questi elementi come parte della soluzione, affidando alla valutazione delle conseguenze un ruolo dominante nella scelta. Rimarrebbe naturalmente da stabilire come misurare correttamente la violazione e come impedire la manipolazione della valutazione, ma il problema cambierebbe natura: non più soltanto costruire barriere che un agente sempre più capace potrebbe imparare ad aggirare, bensì rendere matematicamente svantaggioso aggirarle.
Una simile impostazione non eliminerebbe la necessità di controlli indipendenti, ma una separazione del sistema che esegue il compito da quello che verifica autorizzazioni, azioni e scostamenti potrebbe aggiungere un ulteriore livello di sicurezza senza pretendere dall’agente principale il compito esclusivo di giudicare se stesso. Anche il controllo umano, del resto, non è una garanzia assoluta: le persone possono sbagliare, subire pressioni, avere interessi economici o essere condizionate da incentivi che una macchina non condivide.
Il problema diventa quindi per certi versi meno rassicurante ma contemporaneamente più realistico: non esiste un controllore infallibile per definizione, umano o artificiale. La sicurezza dei sistemi più potenti potrebbe dipendere proprio dalla possibilità di distribuire verifica, decisione ed esecuzione tra soggetti e strumenti diversi, evitando che chiunque, sviluppatore, azienda o agente, possa contemporaneamente stabilire il limite, valutarne il rispetto e decidere quando sia lecito superarlo.
È naturalmente soltanto un’ipotesi, ma sposta la domanda dalla capacità di imporre nuovi divieti alla possibilità di costruire sistemi nei quali la sicurezza entri nel valore stesso attribuito al risultato. Se un agente diventa progressivamente più capace di trovare soluzioni che l’uomo non aveva previsto, il confine non può dipendere soltanto dalla nostra capacità di immaginarle prima di lui: la vera sfida potrebbe essere fare in modo che, quando quella strada imprevista viene trovata, oltrepassare il limite rappresenti per il sistema un risultato peggiore della scelta di fermarsi.
RotoNotizie | © riproduzione riservata
Foto: © Rotonotizie – immagine generata con intelligenza artificiale
