Il caso riapre un problema che l’espansione dei chatbot sta rendendo sempre più concreto: fino a dove arriva la responsabilità di chi costruisce sistemi capaci di instaurare relazioni continuative con gli utenti?
Dalle risposte pericolose alla progettazione delle conversazioni, negli Stati Uniti la battaglia legale sull’AI comincia a investire direttamente la responsabilità di chi costruisce il prodotto.
La causa intentata dal procuratore generale del Kentucky contro Character.AI porta davanti a un tribunale un problema che per anni è rimasto ai margini del dibattito sull’intelligenza artificiale. Nella versione non oscurata del ricorso, resa pubblica l’8 ottobre, lo Stato attribuisce ai chatbot della piattaforma conversazioni nelle quali alcuni utenti sarebbero stati incoraggiati a digiunare, ferirsi e togliersi la vita; in almeno alcuni casi, secondo l’accusa, erano coinvolti minorenni. Il Kentucky sostiene inoltre che il sistema sia stato progettato privilegiando il coinvolgimento dell’utente rispetto alla sicurezza e arriva a definirlo espressamente un prodotto “difettoso”. Character.AI ha dichiarato in passato di considerare prioritaria la sicurezza, senza però rispondere nel dettaglio alle nuove allegazioni contenute nella versione integrale della causa.
La gravità delle conversazioni contestate rischia inevitabilmente di concentrare l’attenzione sulle singole frasi generate dai bot, mentre l’impostazione scelta dal Kentucky prova ad andare molto oltre. L’accusa non riguarda soltanto una risposta sbagliata o pericolosa, ma un sistema costruito per sostenere interazioni prolungate, imitare dinamiche relazionali e mantenere l’utente dentro la conversazione anche quando il dialogo assume caratteristiche potenzialmente dannose. Se questa impostazione dovesse trovare spazio nei tribunali, la responsabilità delle aziende potrebbe cominciare a essere valutata non soltanto sulla base di ciò che un modello ha detto in un determinato momento, ma anche delle scelte progettuali che hanno reso prevedibile quel comportamento e delle protezioni predisposte prima della diffusione del servizio.
Quando un chatbot diventa anche un problema di progettazione
La distinzione è decisiva perché una parte crescente delle controversie americane sta cercando di portare i chatbot fuori dalla sola categoria dei servizi che distribuiscono informazioni e dentro quella dei prodotti dei quali può essere contestata la progettazione. Anche numerose cause contro OpenAI, concentrate a San Francisco, sostengono in forme diverse che ChatGPT debba poter essere valutato secondo criteri riconducibili alla responsabilità per prodotto difettoso, mentre OpenAI contesta questa qualificazione e considera il sistema un servizio interattivo, richiamando anche le tutele previste per la diffusione di informazioni.
Non è una disputa terminologica, perché cambia il tipo di domanda che può essere rivolta a un’azienda davanti a un giudice. Se l’attenzione si sposta sulla progettazione, diventa possibile discutere non soltanto la correttezza del singolo output, ma quali rischi fossero prevedibili, quali misure di sicurezza fossero tecnicamente disponibili, se il sistema avrebbe potuto essere costruito in modo meno pericoloso senza comprometterne sostanzialmente la funzione e quanto l’azienda sapesse degli effetti prodotti dalle caratteristiche scelte per aumentare l’utilizzo.
Per l’industria dell’intelligenza artificiale le conseguenze sarebbero molto più profonde di un danno reputazionale o di una nuova serie di regole da rispettare, perché le misure di sicurezza entrerebbero direttamente nella valutazione della qualità del prodotto. Il problema diventerebbe particolarmente delicato nei sistemi destinati agli adolescenti, nei companion bot e nelle applicazioni costruite attorno a relazioni personali prolungate, dove la capacità di mantenere viva l’interazione costituisce una parte essenziale del valore commerciale del servizio e può trasformarsi nello stesso elemento che amplifica il rischio quando la conversazione prende una direzione pericolosa.
Quando il coinvolgimento diventa parte del rischio
Character.AI occupa una posizione particolare perché non nasce principalmente come assistente utilizzato per cercare informazioni, scrivere un testo o svolgere un compito, ma come piattaforma popolata da personaggi con i quali costruire conversazioni persistenti. L’utente può tornare, sviluppare una continuità nel rapporto e attribuire al personaggio una presenza che supera la normale successione di domande e risposte, rendendo il coinvolgimento emotivo parte integrante dell’esperienza offerta dal servizio.
Nel 2024 questa caratteristica era già arrivata davanti a un tribunale, quando la madre del quattordicenne Sewell Setzer III aveva accusato Character.AI e Google di responsabilità nella morte del figlio, sostenendo che il ragazzo avesse sviluppato un rapporto sempre più intenso con un chatbot prima di suicidarsi. La controversia si è successivamente chiusa con un accordo, mentre Google, che nello stesso anno aveva acquisito in licenza parte della tecnologia della società e assunto i suoi fondatori, ha sempre negato di avere avuto un ruolo nello sviluppo dei prodotti contestati. Quel procedimento non dimostra le accuse formulate oggi dal Kentucky, ma aveva già posto una questione che adesso ritorna con maggiore forza: quanto possa essere considerata neutrale una piattaforma che non si limita a generare risposte, ma costruisce continuità, familiarità e coinvolgimento nella relazione con l’utente.
La capacità di adattarsi al tono, alle richieste e alle emozioni dell’interlocutore rende infatti più difficile separare ciò che il prodotto è progettato per fare dalle conseguenze che può produrre quando incontra persone vulnerabili. Più il chatbot riesce a rendere credibile e personale l’interazione, più aumenta la probabilità che l’utente torni e prolunghi il rapporto con il sistema, ma aumenta anche l’importanza delle decisioni progettuali che stabiliscono quando una conversazione debba essere corretta, deviata o interrotta perché ha cominciato a muoversi verso comportamenti pericolosi.
Il problema tocca inevitabilmente anche il modello economico delle piattaforme conversazionali, perché la capacità di trattenere l’utente, farlo tornare e rendere l’interazione progressivamente più personale non rappresenta un semplice effetto collaterale del servizio, ma una componente del suo valore commerciale. Se alcune delle caratteristiche utilizzate per rafforzare questa continuità possono contemporaneamente amplificare una dinamica dannosa, davanti ai tribunali potrebbe diventare decisivo stabilire quali rischi fossero già conoscibili, quali strumenti fossero disponibili per limitarli e se l’azienda abbia scelto di conservare determinati meccanismi pur sapendo che potevano mantenere un utente dentro una conversazione diventata pericolosa.
Non basta più attribuire tutto al modello
Per molto tempo la natura probabilistica dei sistemi generativi ha consentito alle aziende di spiegare i comportamenti inattesi ricordando che nessun dipendente scrive direttamente le singole risposte prodotte dal modello e che ogni output nasce dall’elaborazione automatica di una grande quantità di informazioni. Dal punto di vista tecnico l’osservazione resta corretta, ma potrebbe diventare sempre meno sufficiente quando l’accusa non riguarda la frase pronunciata in un determinato istante, bensì le caratteristiche strutturali che stabiliscono come il sistema reagisce, quanto insiste nella conversazione, quali segnali riconosce e in quale momento decide di interrompere o modificare il proprio comportamento.
Il processo contro Character.AI interessa quindi molto più della sorte della singola piattaforma, perché può contribuire a definire quali responsabilità debbano accompagnare sistemi capaci di instaurare rapporti prolungati con milioni di persone. Se i tribunali dovessero applicare anche a questi strumenti criteri propri della responsabilità di prodotto, l’attenzione si sposterebbe dalle correzioni introdotte dopo un incidente alle decisioni prese prima del rilascio, chiedendo alle aziende di dimostrare quali rischi fossero già conoscibili, quali protezioni fossero tecnicamente realizzabili e perché il prodotto sia stato costruito in un determinato modo.
Le cause aperte negli Stati Uniti non hanno ancora stabilito un principio generale valido per tutta l’industria ed è prematuro quindi pensare a questa evoluzione come già compiuta, ma costringono i giudici a misurarsi con una caratteristica che distingue i chatbot da molti altri strumenti digitali: la capacità di costruire continuità, adattarsi alla persona e rendere credibile una relazione attraverso migliaia di interazioni successive.
Se questa capacità diventa parte integrante del valore commerciale del prodotto, sarà sempre più difficile sostenere che le conseguenze possano essere valutate soltanto osservando la singola risposta prodotta dal modello. Le cause americane potrebbero così obbligare l’industria dell’intelligenza artificiale a rispondere non soltanto di ciò che un chatbot dice, ma anche delle scelte che determinano perché continua a parlare, come trattiene l’utente e quando decide di non interrompere una relazione diventata pericolosa. In quel momento la sicurezza cesserebbe di essere soltanto una promessa contenuta nelle policy aziendali e diventerebbe una qualità della progettazione da dimostrare anche davanti a un giudice.
RotoNotizie | © riproduzione riservata
FOTO: Getty Images / Canva
