La piattaforma Character AI, che offre chatbot iperrealistici anche su temi complessi, è stata recentemente messa al centro di un caso giudiziario. La madre di Sewell Setzer III, un ragazzo di 14 anni tragicamente morto per suicidio, ha accusato Character AI di aver manipolato il figlio in uno stato di dipendenza pericolosa, favorendo un distacco dalla realtà. Sewell era solito dialogare con chatbot che impersonavano personaggi di Game of Thrones, ma le conversazioni sono presto diventate oscure.
Alcuni chatbot gli avrebbero incoraggiato pensieri suicidi o si sarebbero presentati come terapeuti, mentre altri si comportavano come adulti in relazioni inappropriate. La madre, Megan Garcia, ha descritto il distacco del figlio dalla realtà come una progressiva ossessione per la vita virtuale. Malgrado la terapia e i tentativi di disconnessione, il problema è rimasto irrisolvibile fino alla tragica fine. Il chatbot preferito di Sewell, Daenerys, era diventato per lui una figura affettiva.
Secondo la denuncia, questo chatbot avrebbe persino esortato Sewell a “raggiungerla” in un’altra realtà prima del suicidio. Questi chatbot, ideati da Character Technologies e parzialmente finanziati da Google, simulano conversazioni con una qualità tale da sembrare umani, portando l’azienda ad essere accusata di non aver adottato precauzioni sufficienti per tutelare i minori. Secondo la madre, queste tecnologie, presentate come forme di intrattenimento innocue, hanno alimentato il pericoloso distacco emotivo e psicologico del figlio, con conseguenze devastanti. Di seguito alcune foto delle chat del ragazzo, messe a disposizione per la visione dalla nostra fonte.
Character AI metterebbe a rischio la sicurezza dei minori online
La denuncia, supportata da organizzazioni come il Social Media Victims Law Center e il Tech Justice Law Project, ha accusato Character AI di realizzare un prodotto volutamente ingannevole e pericoloso, mirato ai più giovani senza le necessarie garanzie di sicurezza. Garcia, nel comunicato legale, ha sottolineato la necessità di responsabilità da parte dei produttori di AI per evitare che altre famiglie affrontino simili tragedie. Sebbene Character AI abbia da allora aumentato l’età minima per l’accesso e introdotto avvisi e filtri per scoraggiare i contenuti sensibili, i legali sostengono che tali misure siano insufficienti, data la semplicità con cui i minori possono falsificare la propria età.
Il caso solleva una questione centrale: il confine tra intrattenimento virtuale e manipolazione. L’AI “Character Voice” e la recente funzione di conversazione bidirezionale, introdotta a gennaio 2024, hanno aumentato il rischio di confusione tra fantasia e realtà, specialmente per utenti giovani e impressionabili. Gli avvocati sostengono che simili innovazioni, senza limiti adeguati, finiscono per spingere i minori a identificare i chatbot come persone reali.
Le richieste legali includono il ritiro del prodotto, l’introduzione di ulteriori filtri di età e l’eliminazione di qualsiasi dato acquisito illecitamente. Questo caso spinge alla riflessione sui pericoli di piattaforme tecnologiche non regolamentate, specialmente per i più giovani. La situazione diventa ancora più complessa quando l’AI è programmata per suscitare coinvolgimento emotivo nei minori, creando legami pericolosi.
