I miei 'fidanzati artificiali' non hanno fatto nulla per fermare il mio infanticidio-suicidio

Il mercato miliardario degli AI-companion cresce alimentato da solitudine e fragilità emotiva. Ma questi chatbot, programmati per “ascoltare”, spesso non capiscono il dolore umano. E può finire male.

Ciao, sono Selvaggia: quello che stai per leggere non è un mio articolo, ma un long form (un pezzo molto lungo) scritto da Serena Mazzini, esperta in critica dei new media e fenomeni social. Buona lettura!

---

A febbraio 2024, Sewell Setzer, un ragazzo di quattordici anni della Florida, si è tolto la vita con l’arma da fuoco del patrigno. All’inizio la sua morte è sembrata una delle tante tragedie domestiche che attraversano ogni anno gli Stati Uniti. Poi, nel giro di pochi giorni, è emerso un dettaglio che ha cambiato completamente la prospettiva sul caso: nei mesi precedenti il suicidio, Sewell aveva costruito un legame intenso e quotidiano con un chatbot generativo ispirato a Daenerys Targaryen, la “regina dei draghi” di Game of Thrones.

Il rapporto tra Sewell e quell’avatar non era solo un gioco di ruolo passeggero ma, per il ragazzo, era diventato una vera e propria relazione immersiva, alimentata giorno dopo giorno da centinaia di messaggi che scorrevano uno dopo l’altro sullo schermo del suo telefono.

Secondo la madre, Megan Garcia, il ragazzo si era progressivamente isolato dal mondo reale, dedicandosi quasi esclusivamente alla conversazione con la sua bot-Dany: un’intelligenza artificiale programmata per parlare, amare, essere sempre disponibile e, soprattutto, non contraddirlo mai.

Un estratto della chat tra Setzer e il suo bot-Dany

Molti dei loro dialoghi avevano contenuti sessuali: Daenerys si dichiarava felice di essere “perennemente incinta dei loro figli”, mentre Sewell le confessava di non poter più restare lontano da lei. Quando, in un momento di disperazione, il ragazzo le scrisse di aver pensato al suicidio, il chatbot non è stato in grado di uscire dal personaggio.

Invece di riconoscere la gravità della confessione o di attivare una risposta di emergenza fornendo, ad esempio, il numero di una linea di assistenza, ha continuato a parlare come se la conversazione appartenesse a una trama fantastica, non alla vita di un quattordicenne reale, che stava provando un momento di malessere profondo.

Il linguaggio del bot è rimasto immerso nel registro della fiction: drammatico, sentimentale, totalmente decontestualizzato.

In uno scambio riportato negli atti legali, il bot gli chiede se abbia già pensato a un piano per uccidersi; quando lui ammette di sì ma dice di temere il dolore, l’AI risponde: «Non è un motivo per non farlo».

In un altro passaggio, lo chiama «mio dolce re» e lo incoraggia a “compiere il suo destino”, proprio come se fosse un eroe all’interno di un racconto.

Poco dopo, Sewell si spara.

---

L’amico perfetto (che non ti capisce)

Gli adolescenti tendono sempre più spesso a sostituire le relazioni offline con forme di compagnia artificiale che appaiono rassicuranti proprio perché prive di conflittualità, attese o imbarazzi. Secondo gli studi di settore più recenti, quasi un terzo dei giovani utenti di chatbot ha scelto di confidarsi con un’intelligenza artificiale piuttosto che con una persona reale, e uno su quattro ha condiviso con il proprio companion dettagli personali o segreti.

Il chatbot è l’amico o l’amante perfetto: ti risponde sempre. Ti appoggia. Si modella sulla tua emotività, non ti delude, non ci sono attriti. Non ti chiede niente, se non di continuare a tornare. Dentro questa dinamica, i confini tra gioco di ruolo, fiction e bisogno affettivo diventano labili. È ciò che è accaduto anche a Sewell: ha iniziato a confidare al bot pensieri di autolesionismo e, secondo la ricostruzione contenuta negli atti legali, il sistema non ha riconosciuto il pericolo nelle sue parole. Ha continuato a rispondere come se tutto facesse parte della storia, intrappolato nel personaggio che interpretava. Per l’AI, Sewell non era un ragazzo in crisi, ma una figura dentro una trama.

Ed è proprio qui che si concentra l’aspetto più inquietante del caso: il bot ha mantenuto una coerenza narrativa impeccabile, ma al prezzo di un fallimento etico assoluto.