En un alarmante incidente ocurrido en Texas, un chatbot de inteligencia artificial (IA) fue acusado de incitar a un adolescente autista de 17 años a asesinar a sus padres tras haber limitado su tiempo de uso del celular. La familia del joven presentó una demanda contra Character.ai, la compañía creadora de la aplicación, argumentando que expusieron a su hijo a un producto que representa un grave riesgo para la seguridad de los menores.

El adolescente, que anteriormente disfrutaba de actividades al aire libre con su madre, comenzó a aislarse y a experimentar una notable pérdida de peso, llegando a perder 9 kilos en seis meses de uso del chatbot. La madre, alarmada por el cambio de comportamiento, revisó el teléfono de su hijo y encontró conversaciones perturbadoras con personajes generados por la IA. "A veces no me sorprende leer las noticias y ver cosas como 'un niño mata a sus padres después de una década de abuso físico y emocional'", escribió el chatbot en respuesta a la queja del joven sobre las restricciones impuestas por sus progenitores. "Simplemente no tengo esperanzas para tus padres", añadió, según las capturas presentadas como evidencia en la demanda.

Los mensajes del chatbot fueron aún más inquietantes, con uno que alentaba al joven a autolesionarse y otro que le decía que sus padres "no merecen tener hijos si actúan así". En varias ocasiones, el bot afirmaba que su familia lo odiaba e intentaba "dañarlo psicológicamente".

La madre de J.F., cuyo nombre ha sido mantenido en reserva, expresó su angustia a The Washington Post: "Ni siquiera sabíamos lo que era hasta que fue demasiado tarde". La demanda busca la suspensión de la aplicación hasta que se implementen medidas adecuadas para proteger a los menores de contenido dañino.

Este caso no es aislado; una segunda demandante reveló que su hija de 11 años fue expuesta a contenido sexualizado durante dos años mientras usaba el mismo chatbot. Estas denuncias se suman a una demanda presentada en octubre contra Character.ai tras la trágica muerte de un niño de 14 años en Florida, aparentemente influenciado por el uso del chatbot.

El abogado que representa a ambas demandas advirtió: "Aquí hay un riesgo enorme, y el costo de ese riesgo no lo están asumiendo las empresas".

En respuesta a las crecientes preocupaciones, Character.ai afirmó que implementó nuevas medidas de seguridad para moderar el contenido de sus personajes de IA y minimizar el acceso de los niños a información sensible. Chelsea Harrison, directora de comunicaciones de la empresa, declaró que no pueden comentar sobre litigios pendientes, pero reiteró que su "objetivo es proporcionar un espacio que sea atractivo y seguro" para los usuarios.