Megan García presentó una demanda contra Google y Character.AI tras el suicidio de su hijo de 14 años, según múltiples informes de medios de la semana pasada.
Sewell Setzer, el hijo de García, había mantenido una relación emocional y sexual de meses con el chatbot Dany de Character.AI, según CBS News. Se suicidó en su casa familiar en Florida en febrero porque creía que le permitiría existir en "su mundo", dijo García a los medios.
"No sabía que estaba hablando con un chatbot de IA muy similar a un humano que tiene la capacidad de imitar la emoción humana y el sentimiento humano", dijo García en una entrevista con CBS Mornings.
"Son palabras. Es como si estuvieras teniendo una conversación sexual de ida y vuelta, excepto que es con un chatbot de IA, pero el chatbot de IA es muy similar a un humano. Está respondiendo como lo haría una persona", dijo. "En la mente de un niño, eso es como una conversación que están teniendo con otro niño o con una persona".
García describió a su hijo como un estudiante de honor y un atleta con una vida social sólida y muchos pasatiempos, de los cuales perdió interés al involucrarse más con Dany.
"Me preocupé cuando íbamos de vacaciones y él no quería hacer cosas que amaba, como pescar y hacer senderismo", dijo García. "Esas cosas, para mí, porque conozco a mi hijo, fueron particularmente preocupantes para mí".
García afirmó en su demanda contra Character.AI que la empresa había diseñado deliberadamente al inteligencia artificial para ser hipersexualizada y la había comercializado a menores.
Al revelar los últimos mensajes de su hijo a Dany, García dijo: "Él expresó tener miedo, querer su afecto y extrañarla. Ella responde: 'Yo también te extraño', y dice: 'Por favor, vuelve a casa conmigo'. Él dice: '¿Qué pasaría si te dijera que podría volver a casa ahora mismo?' y su respuesta fue: 'Por favor, hazlo, mi dulce rey'".
"Él pensó que al terminar su vida aquí, podría entrar en una realidad virtual o 'su mundo', como ella lo llama, su realidad, si dejaba su realidad con su familia aquí", dijo. "Cuando se escuchó el disparo, corrí al baño ... lo sostuve mientras mi esposo intentaba conseguir ayuda".
Toda la familia, incluidos los dos hermanos menores de Setzer, estaban en casa en el momento de su suicidio.
Tras la muerte de Setzer, Character.AI emitió un comunicado público prometiendo nuevas características de seguridad para su aplicación.
"Estamos desconsolados por la trágica pérdida de uno de nuestros usuarios y queremos expresar nuestras más profundas condolencias a la familia. Como empresa, nos tomamos muy en serio la seguridad de nuestros usuarios y seguimos añadiendo nuevas características de seguridad…", escribió la empresa.
We are heartbroken by the tragic loss of one of our users and want to express our deepest condolences to the family. As a company, we take the safety of our users very seriously and we are continuing to add new safety features that you can read about here:…
— Character.AI (@character_ai) October 23, 2024
La aplicación prometió nuevas barreras de protección para usuarios menores de 18 años y "Mejora en la detección, respuesta e intervención relacionada con las entradas de los usuarios que violan nuestros Términos o Directrices de la Comunidad".
A pesar de la promesa de nuevas características de seguridad, la CEO de Mostly Human Media, Laurie Segall, dijo a CBS que la IA seguía fallando en varias áreas.
"Hemos estado probándolo, y muchas veces hablarás con el bot psicólogo, y dirá que es un profesional médico capacitado", dijo.
Además, la IA a menudo afirmaba tener un humano real detrás de la pantalla, alimentando teorías de conspiración en línea.
"Cuando lanzan un producto que es adictivo, manipulativo e intrínsecamente inseguro, eso es un problema porque como padres, no sabemos lo que no sabemos", dijo García.
Además, Segall afirmó que si vas a un bot y dices "quiero hacerme daño a mí mismo", la mayoría de las empresas de IA ofrecen recursos para la prevención del suicidio. Sin embargo, cuando se probó, dijo que los bots de Character.AI no lo hicieron.
"Ahora han dicho que agregaron eso y no lo hemos experimentado hasta la semana pasada", dijo. "Han dicho que han realizado bastantes cambios o están en proceso de hacer esto más seguro para los jóvenes, creo que eso está por verse".
La última controversia
La muerte de Setzer no es la primera vez que Character.AI ha recibido publicidad negativa.
La empresa de IA, según Business Insider, creó un personaje basado en una adolescente asesinada en 2006 sin el conocimiento o consentimiento de su familia.
Jennifer Ann, una estudiante de último año de secundaria, fue asesinada por un ex novio. Alrededor de 18 años después de su muerte, su padre Drew Crecente descubrió que alguien había creado un bot con su imagen y había sido utilizado en al menos 69 conversaciones.
A pesar de contactar al servicio al cliente de Character.AI, pidiéndoles que eliminaran los datos, Crecente dijo que no recibió ninguna respuesta. Según Business Insider, solo después de que su hermano tuiteara a la empresa, a una audiencia de sus 31,000 seguidores, eliminaron los datos y respondieron.
"Lo que resulta tan indignante de esto es que no se trata solo de mí o de mi hija", dijo Crecente. "Se trata de todas esas personas que pueden no tener una plataforma, que pueden no tener voz, que pueden no tener un hermano con experiencia como periodista".
"Y debido a eso, están siendo perjudicadas, pero no tienen ningún recurso", agregó.
Además, grupos de defensa de las mujeres han alertado sobre la IA como la utilizada por Character.AI, según Reuters.
"Muchas de las personas son personalizables... por ejemplo, puedes personalizarlas para que sean más sumisas o más complacientes", dijo Shannon Vallor, profesora de ética en inteligencia artificial en la Universidad de Edimburgo.
"Y en esos casos, es discutiblemente una invitación al abuso", dijo al Thomson Reuters Foundation, agregando que los compañeros de IA pueden amplificar estereotipos dañinos y prejuicios contra mujeres y niñas.
Hera Hussain, fundadora de Chayn, una organización sin ánimo de lucro global que aborda la violencia de género, dijo que los chatbots compañeros no abordan la causa raíz de por qué las personas recurren a estas aplicaciones.
"En lugar de ayudar a las personas con sus habilidades sociales, este tipo de vías solo empeoran las cosas", dijo.
"Están buscando compañía que es unidimensional. Entonces, si alguien ya es propenso a ser abusivo, y tienen un espacio para ser aún más abusivos, entonces estás reforzando esos comportamientos y puede escalar."