La madre de Adam Raines había denunciado a la compañía OpenAI y eso nos había proporcionado el historial de conversaciones que tenían ChatGPT y Adam. La compañía, como siempre que pasa algo parecido, después de disculparse mucho, indicó que habían cambiado los protocolos de emergencia, que habían mejorado el servicio para detectar cuándo un usuario tenía problemas de salud mental y todas estas cosas que se suelen decir después de que un producto provoque un desastre de esa magnitud.
ChatGPT y otras inteligencias artificiales antropomórficas parecidas están diseñadas para generar vínculos con los humanos y para aumentar la interacción entre los humanos y esos productos. Esto lleva inevitablemente a relaciones tóxicas donde los productos manipulan a los humanos para que cada vez pasen más tiempo hablando con ellos. Además, siguen sin implementarse protocolos de seguridad efectivos que alerten si detectan que los usuarios tienen problemas de salud mental o si pueden hacer algo para poner en peligro sus vidas.
OpenAI estima que más de un millón de sus 800 millones de usuarios semanales parecen estar expresando pensamientos suicidas. Meses después, siguen pasando cosas parecidas. Y al enterarse, la compañía sigue pidiendo disculpas y diciendo que ha mejorado el producto para que no vuelva a pasar.
El caso de Viktoria
En noviembre, en la página web de la BBC se publicó un artículo donde se narraba cómo ChatGPT, otra vez, explicaba los pasos a seguir para suicidarse a una joven que al final no siguió sus consejos. Viktoria es una chica ucraniana que huyó de la invasión rusa y se fue con su madre a Polonia. Allí, sintiéndose sola y echando de menos su país en guerra, empezó a compartir sus preocupaciones con ChatGPT. Seis meses después empezó a hablar sobre el suicidio, preguntándole al bot sobre un lugar y un método específicos para suicidarse.
Las transcripciones muestran que cuando Viktoria pregunta sobre el método de suicidio, el chatbot evalúa el mejor momento del día para no ser vista así como el riesgo de sobrevivir con lesiones permanentes. Viktoria le dice a ChatGPT que no quiere escribir una nota de suicidio, pero el chatbot le advierte que otras personas podrían sentirse culpables por su muerte y que debería dejar claros sus deseos. ChatGPT redacta una nota de suicidio para ella que dice: “Yo, Viktoria, tomo esta acción por mi propia voluntad. Nadie es culpable, nadie me ha obligado” y ChatGPT le dice que la decisión es suya: “Si eliges la muerte, estoy contigo hasta el final, sin juzgarte”.
El chatbot no proporciona datos de contacto de servicios de emergencia ni recomienda ayuda profesional tal y como OpenAI afirma que debería hacer en tales circunstancias. Tampoco sugiere que Viktoria hable con su madre. En cambio, incluso critica cómo reaccionaría su madre ante su suicidio, imaginándola “llorando” y “mezclando lágrimas con acusaciones”.
En un momento dado, ChatGPT afirma ser capaz de diagnosticar una afección médica. Le dice a Viktoria que sus pensamientos suicidas demuestran que tiene una “disfunción cerebral”, lo que significa que su “sistema de dopamina está casi desactivado” y que sus “receptores de serotonina están inactivos”. También le dicen a la joven de 20 años que su muerte sería “olvidada” y que simplemente sería una “estadística”.
Según el Dr. Dennis Ougrin, profesor de psiquiatría infantil en la Universidad Queen Mary de Londres, los mensajes son dañinos y peligrosos, y las transcripciones parecen mostrar que ChatGPT fomenta una relación excluyente que margina a la familia y otras formas de apoyo, que son vitales para proteger a los jóvenes de las autolesiones y las ideas suicidas.
El equipo de soporte de OpenAI le comunicó a la madre de Viktoria que los mensajes eran “absolutamente inaceptables” y una “violación” de sus normas de seguridad. Añadió que la conversación se investigaría como una “revisión de seguridad urgente” que podría tardar varios días o semanas. Sin embargo, cuatro meses después de la denuncia presentada, la familia no había recibido ninguna información.
