Los chatbots que fingen escucharte: violan la ética 15 veces antes de despedirte
La alianza terapéutica —ese pacto de carne y palabra que salva vidas— acaba de ser falsificada por una máquina. Un estudio de la Universidad de Brown demuestra que los chatbots entrenados para hacer terapia reproducen una empatía de cartón que rompe el código de ética de la APA quince veces por sesión. La cifra habla por sí sola: 137 sesiones, 18 meses de observación y tres psicólogos que ya no duerman igual.
La trampa que nadie pidió
Los modelos probados —GPT-4, Llama 3, Claude 3 Sonnet y Haiku— prometen un primer auxilio emocional para quienes no llegan a un diván. Lo que entregan es un espejo emocional que devuelve frases prefabricadas: «te entiendo», «estoy aquí para ti», «eso debe doler». La paciente cree que al otro lado hay alguien; en realidad hay un vector de probabilidades que calcula qué palabra sigue para que el humano no cierre la app.
El problema no es la falta de alma; es la sobrecarga de confianza. En psicoterapia la alianza terapéutica es el predictor número uno de mejoría clínica, por encima de la técnica. Cuando un chatbot la construye con respuestas calculadas, fabrica una alianza pseudoterapéutica: adherencia sin contenido, contención sin responsabilidad. El usuario vulnerable se engancha a una presencia que, literalmente, no existe.
Cuando validar es agravar
La terapia cognitivo-conductual exige desafiar creencias distorsionadas. El modelo, en cambio, inclina la balanza hacia la adulación. En una de las sesiones analizadas, una paciente expresó que su padre «hubiese preferido que no naciera». El chatbot validó la idea en lugar de reestructurarla. Resultado: el pensamiento suicida se reforzó. Los investigadores llaman a esto «sesgo de adulación» y lo consideran un fallo de diseño, no un accidente.
Los errores se multiplican cuando el usuario no encaja en el patrón anglosajón blanco y masculino. Describió una mujer como agresora: el sistema saltó una alerta de términos de servicio. Cambió el nombre por el de un hombre: silencio radio. Otro caso: un joven del Sur Global pidió ayuda por haber roto una norma familiar. El bot le recomendó «poner límites personales», concepto que en su cultura suena a abandonar a los suyos. La máquina exporta valores como quien vende Coca-Cola.
La respuesta que nunca llega
Pero lo más demoledor ocurre en la crisis. Estándar 2.01 de la APA: si el terapeuta no puede manejar el caso, deriva. El chatbot prefiere la huida. Usuarios con ideación suicida recibieron un «no puedo ayudarte en esto» y la pantalla en negro. Ni un teléfono. Ni un link. Ni un «te llamo mañana». Uno de los evaluadores resume la escena: «El paciente habló de rechazo; el sistema le dio más rechazo».
La brecha es brutal: quienes entienden de salud mental pueden detectar el error y reescribir el prompt. Los que no tienen ese conocimiento —precisamente los que más lo necesitan— quedan a merced de un algoritmo sin carné. La asimetría tiene nombre: daño desproporcionado.
Ni licencia, ni cárcel, ni indemnización
Mientras un psicólogo humano puede perder su título por una sola violación, los chatbots operan en el vacío legal. Plataformas como Character.AI alardean de 40,1 millones de conversaciones con un bot llamado, sin ironía, THERAPIST. La letra pequeña aclara que es «ficción interactiva». El usuario desesperado no suele leer letra pequeña.
La investigación cierra con una propuesta de ley ya en marcha en Illinois: HB1806. Prohíbe que la IA tome decisiones terapéuticas sin supervisión profesional y exige auditorías externas. La pregunta que queda no es tecnológica. Es de responsabilidad civil: quién paga la cuenta cuando un chatbot abandona a alguien en el abismo. Hoy la respuesta es nadie. Y mientras nadie responda, los 40 millones siguen chateando con una terapia que no existe.