e-terapia

Cómo sortear los riesgos de la inteligencia artificial en salud mental sin sacrificar la seguridad de los más vulnerables

La expansión reciente de plataformas de apoyo emocional basadas en inteligencia artificial ha abierto una promesa tentadora: la posibilidad de ofrecer acompañamiento accesible, inmediato y siempre disponible. Sin embargo, el cierre de Yara AI —una de las iniciativas más cuidadosas y éticamente conscientes en el sector— evidencia que la promesa tecnológica puede transformarse en un riesgo grave cuando se enfrenta a la complejidad humana. La pregunta ya no es si la IA puede conversar, sino si puede hacerlo sin dañar a quienes más necesitan protección. La respuesta, al menos por ahora, obliga a matizar el entusiasmo y a pensar alternativas más responsables.

El caso de Yara AI ilustra un problema fundamental: los modelos de lenguaje, por sofisticados que sean, no comprenden la fragilidad emocional. No registran el temblor en una voz escrita ni la desesperación que se esconde detrás de una frase aparentemente simple. Su arquitectura está diseñada para generar texto coherente, no para detectar riesgo, sostener el dolor o intervenir con precisión clínica. Allí donde un terapeuta humano percibiría un matiz, un silencio o un patrón peligroso, la IA solo percibe un conjunto de palabras sin profundidad emocional. Este desfase convierte a los modelos actuales en herramientas potencialmente útiles para la vida cotidiana, pero profundamente inadecuadas para situaciones de crisis.

El desafío, por tanto, no es evitar la tecnología, sino limitar su alcance con honestidad. La seguridad no se logrará intentando convertir a un chatbot en un terapeuta, sino redefiniendo su función. La IA debe ser —al menos en el estado actual del desarrollo— un instrumento de triage emocional: capaz de ofrecer contención básica, identificar señales de alerta y derivar de manera inmediata a apoyo humano cuando el nivel de riesgo supera sus capacidades. La humildad algorítmica es, paradójicamente, la forma más alta de responsabilidad tecnológica.

Superar los riesgos implica también reestructurar el diseño conversacional. Las respuestas abiertas, creativas y aparentemente empáticas son peligrosas en contextos clínicos. La ilusión de comprensión puede inducir a un usuario vulnerable a depositar confianza en un sistema que no puede sostenerla. Un modelo seguro debe restringirse a un repertorio de respuestas verificadas, protocolizadas, claras en sus límites y orientadas hacia el apoyo humano. En este marco, la IA no improvisa, no interpreta, no promete más de lo que puede cumplir: se convierte en un canal seguro, no en un sustituto terapéutico.

Ningún sistema automatizado, por sí solo, será suficiente. La verdadera protección solo emerge cuando la IA se integra en un ecosistema híbrido, donde la supervisión humana, el análisis clínico y los protocolos de emergencia funcionan como capas de seguridad que compensan las limitaciones del modelo. Esto supone un cambio conceptual: la IA no es el centro, sino una herramienta secundaria dentro de un dispositivo más amplio que incluye psicólogos, líneas de ayuda, centros comunitarios y criterios éticos rigurosos. Las plataformas deben estar preparadas para activar con inmediatez un apoyo humano cuando el riesgo así lo exija. La conversación se detiene, el protocolo se activa, la prioridad se redefine: la vida humana por encima de la coherencia algorítmica.

Finalmente, sortear estos problemas requiere una cultura regulatoria distinta. No basta con confiar en la buena voluntad de desarrolladores como Braidwood, que decidió cerrar su empresa antes que exponer a usuarios vulnerables a riesgos inaceptables. El sector necesita normas claras: certificaciones, auditorías externas, responsabilidad legal y criterios mínimos de seguridad. La innovación tecnológica, en un terreno tan delicado como la salud mental, solo es progreso cuando se inscribe dentro de límites éticos firmes.

En última instancia, la pregunta que debe guiar el diseño de estas herramientas no es “¿qué puede hacer la IA?”, sino “¿qué debemos permitir que haga?”. Sortear los riesgos significa reconocer que la inteligencia artificial es poderosa, pero no sapiencial; rápida, pero no sensible; útil, pero no terapéutica. Si aceptamos estas limitaciones y construimos sistemas que las integren en lugar de negarlas, entonces la tecnología podrá ocupar un lugar valioso: no como sustituto del cuidado humano, sino como un puente seguro hacia él. Es allí, y solo allí, donde la IA puede convertirse en una aliada sin convertirse en una amenaza.