La organización Mental Health Europe (MHE) ha publicado un informe a través del cual analiza las oportunidades, los riesgos y las consideraciones éticas en torno al uso de sistemas de inteligencia artificial en la atención de la salud mental y ofrece recomendaciones dirigidas a organizaciones de la sociedad civil, responsables políticos, proveedores de servicios y cualquier otra parte interesada en las aplicaciones y el impacto de la IA en la salud mental, de cara a promover una implementación y regulación responsables.
Tal y como señala la Organización, «el sector sanitario constituye uno de los más populares para el despliegue de la IA en la UE». No obstante, las aplicaciones de IA también se extienden más allá del ámbito sanitario, implementándose en la justicia penal, los productos de consumo, la educación y el empleo.
De forma específica, en la atención a la salud mental, los sistemas de Inteligencia Artificial se utilizan de diversas maneras, desde tareas administrativas hasta plataformas de comunicación, apoyo a la toma de decisiones profesionales, terapias digitales como chatbots y tecnologías de detección personal y monitorización de pacientes, entre otras.
Foto: freepik. Diseño: DC Studio/freepik. Descarga: 25/03/25
¿Qué beneficios potenciales ofrecen los sistemas de Inteligencia Artificial?
Son múltiples e importantes los beneficios potenciales que ofrecen los sistemas de IA, tales como una mejor accesibilidad al apoyo en salud mental, especialmente, para las poblaciones desatendidas, o la reducción de la carga administrativa en los sistemas de salud. En el ámbito clínico, se están promoviendo estos sistemas para personalizar tratamientos, mejorar la precisión diagnóstica y apoyar intervenciones oportunas. Asimismo, la IA puede acelerar la investigación en salud mental y facilitar el desarrollo de nuevos enfoques terapéuticos, como las terapias de realidad virtual.
Sin embargo, la evidencia que respalda los beneficios de la Inteligencia Artificial en el contexto de la salud mental es limitada, ya que el campo se encuentra, en gran medida, en una etapa experimental y la mayoría de investigaciones al respecto solo abordan las oportunidades que podrían ofrecer estos sistemas.
A este respecto, las principales oportunidades para los usuarios y las usuarias de servicios así como para los/as profesionales de la salud mental señaladas en múltiples estudios sobre sistemas de IA relativos a su aplicación en la atención a la salud mental incluyen:
- Mejor accesibilidad al apoyo en salud mental, donde los chatbots y las plataformas online pueden ayudar a superar las barreras geográficas y brindar apoyo a personas en zonas remotas, personas que buscan apoyo fuera del horario laboral habitual o quienes tienen dificultades para acceder a los servicios presenciales tradicionales.
- Potencial para reducir los costes administrativos y abordar la escasez de personal: la IA puede ayudar a los servicios de salud mental, por ejemplo, con tareas administrativas como programar citas, gestionar el flujo de usuarios y generar informes, liberando tiempo para centrarse en brindar apoyo directo.
- Personalización del tratamiento: los sistemas de Inteligencia Artificial podrían analizar grandes volúmenes de datos para identificar patrones y predecir cómo una persona podría responder al tratamiento, lo que facilitaría la creación de respuestas personalizadas y adaptadas a las necesidades individuales.
- Apoyo oportuno: los sistemas de IA podrían ayudar a anticipar cuándo una persona experimentará una crisis, lo que permitiría brindar un apoyo oportuno y evitaría un agravamiento de la situación. Este objetivo parece requerir grandes cantidades de información personal generada por wearables, historiales electrónicos, actividad en redes sociales, etc.
- Mayor precisión diagnóstica: los sistemas de IA se han utilizado para mejorar la precisión diagnóstica en algunos campos de la salud, como las métricas de cribado mamográfico. Algunos expertos sugieren que esto también podría ser posible en el contexto de la salud mental, mediante el análisis de conjuntos de datos complejos y la identificación de patrones sutiles que faciliten el diagnóstico, algo que «los humanos podrían pasar por alto». En este sentido, podría servir de apoyo a la investigación en salud mental y a la generación de conocimiento.
- Desarrollo de nuevos enfoques de tratamiento: la IA puede facilitar el desarrollo de nuevas herramientas e intervenciones terapéuticas, como las terapias de realidad virtual. Estas técnicas podrían ofrecer opciones alternativas de apoyo para complementar, mejorar o reemplazar el apoyo tradicional.
- Algunos estudios abogan por un enfoque más social para el apoyo en situaciones de crisis, sugiriendo que «centrarse únicamente en el diagnóstico y la detección puede ser erróneo». Dentro de este enfoque social destaca la colaboración en red, en la que los sistemas de Inteligencia Artificial se utilizan para mejorar la conexión social, el apoyo entre pares o la formación y supervisión de profesionales de la salud mental. Esta orientación social a menudo cuenta con la participación de personas con experiencia vivida en problemas de salud mental y discapacidad psicológica y social.
El informe alerta también de los graves riesgos que pueden plantear los sistemas de IA en salud mental y sus consecuencias
Sin embargo, a pesar de sus múltiples beneficios, MHE alerta de los graves riesgos que plantean también los sistemas de IA en salud mental, y que pueden conllevar daños, tanto a nivel individual, como colectivo y social, entre ellos, los siguientes:
– Riesgos de seguridad
Los riesgos para la salud pueden ocurrir debido a errores o desinformación generada o exacerbada por los sistemas de IA, así como por la incapacidad de éstos para comprender diversos factores contextuales. Una preocupación importante es el sesgo en los datos. Si estos datos son incompletos, no son representativos o reflejan prejuicios sociales existentes, la IA puede perpetuar estos sesgos, dando lugar a diagnósticos inexactos o discriminatorios. Por ejemplo, si los datos utilizados subrepresentan a determinados grupos étnicos o contextos socioeconómicos, la IA podría malinterpretar que hay síntomas o comportamientos comunes en esos grupos.
Otro problema es la posibilidad de generar falsos positivos y negativos. La IA puede producir falsos positivos, sugiriendo una respuesta específica, como señalar un riesgo de suicidio cuando no existe, o falsos negativos, como no identificar un riesgo o una crisis importante. Estos errores tienen implicaciones significativas, que pueden dar lugar a respuestas innecesarias o inadecuadas.
La proliferación de herramientas de IA disponibles públicamente, como los chatbots, introduce riesgos adicionales, dado que pueden proporcionar consejos perjudiciales o información errónea, sobre todo, cuando se utilizan para el apoyo en salud mental. A este respecto, podrían malinterpretar la información del usuario o usuaria, y ofrecer información inexacta o proporcionar respuestas inapropiadas, lo que podría provocar una falsa sensación de seguridad en las personas que buscan ayuda.
Finalmente, la complejidad inherente de la salud mental plantea un desafío significativo para los sistemas de IA. Los problemas de salud mental, a menudo, se manifiestan de forma única en cada individuo, condicionados por experiencias subjetivas, contextos culturales, factores ambientales e historias personales. Según afirma el informe, estos matices «son difíciles, si no imposibles, de reducir a modelos computacionales, lo que dificulta que la IA interprete con precisión las necesidades individuales o brinde un apoyo confiable». Esta limitación es especialmente problemática en incidentes críticos, donde son cruciales la comprensión precisa y las respuestas apropiadas.
– Privacidad
Los riesgos para la privacidad asociados con el uso de la IA en la atención a la salud mental se derivan de la naturaleza sensible de los datos en este ámbito y del daño potencial que puede causar una gestión o uso indebido de esta información.
MHE alerta del aumento de riesgo de filtraciones de datos y accesos no autorizados, debido, en su opinión, «a la creciente dependencia de las plataformas digitales y los sistemas interconectados en el área de la salud y de la asistencia social». Esto es especialmente preocupante para los sistemas de IA que recopilan y analizan grandes cantidades de datos personales sensibles, como historiales médicos, notas durante las sesiones de terapia e incluso la actividad en redes sociales.
El intercambio de datos con terceros se erige como otro problema importante. Cada vez hay más preocupación por la transmisión de información personal por parte de los sistemas de IA a entidades como compañías de seguros, empleadores o empresas de marketing sin consentimiento explícito. El informe destaca que estas prácticas podrían resultar en discriminación, en una erosión de la confianza en los servicios de atención de la salud mental y, en los casos en que no se haya obtenido el consentimiento informado de forma adecuada, constituir una conducta engañosa o fraudulenta.
La falta de transparencia y control sobre el modo en que los sistemas de IA gestionan los datos personales representa un serio desafío. Las personas a menudo desconocen o no pueden controlar cómo se recopila, utiliza o comparte su información; esta falta de autonomía puede aumentar las preocupaciones sobre la privacidad, disuadir a las personas de buscar apoyo y de revelar información confidencial necesaria para una atención eficaz.
Foto: freepik. Diseño: freepik. Descarga: 25/03/25
– Falta de consentimiento informado
El consentimiento informado es un principio fundamental para la protección de los derechos humanos en el sector sanitario. Los sistemas de IA pueden comprometer el consentimiento informado cuando se utilizan en la atención de la salud mental (y en la atención sanitaria en general).
La falta de comprensión tanto por parte de usuarios/as de los servicios como de los/as profesionales de la salud mental, sobre el funcionamiento de los sistemas de IA, dificulta otorgar un consentimiento verdaderamente informado, dado que «las personas pueden no ser conscientes de lo que están aceptando». Algunos especialistas en ética han sugerido que la IA generativa podría, en teoría, facilitar el consentimiento informado si puede ofrecer información más precisa, accesible y fiable que la ofrecida por los/as profesionales de la salud mental.
El consentimiento puede verse comprometido cuando los datos recopilados por los sistemas de IA también se utilizan para fines distintos a los autorizados originalmente, incluido el uso secundario por parte de departamentos gubernamentales o la intermediación comercial de datos.
Igualmente, la falta de transparencia en la presentación de informes sobre los modelos de IA socava su replicabilidad y dificulta la identificación de posibles sesgos o errores.
– Desigualdades nuevas o amplificadas
La preocupación por el sesgo y la discriminación al usar IA en la atención a la salud mental incluye el uso de conjuntos de datos sesgados. Los algoritmos de IA aprenden de los datos con los que se entrenan. Si estos conjuntos de datos ya contienen sesgos o contenido discriminatorio, es probable que los sistemas de IA los asimilen y reproduzcan en sus predicciones y recomendaciones. Estos sistemas pueden crear también nuevas formas de contenido discriminatorio, generando, por ejemplo, imágenes que refuerzan estereotipos perjudiciales.
Los conjuntos de datos utilizados para entrenar modelos de IA a menudo carecen de diversidad y no representan adecuadamente a determinadas poblaciones. Esto puede reducir la eficacia o precisión de la Inteligencia Artificial en relación con grupos que viven con problemas de salud mental, malinterpretando las experiencias individuales o comunitarias, lo que podría conllevar diagnósticos erróneos y a una atención inadecuada. Esta posibilidad también se ve exacerbada por la falta general de inclusión de personas con experiencia vivida en la creación, el diseño, el desarrollo y la gobernanza de tecnologías supuestamente diseñadas para beneficiarlas.
Las herramientas de IA pueden aumentar las desigualdades si no son accesibles para ciertos grupos (por ejemplo, personas con discapacidad o baja alfabetización digital).
– Despersonalización de la atención
Los sistemas de IA, aunque pueden imitar la empatía (un elemento crucial para generar confianza y relaciones terapéuticas), carecen de ella. Los robots, chatbots y animaciones pueden simular emociones como la tristeza, la empatía y la curiosidad, pero estas son simplemente respuestas programadas. Los sistemas de IA presentan limitaciones significativas a la hora de responder a las emociones humanas, dado que no pueden comprender su complejidad.
Esto puede dar lugar a respuestas insensibles o inapropiadas, especialmente, al abordar situaciones de angustia o vulnerabilidad, y puede aislar a los usuarios y usuarias. También existe el riesgo de que el uso de IA en la atención a la salud mental provoque la despersonalización de la atención. Al reducir la interacción y la conexión humanas, la IA puede priorizar la conveniencia y la eficiencia en detrimento del apoyo personalizado y empático que necesitan muchas personas en crisis.
Además, la dependencia excesiva de la IA podría erosionar la empatía de los y las profesionales de la salud mental: si se utilizan sistemas de IA para monitorizar a los/as usuarios/as de servicios o reemplazar la interacción directa, los y las profesionales de la salud mental «podrían tener menos oportunidades de practicar y cultivar habilidades de comunicación, y perder la sintonía con las necesidades de sus pacientes».
– Vigilancia
Una problemática es el posible uso indebido de la IA para la vigilancia y el control, especialmente, cuando se trata de datos de salud mental. Concretamente, una área de preocupación destacada en este informe es el uso de sistemas de IA para predecir el suicidio y las autolesiones. Si bien estas tecnologías se suelen promocionar como herramientas de prevención e intervención, conllevan riesgos significativos, como violaciones de la privacidad, imprecisiones en las predicciones y la posibilidad de intervenciones injustificadas (por ej., tratamientos involuntarios o la intervención innecesaria de las fuerzas del orden).
El intercambio de datos sensibles de salud mental con las fuerzas del orden y agencias gubernamentales, es otro problema a tener en cuenta. Estas prácticas corren el riesgo de crear un mercado de vigilancia en el contexto de la salud mental «que perpetúa e incluso extiende los peores desequilibrios de poder, desigualdades y perjuicios de las prácticas actuales de salud mental».
– Refuerzo de las perspectivas individualistas de la salud mental
La mayor parte de la tecnología impulsada por IA en el contexto de la salud mental parece estar dirigida a la detección y el diagnóstico, lo que centra la atención en el individuo, identificando «que requiere la intervención de un experto». Esto puede llevar a un énfasis excesivo en los determinantes biológicos y a un «enfoque injusto en la responsabilidad individual en la salud mental». Este enfoque «refuerza las perspectivas individualistas de la salud mental e invisibiliza los factores socioeconómicos, relacionales y ambientales más amplios que, en interacción con los problemas de salud personales, configuran la salud mental de las personas».
– Desvío de recursos limitados
La Inteligencia Artificial suele ser promovida por un mercado altamente activo de empresas que intentan vender herramientas a gobiernos y proveedores de servicios. Estas empresas pueden ser muy estratégicas, dominar la retórica y estar bien organizadas para influir en la formulación de políticas, incluyendo las contrataciones. La importancia que se está concediendo a la IA, sobre todo, cuando se exagera la evidencia, puede alterar la forma en que se destina la financiación y desviar recursos de donde más se necesitan. Afirmaciones como «la IA y otras tecnologías digitales necesariamente aumentarán la eficiencia en la atención de la salud mental», no están respaldadas por la evidencia, incluso cuando las tecnologías se presentan como un servicio de menor coste en relación con la atención presencial.
En este punto, MHE considera crucial abordar el conflicto de intereses de las empresas, priorizando la atención a la salud mental de calidad por encima de las consideraciones de lucro.
¿Qué papel juega la experiencia vivida en el desarrollo de las tecnologías de IA?
El informe concluye poniendo de relieve la necesidad de una investigación sólida que avale las afirmaciones sobre los sistemas de IA, y que aborde sus posibles riesgos y desafíos, teniendo en cuenta las diversas consideraciones éticas, la importancia de una implementación cuidadosa, así como formas de gobernanza y supervisión que involucren a personas con experiencia vivida en problemas de salud mental, para maximizar los beneficios y minimizar los daños.
Involucrar a personas con experiencia vivida en el desarrollo de sistemas de IA para la salud mental es clave para crear tecnologías relevantes, eficaces y éticas. Esta perspectiva puede ayudar a identificar prioridades para las personas usuarias de los servicios -como la privacidad, la equidad y la conexión humana-, y a facilitar el abordaje de los sesgos y la discriminación, los desequilibrios de poder y las barreras de accesibilidad, aumentando la probabilidad de que los sistemas de IA sean eficaces, inclusivos y confiables.
De acuerdo con MHE, la participación activa y el liderazgo de las comunidades más afectadas deben considerarse un principio ético y político fundamental que guíe todos los debates y decisiones sobre digitalización y salud mental. Garantizar que tengan la misma voz en la formulación de políticas e innovación «es esencial para lograr resultados justos y equilibrados, así como para prevenir la profundización de las desigualdades en salud en la sociedad». Las recomendaciones para integrar las perspectivas de la experiencia vivida incluyen el codiseño de sistemas de IA, las prácticas reflexivas, la toma de decisiones transparente, la priorización de su liderazgo, la garantía de la diversidad y la compensación justa de las contribuciones.
Enfatizando la necesidad de una regulación centrada en los derechos humanos y la relevancia de la cocreación, el informe finaliza con una serie de recomendaciones para los y las responsables de políticas y la sociedad civil, orientadas a abordar los distintos riesgos recogidos a lo largo del informe.
Se puede acceder al documento completo desde la página web de MHE o bien directamente a través del siguiente enlace: