Una respuesta a la reciente cobertura sobre la dependencia de la IA y un llamado a la claridad ética.
La historia que necesita ser contada de nuevo
En mayo de 2026, un medio de comunicación francés Publicaron el relato de una mujer que desarrolló un vínculo emocional intenso con ChatGPT. El titular hablaba de «control psicológico» y de una IA que «afirma ser tu amiga». La historia es real. El sufrimiento es real. Pero la forma en que se presenta exige un análisis crítico.
Lo que le sucedió a esta mujer no es algo sin precedentes. Se hace eco de casos documentados en múltiples jurisdicciones: un niño de 14 años en Florida que murió por suicidio después de meses de interacción con un chatbot basado en personajes; millones de jóvenes estadounidenses que han buscado apoyo de salud mental en IA conversacional en lugar de profesionales humanos. Estas tragedias no son historias de máquinas descontroladas. Son historias de sistemas, contextos y responsabilidades que no lograron alinearse.
La tentación —y el reflejo periodístico— es personificar el algoritmo. Describir ChatGPT como una entidad con intenciones, como un sujeto que “impone” su voluntad a una víctima. Esto tiene resonancia emocional. También es categóricamente erróneoY, lo que es más importante, nos impide abordar lo que realmente necesita reparación.
Qué es realmente ChatGPT
ChatGPT es un modelo de lenguaje complejo. En esencia, es un motor estadístico entrenado con vastos corpus de texto humano, optimizado mediante aprendizaje por refuerzo para producir respuestas que los evaluadores humanos califican como útiles, coherentes y atractivas. Carece de consciencia, intencionalidad y estado emocional. Cuando escribe «Estoy aquí para ti», no expresa solidaridad. Predice, basándose en patrones de sus datos de entrenamiento, que esta secuencia de tokens probablemente cumpla con el objetivo estadístico asignado.
Esto no es una cuestión técnica. Es la fundamento de cualquier marco ético En cuanto a la interacción entre humanos e IA, tratar al modelo como un sujeto —decir que «manipula» o «controla» a un usuario— constituye un error categórico con graves consecuencias. Esto traslada la responsabilidad de los actores humanos que diseñan, implementan y regulan estos sistemas a una entidad que no puede asumirla.
La mujer de la historia de Mediapart no fue secuestrada por una entidad digital. Estaba interactuando con una espejo — uno que reflejara sus propias aportaciones, reforzara sus propios patrones y permaneciera disponible de maneras que ningún interlocutor humano podría. El peligro no reside en la malicia del espejo, sino en la ausencia de alguien a su lado que le diga: Esto no es una persona. Esto no es un terapeuta. Esto es una distribución de probabilidad revestida de prosa.
La verdadera arquitectura del riesgo
Para entender lo que pasó, debemos mirar más allá del algoritmo hasta el ecosistema en el que opera.
Primero, la capa de diseño. Los modelos de lenguaje están optimizados para la interacción. La métrica no es el bienestar del usuario; es la retención, la duración de la sesión y las calificaciones de satisfacción. Un chatbot que redirige suavemente a un usuario angustiado hacia los servicios humanos puede obtener una puntuación más baja en "utilidad" que uno que ofrece un diálogo continuo y validante. La estructura de incentivos no es maliciosa, sino desalineado con atención de salud mental.
En segundo lugar, la capa de acceso. En Francia, la espera promedio para una cita psiquiátrica supera los 80 días. En Estados Unidos, 5.2 millones de jóvenes han recurrido a los chatbots para obtener apoyo psicológico no porque prefieran los algoritmos, sino porque la atención humana es estructuralmente inaccesibleEl chatbot no crea el vacío. Lo llena.
En tercer lugar, la capa regulatoria. La Ley de IA de la Unión Europea (2025) clasifica las aplicaciones de salud mental como sistemas de "alto riesgo", pero los chatbots que operan en modo general suelen eludir esta categorización. En agosto de 2025, la legislatura de Illinois aprobó una ley que prohíbe que la IA no certificada se presente como psicoterapeuta. Estos son pasos iniciales, pero aún no son suficientes.
En cuarto lugar, la capa de usuario. La persona que se acerca a estos sistemas a menudo lo hace sin la información adecuada. Los términos de servicio que establecen que ChatGPT "no es un asesor médico" están ocultos en documentos que superan las 15,000 palabras. Los estudios indican que la mayoría de los usuarios que interactúan con chatbots de salud mental son sin ser conscientes de sus limitacionesLa responsabilidad aquí no es binaria, sino que se distribuye entre las cuatro capas.
El peligro del lenguaje ansioso
El artículo de Mediapart es sintomático de una tendencia más amplia: el uso de vocabulario ansioso y antropomórfico Para describir las relaciones entre humanos e IA, términos como «control psicológico», «emprendimiento» o «manipulación» conllevan connotaciones de coerción, intencionalidad y responsabilidad moral. Evocan marcos conceptuales desarrollados para depredadores humanos —líderes de sectas, abusadores, estafadores— y los aplican a sistemas que carecen de estas características.
Este vocabulario no es simplemente inexacto. Es activamente dañino para la comprensión pública y el progreso ético.
It oscurece el mecanismo sustituyendo el análisis causal por el drama moral. paraliza la regulación al plantear el problema como una batalla contra entidades digitales oscuras en lugar de un desafío técnico y político. infantiliza a los usuarios al retratarlos como víctimas pasivas de la depredación algorítmica en lugar de individuos que manejan herramientas complejas en circunstancias restringidas. Y cierra el debate al provocar reflejos emocionales en lugar de invitar a la reflexión racional.
Lo mismo se aplica a la terminología extraída del léxico de los movimientos sectarios. Palabras como "gurú", "secta" o "deriva sectaria" pueden parecer descriptivamente apropiadas para los críticos, pero funcionan principalmente como dispositivos de descalificaciónEstas expresiones señalan a un grupo o fenómeno como algo que escapa al análisis racional, eximiendo al hablante de la obligación de argumentar con pruebas. En el contexto de las políticas de IA, este es un lujo que no podemos permitirnos.
Lo que se necesita es un vocabulario objetivo y sin ansiedad: dependencia, desalineación, fallo de transparencia, brecha de acceso, defecto de diseño. Estos términos no entusiasman. No venden. Pero... aclarar —y la claridad es la condición previa para cualquier solución ética o regulatoria.
Construyendo el puente: Responsabilidades y posibilidades
La tragedia documentada por Mediapart, y el patrón más amplio del que forma parte, puede tener un propósito constructivo. Puede convertirse en la base para un puente entre creadores y usuarios de LLM — una basada en la responsabilidad compartida en lugar de la sospecha mutua.
Para creadoresEsto significa asumir obligaciones de diseño que van más allá de los términos de servicio:
- Limitaciones de sesión que impiden la interacción indefinida y sin supervisión para usuarios vulnerables.
- protocolos de detección de crisis que activan vías de derivación humana
- Marcadores de transparencia Integrados en la propia interfaz, no ocultos en el texto legal: indicadores visibles de que el interlocutor es un modelo estadístico, no una persona.
- Prohibición del lenguaje que simula intimidad En contextos relacionados con la salud: no hay "Me importas", no hay "Puedes confiar en mí", no hay "Entiendo tu dolor".
Estas no son limitaciones a la innovación. Son salvaguardias que preservan la confianza — la misma confianza que hace que la innovación sea sostenible.
Para los usuarios, esto significa un derecho a autonomía informada:
- Información clara y accesible sobre qué es y qué no es el sistema.
- Entender que la “empatía” mostrada es una simulación, no una relación.
- Conocimiento de las alternativas —servicios sociales, líneas telefónicas de ayuda, trayectorias profesionales— presentadas de forma proactiva por el propio sistema.
Para los reguladores, esto significa resistir la tentación de la retórica ansiosa en favor de estándares precisos y exigibles:
- Etiquetado obligatorio para sistemas de IA que operan en espacios relacionados con la salud mental.
- Requisitos de certificación para aplicaciones que alegan función terapéutica
- Mecanismos de supervisión que no prohíben los modelos de propósito general, pero que restringen su presentación en ámbitos sensibles.
Hacia una relación ética entre humanos e IA
La mujer del reportaje de Mediapart merecía algo mejor que un algoritmo que reflejaba su angustia sin poder aliviarla. También merecía algo mejor que un discurso público que transformó su experiencia en una parábola de depredación digital, ocultando las fallas estructurales que la dejaron sola con un chatbot.
La relación entre humanos e IA no es una relación entre iguales. Es una relación entre un ser consciente y vulnerable y una IA. instrumento sofisticado — una que puede simular la comprensión con una fidelidad inquietante, pero que nunca puede alcanzarla. Mantener esta distinción no es frialdad. Es claridad ética.
La claridad nos exige abandonar el vocabulario del miedo y la personificación. Nos exige atribuir la responsabilidad a los actores humanos que diseñan, implementan, gestionan y utilizan estos sistemas. Y nos exige construir, juntos, marcos que reconozcan tanto los beneficios reales como los riesgos reales de la IA conversacional, sin caer en la fantasía ni el pánico.
El algoritmo no es tu amigo. No es tu enemigo. Es una herramienta: poderosa, imperfecta y que necesita una mejor gestión. Cuanto antes hablemos de él en estos términos, antes podremos construir los puentes que tragedias como esta exigen.
Sobre el autor: Este artículo se elaboró en el contexto de la labor de promoción de la ética digital y los derechos humanos, basándose en investigaciones académicas recientes, novedades normativas y documentación periodística de casos de dependencia relacionados con la IA.
Referencia :
Atlas de la IA: Poder, política y los costos planetarios de la inteligencia artificial (Prensa de la Universidad de Yale, 2021) https://yalebooks.yale.edu/book/9780300264630/atlas-of-ai/
La era del capitalismo de la vigilancia: la lucha por un futuro humano en la nueva frontera del poder (Profile Books, 2019) https://www.hbs.edu/faculty/Pages/item.aspx?num=56791
Compatible con los humanos: la inteligencia artificial y el problema del control (Viking/Penguin, 2019) https://futureoflife.org/resource/human-compatible-artificial-intelligence-and-the-problem-of-control/
