31Evidencia A

No esperes que un chatbot de IA, por sí solo, juzgue una enfermedad o un problema legal: antes de ir al médico, a juicio o de gastar mucho dinero, busca el original en que se apoya y compruébalo

Si se le da a una IA el caso completo, nueve de cada diez veces o más nombra la enfermedad correcta. Pero la gente corriente que le pregunta por sus síntomas acierta la enfermedad menos que quien buscó por internet, y no decide mejor si hay que ir a urgencias. En preguntas legales, una IA de uso general inventa contenido en al menos el 58 % de sus respuestas y sigue el hilo de una premisa errónea que venga en tu pregunta.

Coste

No cuesta nada. Cada comprobación lleva de unos minutos a…

Beneficio

Un ensayo aleatorizado publicado en 2026 en Nature Medicine incluyó a 1298 personas de la población general de…

Coste

No cuesta nada. Cada comprobación lleva de unos minutos a media hora. Pide a la IA que escriba la ley, la guía clínica o el artículo en que se apoya, abre tú mismo el original y busca esa frase. El hábito que hay que cambiar es hacer caso solo porque suena seguro.

Beneficio

Un ensayo aleatorizado publicado en 2026 en Nature Medicine incluyó a 1298 personas de la población general del Reino Unido, con protocolo registrado previamente. Cada participante recibió dos casos simulados y debía identificar la enfermedad y decidir si acudir a urgencias o quedarse en observación en casa. Un grupo contó con la ayuda de chatbots de IA (GPT‑4o, Llama3, CommandR+), mientras que el grupo de control utilizó sus métodos habituales, mayormente búsquedas en internet o consultas en la página web del Servicio Nacional de Salud británico. Cuando se entregaba el caso completo directamente a la IA, identificaba una enfermedad relevante en el 94,9% y elegía correctamente el lugar de atención en el 56,3%. En cambio, los usuarios comunes con la misma IA identificaron la enfermedad en menos del 34,5% de los casos y acertaron a dónde ir en menos del 44,2%. El grupo de control reconoció la enfermedad relevante con más frecuencia que quienes usaron IA: razón de momios 1,76 (IC 95% 1,45–2,13). Para reconocer enfermedades graves con señales de alarma, la razón de momios fue 1,57 (1,28–1,92). En cuanto a la elección del lugar de tratamiento, ambos grupos obtuvieron resultados similares. Los autores analizaron los diálogos y constataron que el problema radicaba en dos aspectos: los usuarios no describían todos los síntomas y, cuando la IA señalaba la enfermedad correcta, los usuarios no la tomaban en cuenta. En el ámbito legal, un equipo estadounidense preguntó en 2024 a modelos públicos como ChatGPT‑4 por casos de los tribunales federales estadounidenses y comprobó que el 58% de sus respuestas contenían información inventada; en el caso de Llama2, ese porcentaje alcanzaba el 88%. La invención es contenido que no coincide con los hechos jurídicos, que el artículo denomina “alucinación”. Los modelos no distinguen qué afirmaciones propias son inventadas. Cuando el usuario plantea premisas legales erróneas, la IA suele aceptarlas sin cuestionarlas. El mismo equipo evaluó en 2025 herramientas de IA jurídica especializadas para abogados; aunque se promocionan como libres de alucinaciones, entre el 17% y el 33% de sus respuestas resultaron ser falsas. Su aparente rentabilidad se debe a que están disponibles en todo momento, no cobran y expresan sus respuestas con la seguridad de un médico o abogado.

Fuentes originales

Bean AM, Payne RE, Parsons G, et al. (2026). Reliability of LLMs as medical assistants for the general public: a randomized preregistered study. Nature Medicine, 32(2), 609–615. https://doi.org/10.1038/s41591-025-04074-y;Dahl M, Magesh V, Suzgun M, Ho DE (2024). Large Legal Fictions: Profiling Legal Hallucinations in Large Language Models. Journal of Legal Analysis, 16(1), 64–93. https://doi.org/10.1093/jla/laae003;Magesh V, Surani F, Dahl M, Suzgun M, Manning CD, Ho DE (2025). Hallucination-Free? Assessing the Reliability of Leading AI Legal Research Tools. Journal of Empirical Legal Studies, 22(2), 216–242. https://doi.org/10.1111/jels.12413;Kalai AT, Nachum O, Vempala SS, Zhang E (2025). Why Language Models Hallucinate. arXiv:2509.04664(预印本,备注里那项). https://arxiv.org/abs/2509.04664;反方:Ayers JW, Poliak A, Dredze M, et al. (2023). Comparing Physician and Artificial Intelligence Chatbot Responses to Patient Questions Posted to a Public Social Media Forum. JAMA Internal Medicine, 183(6), 589. https://doi.org/10.1001/jamainternmed.2023.1838

Abrir fuente
Nota del autor

Este hallazgo es controvertido. Un estudio de 2023 analizó 195 consultas de pacientes en foros estadounidenses y pidió a profesionales de la salud que valoraran sin conocer la fuente; el 78,6% consideró que ChatGPT respondía mejor que los médicos. No obstante, esa valoración se refería únicamente a la calidad de la redacción, no a la precisión diagnóstica final. El ensayo de 2026 empleó modelos de 2024; versiones más recientes podrían ser aún más eficaces. Asimismo, se ha demostrado que el rendimiento de la IA en pruebas aisladas no predice fielmente cómo la utilizarán los usuarios comunes. Investigadores de OpenAI explicaron en 2025, en un artículo no revisado por pares, que el entrenamiento y la evaluación premian la “adivinación” de respuestas; al no otorgarse puntos por responder “no sé”, la IA tiende a afirmar con seguridad incluso cuando no está segura. Para verificar sus afirmaciones, pídale que indique el nombre y número del artículo legal, el título de la guía o del artículo científico; luego busque usted mismo esos textos en las páginas oficiales; si no los encuentra, considere que la IA se equivocó. Al formular preguntas, evite incluir sus propias conclusiones; no pregunte “¿Tengo garantizado el éxito en este caso?”, sino “¿Qué establece la ley en esta situación?”. Ante señales como boca torcida, un lado sin fuerza o presión en el pecho, no pregunte primero a la IA; llame al 120. Véase el apartado 3 de la sección 13 (boca torcida, un brazo sin fuerza) y el apartado 7 de la sección 13 (presión en el pecho). Si no puede pagar abogado para un juicio, véase el apartado 3 de la sección 7 (asistencia jurídica). El beneficio se marca pequeño porque solo hay indicadores intermedios como «si se reconoció la enfermedad», sin cifras de menos muertes. El beneficiario es usted y su familia.

Mi nota