31Доказательства A

Не стоит полагаться на ИИ-чат-бот в одиночку, когда нужно оценить болезнь или юридический вопрос: прежде чем идти к врачу, в суд или тратить большие деньги, найдите первоисточник, на который он ссылается, и проверьте по оригиналу

Если дать ИИ полное описание случая, он в девяти случаях из десяти и чаще называет правильную болезнь. Но обычные люди, спрашивая его о симптомах, определяли болезнь даже реже, чем те, кто искал в интернете, и не точнее решали, нужна ли скорая помощь. В юридических вопросах универсальный ИИ выдумывает как минимум в 58% ответов и охотно продолжает рассуждать, опираясь на ошибочную посылку из вашего вопроса.

Затраты

Ничего не стоит. Каждая проверка занимает от нескольких ми…

Польза

Сначала медицина. В 2026 году Nature Medicine опубликовала рандомизированное испытание: 1298 обычных жителей В…

Затраты

Ничего не стоит. Каждая проверка занимает от нескольких минут до получаса. Попросите ИИ назвать закон, клиническое руководство или статью, на которые он опирается, откройте оригинал сами и найдите эту фразу. Нужно отказаться от привычки делать так, как сказано, только потому, что ответ звучит уверенно.

Польза

Сначала медицина. В 2026 году Nature Medicine опубликовала рандомизированное испытание: 1298 обычных жителей Великобритании, протокол заранее зарегистрирован. Каждому — два составленных случая: какая болезнь и идти в неотложную или наблюдать дома. Часть помогала чат-ботом ИИ (GPT-4o, Llama 3, Command R+). Контроль — обычные способы, чаще поиск в сети или сайт NHS. Когда полный случай отдают ИИ напрямую, он в 94,9% узнаёт релевантную болезнь, в 56,3% верно решает, куда идти. Обычные люди с тем же ИИ узнают релевантную болезнь менее чем в 34,5%, верное направление — менее чем в 44,2%. Контроль распознавал релевантную болезнь чаще, чем пользователи ИИ: отношение шансов 1,76 (95% CI 1,45–2,13). Для распознавания тяжёлой болезни с тревожными признаками отношение шансов составило 1,57 (1,28–1,92). Куда идти — примерно одинаково. По записям диалогов сбои в двух местах: пользователь не договорил симптомы; ИИ назвал верную болезнь, пользователь не принял. Далее право. Американская группа 2024 года спрашивала открытые модели (в т.ч. ChatGPT 4) о прецедентах федеральных судов США. У ChatGPT 4 в 58% ответов выдумка, у Llama 2 до 88%. Выдумка — содержание, не совпадающее с юридическим фактом; в статье — «галлюцинация». Модель не отличает, какая фраза выдумана. При ошибочной правовой предпосылке в вопросе часто принимает её как есть. Та же группа в 2025 году проверила профессиональные юридические ИИ для адвокатов: заявленное «без выдумок» на деле 17%–33% ответов с выдумкой. Кажется выгодным, потому что ИИ всегда на связи, бесплатен и говорит уверенно, как врач или юрист.

Первоисточники

Bean AM, Payne RE, Parsons G, et al. (2026). Reliability of LLMs as medical assistants for the general public: a randomized preregistered study. Nature Medicine, 32(2), 609–615. https://doi.org/10.1038/s41591-025-04074-y;Dahl M, Magesh V, Suzgun M, Ho DE (2024). Large Legal Fictions: Profiling Legal Hallucinations in Large Language Models. Journal of Legal Analysis, 16(1), 64–93. https://doi.org/10.1093/jla/laae003;Magesh V, Surani F, Dahl M, Suzgun M, Manning CD, Ho DE (2025). Hallucination-Free? Assessing the Reliability of Leading AI Legal Research Tools. Journal of Empirical Legal Studies, 22(2), 216–242. https://doi.org/10.1111/jels.12413;Kalai AT, Nachum O, Vempala SS, Zhang E (2025). Why Language Models Hallucinate. arXiv:2509.04664(预印本,备注里那项). https://arxiv.org/abs/2509.04664;反方:Ayers JW, Poliak A, Dredze M, et al. (2023). Comparing Physician and Artificial Intelligence Chatbot Responses to Patient Questions Posted to a Public Social Media Forum. JAMA Internal Medicine, 183(6), 589. https://doi.org/10.1001/jamainternmed.2023.1838

Открыть источник
Примечание автора

Спорно. Исследование 2023 года: 195 вопросов пациентов с американского форума, медики без знания источника ставили оценки; 78,6% оценок сочли ответ ChatGPT лучше врачебного. Сравнивали качество текста ответа, не верность итогового суждения спрашивающего. Испытание 2026 года использовало модели 2024 года; новые могут быть сильнее. Но то же испытание: балл ИИ «на экзамене в одиночку» не предсказывает эффект, когда им пользуется обычный человек. Почему выдумывает — сотрудники OpenAI в 2025 году в ещё не рецензированной статье: обучение и оценка поощряют «угадать ответ», «не знаю» очков не даёт, поэтому при неуверенности тон всё равно уверенный. Способ сверки: попросить название и номер статьи закона, название руководства или статьи, открыть оригинал на официальном сайте; не нашли фразу — считайте, что не говорил. В вопросе не вшивайте свой вывод: «как закон регулирует такую ситуацию», не «я ведь точно выиграю». При внезапном перекосе рта, слабости с одной стороны, давящей боли в груди — не спрашивайте ИИ, звоните 120. Раздел 13, пункты 3 и 7. Нет денег на адвоката — раздел 7, пункт 3 (юридическая помощь). Эффект малый: только промежуточные «узнал ли болезнь», без цифр меньше смертей. Бенефициары — вы и близкие.

Моя заметка