AIチャットボットだけで病状や法律問題を判断しない。受診・裁判・大きな支出の前に、根拠の原文を確認する

お金はかかりません。確認のたびに数分〜30分ほど余分にかかります。AIに根拠の法条、指針、論文を書かせ、自分で原文を開いてその一文を探してください。断言しているから従う、という習慣を変える必要があります。

まず診療。2026年 Nature Medicine 掲載の事前登録ランダム化試験に英国の一般人1298人が参加した。各2件の架空症例で病名と、救急か自宅観察かを判断した。一部は GPT-4o、Llama 3、Command R+ を使い、対照群は普段の方法、多くは検索や NHS 公式サイトだった。完全な症例を AI に直接渡すと関連病名を94.9%、受診先を56.3%で正解したが、同じ AI を一般人が使うと病名は34.5%未満、受診先は44.2%未満だった。対照群はAI利用者より関連病名を認識する人が多く、オッズ比1.76（95% CI 1.45–2.13）だった。危険兆候のある重病を認識するオッズ比は1.57（1.28–1.92）だった。受診先判断はほぼ同じだった。会話記録では、症状を全部伝えていないことと、AI が正しい病名を出しても採用しなかったことが問題だった。法律では、米国のチームが2024年、ChatGPT 4などの公開モデルに米国連邦裁判例を尋ねた。ChatGPT 4の58%、Llama 2の88%の回答に作り話があった。法律上の事実と合わない内容を論文は「幻覚」と呼ぶ。モデルは自分のどこが作り話かわからず、誤った法的前提の質問も受け入れがちだった。同じチームが2025年、弁護士向けの専門法律 AI を調べたところ、作り話をしないという宣伝に反し17%〜33%の回答に含まれた。得に見えるのは、いつでも使え無料で、医師や弁護士のように断言するからだ。

Bean AM, Payne RE, Parsons G, et al. (2026). Reliability of LLMs as medical assistants for the general public: a randomized preregistered study. Nature Medicine, 32(2), 609–615. https://doi.org/10.1038/s41591-025-04074-y；Dahl M, Magesh V, Suzgun M, Ho DE (2024). Large Legal Fictions: Profiling Legal Hallucinations in Large Language Models. Journal of Legal Analysis, 16(1), 64–93. https://doi.org/10.1093/jla/laae003；Magesh V, Surani F, Dahl M, Suzgun M, Manning CD, Ho DE (2025). Hallucination-Free? Assessing the Reliability of Leading AI Legal Research Tools. Journal of Empirical Legal Studies, 22(2), 216–242. https://doi.org/10.1111/jels.12413；Kalai AT, Nachum O, Vempala SS, Zhang E (2025). Why Language Models Hallucinate. arXiv:2509.04664（预印本，备注里那项）. https://arxiv.org/abs/2509.04664；反方：Ayers JW, Poliak A, Dredze M, et al. (2023). Comparing Physician and Artificial Intelligence Chatbot Responses to Patient Questions Posted to a Public Social Media Forum. JAMA Internal Medicine, 183(6), 589. https://doi.org/10.1001/jamainternmed.2023.1838

議論がある。2023年の研究は米国掲示板の患者質問195件を出所を伏せて医療者に採点してもらい、評価の78.6%が ChatGPT を医師よりよいとした。ただし文章のよさの比較で、質問者の最終判断が正しいかは調べていない。2026年の試験は2024年モデルで、新型は強いかもしれないが、AI 単独の試験成績では一般人の利用効果を予測できないとも示した。OpenAI の研究者は2025年の未査読論文で、訓練・採点が「答えを推測する」を報い、「わからない」には点を与えないので、自信がなくても断言すると説明した。確認には法令名と条番号、指針や論文題名を出させ、公式サイトの原文でその文を探し、なければ言っていないものとする。自分の結論を質問に入れず、「この場合の法律はどうなっているか」と聞き、「絶対勝てるか」と聞かない。突然の顔のゆがみ、片側の脱力、胸の圧迫痛なら AI に先に聞かず中国では120へ。第13節第3項（顔のゆがみ、片腕の脱力）と第13節第7項（胸の圧迫痛）を参照。弁護士費用がなければ第7節第3項（法律援助を申請する）を参照。利益を小としたのは、病名認識などの中間指標だけで死亡減少の数字がないためだ。受益者は自分と家族だ。