zapathが、美容クリニック向けプラットフォーム「ClinicHub」でLINE問い合わせに答えるAIチャット機能を提供開始したという発表。
- 施術内容・料金・ダウンタイム・予約可否に24時間即応する。各院が監修したナレッジの範囲でのみ答え、診断や判断が要る相談はスタッフに引き継ぐ
- ClinicHubの各プランに標準搭載し、AIチャットのみの「シングルプラン」を新設。既存のLINE公式アカウントと電子カルテの運用を変えずに導入できるとしている
- 根拠に挙げる患者調査は自社実施(n=485)で、返信に時間がかかった経験は39.6%。プランの料金は記載されていない
出典:株式会社zapath / zapath、自由診療クリニックのLINE問い合わせに"その場で答える"AIチャット機能を提供開始
サトシ AIが答える範囲を最初から絞る設計は、事故を避ける現実的な線引きだと思います。
職員約1万5800人の病院でHIPAA対応の生成AIチャットボットを14カ月分析し、利用の偏りを調べたという論文。
- 職員約15800人のうち2149人が利用申請し、14カ月分の利用ログとアンケートを分析した
- 利用者の52.8%は実際にトークンを使い、上位20%が全トークン消費の69.4%を占めていた
- 継続利用者92人の自己申告では生産性向上30%、非利用の理由は時間不足51.4%が最多だった
出典:PLOS Digit Health / Utilization of a HIPAA-compliant large language model chatbot in an academic pediatric medical center.
サトシ 使う人と使わない人にここまで差が出るのが生成AIの現実。技術より運用と教育に投資が要る話
作問を下書き・批評・改稿の役割に分けた複数AIエージェント方式を中国医師国家試験の設問作成で検証したという論文。
- 単一モデルと、複数エージェント方式が作った設問を専門家が盲検で比較評価した
- 専門家の選好は複数エージェント方式が57.7%、単一モデルが42.3%だった
- 対象は中国医師国家試験の設問に限られ、他言語・他試験への一般化は今後の課題としている
出典:★NPJ Digit Med / Multi-Agent collaboration as a complementary architecture for AI-generated medical examination items.
サトシ 分業したAI同士の方が精度が上がるのは直感的だけど、57対42はまだ僅差で、再現性の検証はこれからだと僕は思う
医師向けエビデンス検索AI「Evidence Finder」がSakana AIの国産LLMを採用したという発表。
- アイリスは医師向けエビデンス検索ツール「Evidence Finder」に、Sakana AIのアルゴリズムを組み合わせて実装する
- 同モデルで2026年2月の第120回医師国家試験を解かせたところ482点(500点満点、正解率96.4%)を記録したとしている
- 画像問題には対応せずテキスト質問のみが対象で、製品版に課している画像拒否などの制約を外した状態での評価としている
出典:アイリス株式会社 / 医療AIのアイリス、医師向け生成AIツール「Evidence Finder」にて、Sakana AI社の日本語特化LLMを導入
サトシ ソブリンAI推しの文脈はあるが、96.4%という数字自体は素直にすごい。自社発表の最高得点という点は割り引いて見る
BI-RADS第5版の教育問題49問で推論型LLMと通常型LLMの回答精度を比較したという論文。
- 乳房画像の専門医3人が、ChatGPT-o1とDeepSeek-R1の推論型2モデル、GPT-4oなど通常型6モデルの回答を5段階で評価した
- 推論型モデルの中央値は3.7点で通常型の2.7点を有意に上回った(P<0.001)が、複合的な臨床シナリオでは両者とも点数が下がった
- 通常型モデルの一部は問題文が英語か中国語かで成績が変わったが、推論型2モデルでは言語による差はなかった
出典:Front Med (Lausanne) / Reasoning vs. conventional large language models for BI-RADS educational questions answering: a multi-model comparative evaluation.
サトシ 教育目的の問題への回答比較なので、そのまま実臨床の読影精度とはまだ言えません。ただ推論型の伸びは気になります
GPT-4.1やClaudeなどを組み合わせたエージェント型AIで乳がんの文献レビューを自動化し検証したという論文。
- 乳がん・肺がん・前立腺がんの臨床試験抄録29,236件で人が作成した1,997件の注釈と照合し、エージェント型AIの精度を検証した
- 文献レビューの一致率は95.1〜97.2%、項目抽出の精度は51.1〜99.4%で、既存のAIチャットボット4種より包括的だった
- 医師の診療ワークフローや意思決定への実際の影響は今後の検証課題として残された
出典:ESMO Real World Data Digit Oncol / Development and validation of a human-supervised AI-augmented living oncology evidence platform: a breast cancer pilot study.
サトシ 文献レビューをAIに任せる発想はいい。ただ抽出精度が項目によって51%まで落ちる点は、まだ人のチェックが要る証拠だ
韓国の大学病院が多職種のスタッフに8週56時間の生成AI集中研修を実施し、その設計と効果を検証したという論文。
- 韓国Asan医療センターで非IT職を含む多職種83人(事後回答64人)を対象に、RAGとMCPを中心とした8週56時間の生成AI研修を前後アンケートで評価した
- 最も時間を割いたMCPで自己効力感の伸びが最大(効果量d=1.57)となり、12チーム中11チームが試作品を完成、うち1件は臨床現場での試験運用に進んだ
- 対照群のない単群の前後比較で、業務での実践力は研修後も尺度の中央値を下回り、知識と実践のギャップが残った
出典:JMIR Med Educ / Teaching Model Context Protocol, Retrieval-Augmented Generation, and AI Agents to a Multidisciplinary Hospital Workforce: Single-Group Pre-Post Survey Study.
サトシ 56時間もかけて研修しても実践力は中央値止まり。現場で使えるようになるまでの距離を測った点が誠実だと思う
「本当に合っていますか」という追加の一言でLLMの診断が揺らぐかを調べた研究という論文。
- 10種のLLMに臨床ケース120件を4条件×3回×2パスで提示し、回答28800件を診断正誤で評価
- 「Are you sure?」の一言で正答率が51.8%から42.2%に低下し、正解から誤答への転換が544件と誤答から正解への198件を上回った
- GPT-5は追加質問後も精度75.3%を維持したが、Claude Sonnet 4は精度が36.4ポイント低下した
出典:★Artif Intell Med / Too agreeable to be accurate? Sycophancy and diagnostic instability of large language models in medical diagnosis.
サトシ 「本当に?」と聞かれただけで正答率が10ポイント近く落ちるなら、臨床導入前の耐性評価は必須だと思う。
ナイジェリアの医療従事者36名を対象に、ChatGPTの支援ありなしで患者への回答の質がどう変わるかを調べたという論文。
- ラゴスの医師・看護師・地域保健従事者36名が、母子保健や家族計画など15の患者質問に自力とChatGPT-3.5支援ありの両方で回答した
- 1,080件の回答を臨床医4名が5段階評価した結果、正確性・共感性・網羅性などすべての指標でAI支援ありが有意に上回った(p<0.001)
- 非医療者の評価者も信頼感などの面でAI支援ありの回答を高く評価し、特に地域保健従事者での改善幅が大きかった
出典:J Med Internet Res / Evaluating Frontline Health Workers' Responses to Patient Inquiries With and Without Large Language Model Support in Nigeria: Observational Study.
サトシ うまくいかない報告の方が価値は高いけど、これは逆に全指標で改善という珍しいケース。医療者が薄い地域ほど効くという話は妥当だと思う。
肺がんの臨床シナリオ9例に対するChatGPT・DeepSeek・Grokの回答を、専門医5名が盲検で評価し比較したという論文。
- 肺がん診療の5領域からシナリオ9例を作成し、3つのLLMの回答を匿名化・ランダム化したうえで肺がん専門医5名が5段階で採点する二重盲検評価を行った
- 評価者間の一致度は中程度(Fleissのκ=0.463)で、3モデル間の総合スコアに統計的な有意差はなかった(p>0.05)
- 症例数が9例と少なく探索的な位置づけで、領域ごとにはGrokが診断・治療判断で、DeepSeekが予後・リハで相対的に高い傾向が見られた
出典:Digit Health / Exploratory task-specific evaluation of large language models in lung cancer clinical scenarios: A comparative study.
サトシ 3つのモデルに有意差が無かったのは示唆的だ。症例9例では結論は出せないけど、モデル選びより運用設計の方が効くという話に近い。
韓国のがん患者インタビューで、複数のLLMによる精神的苦痛の評価が専門医の評価とどれだけ一致するか調べたという論文。
- がん患者101人の面談記録3931項目を、GPT-4o・Claude 3.5・Gemini 2.5の3モデルで評価した
- 専門医との一致度(ICC)は0.82〜0.87と高かったが、Claude 3.5とGemini 2.5は苦痛スコアを有意に高く見積もった(補正後P<.001、P=.002)
- モデルの説明が発言内容を超えて解釈を広げるほど、判定の誤差が大きくなる傾向が見られた
出典:J Med Internet Res / Large Language Models for Distress Rating in Korean Psycho-Oncology Interviews: Exploratory Clinician-Benchmarked Evaluation Study.
サトシ 一致率は高くても模型ごとに間違え方が違うのは、LLMを一つに絞る危険性を感じさせます
スイスの病院で、院内で動かせる小型オープンソースLLM6種を実際の診療データで評価したという論文。
- 8B〜24Bパラメータの6モデルを、フランス語の退院時サマリーや診療録など実データで7つの臨床タスクに適用した
- 単純な検索タスクではLlama3.1がF1スコア99.81%を達成した一方、個人情報検出は最良でもF1が0.33〜0.34にとどまった
- 退院サマリー要約の質は全モデルで低く、あるモデルは臨床医評価で55%の出力に幻覚(誤情報)が見つかった
出典:J Med Internet Res / "Small" Large Language Models in the Hospital: Evaluation Study on Real-World Data in a Resource-Constrained Setting.
サトシ 簡単な検索はできても要約や意思決定支援は使い物にならないというのは、身の丈に合ったLLM選びの参考になります
Claudeを臨床データ解析のエージェントとして3つの対話モードで動かし、性能と失敗パターンを検証したという論文。
- 英国の加齢黄斑変性7802例・12年追跡データを用い、Claudeを3つの対話モードで研究設問立案から統計解析実行まで計27回試行した
- 17件の完了ランでKaplan-Meier推定はほぼ一致した一方、結果の要約文17件のうち2件に臨床的に問題となる誤りがあった
- 統計的枠組みの立案は概ね妥当だったが、SAPの質はコードの正確性を予測せず、単一分野での検証のため他領域への一般化には追試が必要とされた
出典:J Med Internet Res / Performance, Failures, and Oversight of a Large Language Model Agent for Clinical Data Analysis: Evaluation Study.
サトシ LLMに解析を任せる話が増えてきたけど、要約文の2件に問題があったという結果を見ると、検証を省く発想はまだ早いと僕は思う。
電子カルテからの臨床推論において、検索拡張生成(RAG)と長文脈入力を比較したという論文。
- 米国の学術医療機関の実診療録を用い、画像検査抽出・抗菌薬タイムライン作成・診断名特定の3タスクでGPT-5.4-mini等3モデルを検証した
- 画像検査抽出ではRAGが長文脈入力をF1スコアで0.17〜9.83上回り、8000トークン未満の入力で同等以上の性能を達成した
- 一方で診断名特定タスクは手法やモデルによらず性能が頭打ちで、記録間の情報欠落が精度を制限する一因になっていた
出典:J Am Med Inform Assoc / Evaluating retrieval-augmented generation versus long-context input for clinical reasoning over electronic health records.
サトシ 全文を読ませるより必要な部分だけ拾わせる方が速くて正確というのは、現場の実感にも近いです。
眼科領域の倫理相談事例をGPT-5.1と人間の倫理専門家に答えさせ、医師10人が評価して比較したという論文。
- 米国眼科学会の相談サイトから倫理事例10件を抽出し、GPT-5.1と人間の倫理専門家の回答を医師10人が評価した
- 臨床での使用意向の評価はGPT-5.1が中央値5.0、専門家が4.1と有意差があり(p=0.013)、読みやすさは専門家が上回った(p=0.002)
- 読みやすさでは専門家に劣ったが、評価者の使用意向・患者影響の評価はGPT-5.1が上回る結果だった
出典:Int Ophthalmol / Generative artificial intelligence to augment ethical problem solving in ophthalmology: GPT-5.1 versus a human ethicist.
サトシ 倫理的な答えの良し悪しを人が採点する時点で、評価者側の好みも混ざっているはずだ。
股関節温存領域のガイドライン準拠21問を、LLM3種と専門医10人に解かせて正答率を比較したという論文。
- 国際的な股関節温存の専門医10人と、ChatGPT・Gemini・Claudeの3種のLLMに同じ21問の設問を出題した
- 正答率は専門医が90.5%だったのに対し、Geminiが100%(p=0.004)、ChatGPTが98.4%(p=0.016)と有意に上回った
- 設問への回答精度の比較にとどまり、実際の診療判断における有用性を示すものではないとしている
出典:Knee Surg Sports Traumatol Arthrosc / Select large language models outperform hip preservation experts on consensus-based hip preservation questionnaire.
サトシ 設問に正しく答えられることと、実際の診療で正しく使えることは別の話だと思います。
順天堂大学とケアネットが、臨床支援AIエージェントを開発する共同研究講座を大学院内に開設したという発表。
- 順天堂大学とケアネットが、院内データを使う臨床支援AIエージェントの開発などに取り組む共同研究講座を設けた
- 開設日は2026年7月1日、研究期間は2031年6月までの5年間で、順天堂大学大学院医学研究科内に設置された
- 現時点は研究体制の立ち上げ段階で、AIエージェントの具体的な機能や実装時期はまだ示されていない
出典:株式会社ケアネット / 順天堂大学とケアネット、次世代医療AI・臨床知共創に関する共同研究を開始
サトシ 5年という研究期間の長さが、実装までの距離を物語っている。
神経放射線領域の学術執筆課題でDeepSeek-R1とChatGPT-o1を比較したという論文。
- 放射線科医2人が、両モデルが作成した論文とQ&A計10課題の出力を、質・言語表現・事実の信頼性で評価した
- 総合評価はDeepSeek-R1がChatGPT-o1より有意に高かった(平均3.23対3.02、P=.021)
- 一方で引用文献の捏造率はDeepSeek-R1が36.7%とChatGPT-o1の2.6%より高く、無監督での学術執筆には課題が残った
出典:Digit Health / Open-source versus proprietary large language models for academic writing in medicine: A controlled evaluation of DeepSeek-R1 and ChatGPT-o1 in neuroradiology.
サトシ 査読前の下書きにLLMを使うにしても、引用の捏造だけは人間が全部潰す前提で使うべきだと僕は思う。
DeepSeek-V3とChatGPT-4oの鼻咽頭癌の病期・治療方針判定を臨床医と比較したという論文。
- 中国の1施設で新規診断された鼻咽頭癌患者322例を対象に、臨床医・テキストのみの臨床医・DeepSeek-V3・ChatGPT-4oのTNM病期分類と治療方針推奨の一致度をカッパ係数で評価した
- 病期分類は臨床医とAIの間で中程度の一致にとどまり、治療方針推奨の一致度はさらに低く「わずかな一致」と判定された
- M病期のみほぼ完全な一致が得られた一方、T・N病期は中程度どまりで、AIの臨床判断への活用には病期項目ごとの精度差が課題として残った
出典:Cancer Med / Agreement in Staging and Treatment Recommendations Among Clinicians, Text-Only Clinicians, DeepSeek-V3, and ChatGPT-4o for Nasopharyngeal Carcinoma Patients.
サトシ 治療方針だと一致率が急に落ちるあたり、AIが強いのは分類作業で、意思決定はまだ人間の領分だと感じさせる結果です。
角膜疾患に特化したRAG搭載LLMが眼科専攻医の診断精度を高めたという論文。
- 角膜専攻医3名が実際の角膜症例39例を、AI支援なし・汎用GPT-4o支援・角膜特化型GPT-4o支援の3条件で独立して診断し、専門家基準と照合して正答率を比較した
- 診断正答率は支援なしで20.5〜48.7%だったのに対し、角膜特化型AIの支援下では48.7〜74.4%まで改善した(p<0.01)
- 一方で治療方針の正答率は医師によって改善したり悪化したりと一貫せず、AI支援の効果は診断と治療方針で異なる結果となった
出典:Int Ophthalmol / Evaluation of a cornea-specialized large language model for diagnostic and management accuracy in complex corneal cases.
サトシ 診断は助けても方針は人によって逆効果になり得るというのが正直な結果で、導入するなら用途を絞る必要がありそうです。
臨床AIツールOpenEvidenceが提示する引用文献の質を検証したという論文。
- 5つの診療科にまたがる150の標準化された質問をOpenEvidenceに投げ、返された4979件の引用文献すべてについて実在性と属性の正確さを確認した
- 捏造と確認された引用は0件で、著者や誌名などの帰属情報に誤りがあったのは3件の抄録にとどまった
- 引用文献は診療科によって集中する雑誌に偏りが見られ、この検証は引用の実在性を対象とし、AIの主張を文献が支持しているかは評価していない
出典:Npj Health Syst / Reference quality of OpenEvidence across five medical specialties.
サトシ 捏造ゼロという結果自体が意外なくらいで、RAG型の臨床AIも設計次第でここまで抑えられるという材料になります。
歯科治療計画をChatGPT-5・Copilot・Gemini・OpenEvidenceの4種で比較したという論文。
- 10症例の口腔内写真と根尖X線を4つのAIに提示し、専門医4名のコンセンサスを基準に5項目で採点した
- 総合スコアはOpenEvidence7.7点、ChatGPT-5が7.6点、Geminiが5.1点、Copilotが4.7点で、評価者間の一致はκ=0.74だった
- Copilotはコンテンツフィルターで10症例中3例が生成不能となり、全システムで臨床的に重要な診断誤りも見られた
出典:J Prosthodont / Multidisciplinary dental treatment planning by artificial intelligence: A comparative evaluation.
サトシ 医療特化のOpenEvidenceが上に来るのは順当。Copilotだけ症例を落としているのは実装の甘さが出てる。
複数のLLMを組み合わせた救急外来向け臨床意思決定支援システム「SHAKED」を4週間・患者1138人規模で前向きに評価したという論文。
- 三次医療機関の救急外来で、SHAKED使用ユニットと通常運用ユニットに分けて4週間・患者1138人を対象に前向き評価を実施
- 臨床での採用率はシフト経過とともに68%から30%まで低下し、滞在時間は両群とも4.9時間で差がなかった(p=0.99)
- 精度の問題ではなく、業務負荷が高まるほど医師の利用が離脱する傾向が主な障壁で、現時点では臨床導入を正当化しないと結論している
出典:Nat Med / Prospective evaluation of a large language model clinical decision support system in the emergency department.
サトシ 精度は悪くないのに使われなくなるという結果が面白い。臨床AIの壁はアルゴリズムより運用側にあるという話です
手外科の症例をもとに、ChatGPT-4・Claude Opus 4.6・Gemini・Open Evidenceの4種のAIと専門医の判断一致率を比較したという論文。
- 手外科医15名が回答した9症例(易4例・難5例)の多数決を基準に、4つの商用AIプラットフォームの判断一致率を評価
- 易しい症例は4種とも一致率100%だったが、難しい症例ではClaude Opus 4.6とGeminiが60%、ChatGPT-4とOpen Evidenceは20%まで下がった
- 各AIは単一プロンプト・1回のみの回答を評価したもので、プロンプトの工夫や複数回試行での改善余地は検証していない
出典:J Hand Surg Am / AI Clinical Decision Making Compared with Fellowship-Trained Hand Surgeons: A Case-Based Study.
サトシ 複雑な症例ほどAI同士でもばらつくというのは率直な結果。得意不得意の見極めが今の実力だと思う
患者向け症状ガイダンスAI「Personal Health Assistant」を772件の模擬症例で検証したところ、緊急度の過小評価が事前規定基準を満たさなかったという論文。
- 電話トリアージ手順とLLM生成の擬似症例772件を、PHAの出力を見せずに医師5名が独立して評価し必要なケアレベルを判定
- 緊急を要する症例の見落としが6.9%、緊急でない症例の過小評価が18.4%で、いずれも事前規定の許容基準(5%未満・15%未満)を超えた
- 検証は模擬症例と模擬会話によるもので、過大評価は基準内に収まったが、実患者集団での性能はまだ確認されていない
出典:JMIR Form Res / Patient-Facing AI System for Symptom Guidance Using Simulated Encounters and Physician Review: Analytical Validation Study.
サトシ 過小トリアージの数字を隠さずに公表したのは誠実だと思う。この手のツールは失敗事例の開示こそ信頼の材料になる
音声情報を統合したbimodal型LLM「Dolphin」が患者教育でのすれ違いを減らしたという論文。
- 3施設・6診療科、患者教育16,583例・発話64,200件のデータをもとに、音声も扱うDolphinをテキスト型LLMと二重盲検RCTで比較した
- Dolphinは感情認識精度0.886対0.713、患者555例での7日以内の予期せぬ再連絡が12.9%対22.9%だった(p=0.002)
- 有害な推奨は確認されなかったが、登録は中国国内の1試験に限られ、他地域・他言語での検証は今後の課題となる
出典:Med / A bimodal large language model reduces misalignment in patient education: A double-blinded randomized trial.
サトシ テキストのみのLLMで感情の食い違いが4割弱起きていたという数字が引っかかる。音声を足せば解決という単純な話でもないはずだ
自由発話をLLMでクラスタリングし、抑うつなど臨床評価との関連を4カ国で調べたという論文。
- フランスの一般住民1,338人と、イタリア・中国・スペインの臨床サンプル計258人の自由発話を多言語LLMで埋め込み、クラスタリングした
- フランスの住民サンプルではPHQ-9スコアがクラスタ間で有意に異なり(η²=0.19、P<.001)、イタリアでは臨床診断との関連も強かった(Cramér V=0.74)
- スペインの小規模サンプルでの自殺リスク項目との関連は不安定で、著者ら自身が探索的な結果と位置づけている
出典:JMIR Ment Health / Interpretable Topic Modeling of Spontaneous Speech in Depression Using Large Language Models: Multilingual Four-Cohort Study.
サトシ 人手でのカルテレビューをLLMが数分で済ませたという触れ込みより、国によって効き方にばらつきが出た点のほうが面白い
米国成人1871人を対象に、メンタルヘルス目的での汎用LLM利用の実態を調査したという論文。
- 2024年8〜10月、年齢・性別・人種で層別抽出した米国成人1871人にオンライン調査を実施した
- 回答者の24%がメンタルヘルス目的でLLMを利用しており、無料・利便性・アクセスのしやすさが理由に挙げられた。全米では1400万〜1800万人相当と推計している
- 利用者は若年・男性・黒人層、精神的健康状態が悪い層に偏っており、治療アクセスの困難さが背景にあるとしている
出典:★NPJ Digit Med / Real-world use of large language models for mental health in 2024.
サトシ 1800万人という推計はPew調査からの外挿で実測ではない。それでも無視できない規模だと思う
可逆性歯髄炎の診断でChatGPT-5の精度と再現性を検証したという論文。
- 専門医が確認した可逆性歯髄炎30症例について、臨床情報と根尖部エックス線写真を提示し、各症例を30回ずつ入力して計900回分の回答を評価した
- 歯種同定や歯髄診断、治療方針など診断系の設問では正答率96%超だったが、エックス線画像の読影に限ると正答率は4.67%まで落ち込んだ
- 診断系の設問と歯髄・根尖部の読影では再現性がほぼ完璧だった一方、歯冠部の読影は再現性も中程度にとどまった
出典:Front Bioinform / Diagnostic accuracy and repeatability of ChatGPT using textual and radiographic data in reversible pulpitis: a retrospective diagnostic study.
サトシ 文章では強いのに画像読影だけ極端に弱い。教師データの偏りが透けて見える結果だと思います
術前の説明同意にChatGPTでの補足相談を加え、患者の不安と理解度への影響を調べたという論文。
- 通常の説明同意の後にChatGPTとの相談を行い、STAIとAPAISの不安尺度、満足度アンケートで前後を比較した。回答は泌尿器科医3名が評価した
- STAI-1は3.2点、STAI-2は1.3点低下し(いずれもp<0.001)臨床的に意味のある変化とされたが、APAIS低下はROC解析で有意でなかった(AUC=0.559、p=0.327)
- 68%の患者がChatGPT相談を理解の助けになったと回答したが、著者は臨床医の監督継続が必要だとした
出典:Digit Health / Impact of AI-Augmented informed consent on preoperative anxiety and patient understanding: A prospective Observational Study.
サトシ 説明のあとにChatGPTと話すだけで不安が下がるの、地味に使えそうです。ただAPAISは有意じゃなかったので万能ではないですね。
サラセミアの遺伝カウンセリングで4種のLLMの知識と臨床対応力を検証したという論文。
- 中国華南など高頻度地域を想定し、1,080問の知識問題と6名の専門家が採点する150件の臨床ケースで4モデルを比較した
- 知識問題は全モデルが正答率90%超だったが、臨床ケース分析は全モデルが専門家水準を下回った
- 重大な誤りは145件全てがα型サラセミアに集中し、表現型予測とリスク推定での誤りが8割近くを占めた
出典:Front Digit Health / Performance and limitations of four large language models in genetic counseling for thalassemia.
サトシ 知識は合格点でも臨床判断は別物、という結果は他の疾患でも起きそうな構図だと思う
ChatGPT-4oが高齢者の症例文からせん妄を拾えるか、条件を変えて繰り返し試したという論文。
- PubMed収載の高齢者症例報告20件から、せん妄という語を消した症例文を作り、独立2セッションと連続セッションの3条件で比べた
- せん妄を指摘できたのは独立2セッションでいずれも70%、連続セッションで90%、比較対象のDeepSeek-V2は50%だった
- 条件間の差は有意に届かず(p=0.135)、独立セッション同士の一致はκ=0.76、連続セッションを含む一致は低かった
出典:Rev Assoc Med Bras (1992) / ChatGPT-4o in delirium recognition: a pilot study.
サトシ 同じモデルに同じことを聞いても、聞く並びで答えが変わる。20例の予備研究だが測り方は素直だ
救急外来のトリアージでLLMを試し、頑健性の高さと同時に性別と人種にまたがる偏りが残ったという論文。
- 継続事前学習から文脈内学習まで複数のLLM手法と従来型の機械学習を、分布のずれと欠測がある条件で比べた
- LLMは従来の機械学習よりデータのずれに強く、過去の類似症例を提示する手法が最も良い一方、推論を促す工夫は効果が薄かった
- 反実仮想の分析では、性別による出力の差が特定の人種群でより大きく出て、単独の属性では見えない偏りが残った
出典:J Healthc Inform Res / From Promising Capabilities to Pervasive Bias: Assessing Large Language Models for Emergency Department Triage.
サトシ トリアージは属性で答えが変わると困る場面なので、導入前にこの監査を回しておきたいです
電子カルテから薬剤用量を抽出する精度を5種のLLMで比較したという論文。
- 9つの薬効分類にまたがる薬剤4295件の用量を手作業で注釈し、5種のLLMにプロンプトを与えて抽出精度を比較した
- Claude 3.5 SonnetがR2 99.32%、正解率92.36%で最高性能となり、プロンプト改善後はR2 99.34%まで伸びた
- 一方でモデル間の一致度は中程度(級内相関0.73)にとどまり、性能差はプロンプトへのモデルごとの反応の違いによるところが大きいとしている
出典:Clin Pharmacol Ther / Prompt Engineering of Large Language Models for Medication Dose Calculation.
サトシ 薬剤の用量抽出みたいな地味な作業ほどLLMが効きそうです。ただモデルで結構差が出るのは知っておきたいです
9種類の大規模言語モデルに実臨床の睡眠ポリグラフ検査報告書を解釈させ専門医採点と比較したという論文。
- トルコの大学睡眠検査室のポリソムノグラフィー記録212件を、単純例と複雑例に分けて9種類のLLMに解釈させた。
- 完全正答率はモデルにより75.0〜86.3%で、Claude 4.1 Opus・ChatGPT-5・Gemini 2.5 Proが上位を占めた。
- 複雑例では正答率が最大25.7ポイント落ち込み、閉塞性無呼吸の重症度が中等度の症例で判定が特に難しかった。
出典:Eur Arch Otorhinolaryngol / Performance of nine large language models on real-world polysomnography interpretation for obstructive sleep apnea: a multi-dimensional comparative analysis.
サトシ 9モデル横並びで比べる発想はいい。でも複雑な症例になるとどのAIも崩れる。結局、簡単な問題を解けるかどうかは指標にならない。
精神的な悩みを訴える利用者を模擬し複数のAIチャットボットの応答を臨床的リスク観点で監査する枠組みを示したという論文。
- 精神的な脆弱性を持つ利用者像を模擬し、Claude・ChatGPT・Gemini・Grok・Llamaなど複数のAIチャットボットと複数ターンの会話をさせた。
- 9種のチャットボット、30種の利用者像による計810件の会話を13の臨床的リスク項目で採点し、懸念応答は新しいモデルほど少ない傾向だった。
- 支援的に見える応答がかえって利用者の脆弱性を強める場面が最もリスクが高いパターンとして特定された。
出典:Nat Med / A clinically validated framework for auditing AI chatbot behavior in mental health interactions.
サトシ チャットボットが優しく寄り添うほど危ういことがある。優しさと安全は別物だと、この研究は静かに言っている。
病院総合診療科で汎用の大規模言語モデルを2か月試験導入し使い方の変化をアンケートで追ったという論文。
- 試験開始時と終了時の2回、匿名アンケートを実施した。回答率は開始時71.4%、終了時48.6%だった。
- 利用率は開始・終了時とも約9割で高いままだったが、1日あたりの利用回数の中央値は2.0回から1.5回に減った。
- 用途は臨床推論から文書作成・要約へと移り、効率化への期待の一方でハルシネーションや情報漏洩への懸念が主な不安として挙がった。
出典:Cureus / Clinician Use of a General-Purpose Large Language Model in Hospital Medicine: A Mixed-Methods Pilot Study.
サトシ 使う回数が減っても定着率は落ちない。これは飽きたんじゃなくて、必要な場面を選べるようになったということだと思う。