実在しない患者で、電子カルテの仕事を評価する
医療AIの性能を測るには、医学知識を問うだけでは足りない。過去の受診記録を読み、必要な根拠を探し、要約や診断候補をまとめる作業では、情報の選び方と手順そのものが結果を変える。公開研究「Synthetic Hospital」は、このような縦断的な電子カルテ作業を、完全合成データで検証するためのベンチマークだ。
論文は、医学教育資料から構築した1,268人の合成患者と5,602件の診療記録を扱う。実患者の個人情報を使わずに検証でき、標準的な医療用語体系と関連付けられたデータを提供する。実際の診療を置き換える製品の発表ではなく、研究用の評価環境である。
本物らしさと、臨床での正しさは同じではない
研究では医師10人による実記録と合成記録の識別も行い、正答率は53%だったという。見分けにくい記録を作れたことは有用だが、その数字だけで、現実の患者の多様さや臨床上の難しさをすべて再現したとは言えない。
合成データは、生成方法の前提を共有している。実際のカルテにある欠落、書き手ごとの癖、長い期間の不整合などが、どこまで含まれるかを別に確認する必要がある。研究用の環境が公開される利点は、その前提と採点方法を第三者が調べられることにある。
診断の評価では、最良のAIモデルの重症度を加味したF1が0.732と報告された。医師比較の平均0.664より高く、最高の医師の0.89より低いが、医師側は7人・13症例という小さな部分集合だ。これを根拠に、AIが医師全般を上回る、あるいは下回ると結論づけることはできない。
根拠の検索や要約など、仕事の種類によって結果も異なる。同じ人やモデルでも、診断候補を当てる力と、必要な記録を漏れなく取り出す力は一致しない。一つの総合順位より、任せたい工程の成績を見る必要がある。
道具を持たせると、かえって悪くなることがあった
イノベトピアの解説が注目したのは、情報を直接渡す構成と、ツールを介して自分で探すエージェント構成の比較だ。GPT 5.3、Mistral Large、Llama 4 Scoutを対象にした限られた実験では、必要な情報がそろっている仕事へ追加の手順を入れると、多くのタスクで性能が下がった。
失敗した実行が成功時より多くのトークンを消費したとの結果もある。長く考え、何度も道具を使ったことが、よい結果の証拠にはならない。必要な情報へ戻れずに探索を続けたり、余計な工程で文脈を失ったりする可能性がある。
一方、情報を探すこと自体が課題の一部である診断タスクでは、自己検索型の構成で改善が報告された。ただし、この改善には重大な留保がある。
公開コードには、正解が見える問題の注記がある
著者らの公式リポジトリの「Known issues and caveats」は、問題リストを返すツールが診断ラベルを見せてしまうことを明記する。論文のエージェント評価で使った実装では、そのリストを隠していなかったため、診断のエージェントスコアが高く出ているという。
この注記がある以上、診断タスクの改善幅を、検索能力が高まった証拠としてそのまま採用することはできない。著者は新たな評価に別の環境エンドポイントを使うよう案内している。比較するなら、どの実装で、何を隠した条件だったかをそろえる必要がある。
これは研究全体の価値がなくなったという話でもない。問題を公開し、評価をやり直せることは、閉じたデモにはない利点だ。スコアを引用する側も、論文だけでなく、コードに追記された既知の問題を確認する責任がある。
エージェント化を目的にしない
以下は編集部の考察だ。必要な材料が一式そろっているなら、まず単純な構成で結果を測る。検索やツールを追加するのは、情報が足りない工程や、取得が仕事の本体になる工程に対して行う。道具を増やした後に、精度、待ち時間、失敗率、費用がどう変わったかを同じ課題で比べたい。
医療機関でも、予約調整や資格確認などの管理業務と、カルテを読んで臨床判断を支援する仕事は分ける必要がある。あるベンチマークで成績が下がったことを、すべての医療エージェントの否定へ広げることはできない。逆に、管理業務が成功したことを診断能力の証明へ使うこともできない。
日本で導入を検討する場合は、言語、文書形式、運用手順に合う評価が必要になる。合成データで基礎的な不具合を確認し、必要な管理と承認のもとで実務に近い検証へ進む。実患者の判断へ直接一般化せず、人がどの根拠を確認するかまで工程を設計したい。
この研究が示すのは、AIに任せる手順の多さと、仕事の質は比例しないということだ。能力だけでなく、情報の渡し方、道具の設計、採点からの答え漏れを含めて確認することで、評価を現場に役立つものへ近づけられる。
確認日：2026年10月18日。運営会社：RO合同会社の公式HP。
PR
文賢 →
