AIチャットボットの医療研究情報源を示す力を検証
大規模言語モデル（LLM）。これは大量のテキストデータで学習したAIのことです。そのAIチャットボットは、医療に関する質問に答え、関連する臨床研究を情報源として示す場面が増えています。これまでの研究は、AIが架空の情報源を作り出す問題に注目してきました。しかし、示された研究の質や、AIがどの研究を選ぶのかについては、まだ十分に評価されていませんでした。
私は、この点に着目し、3つの汎用AIチャットボットを評価しました。具体的には、Claude Sonnet 5、Gemini 3.1 Pro、そしてChatGPT GPT-5.5です。これらのAIに、医療に関する質問を投げかけました。質問は、有名な医学レビューデータベースから選びました。
ユーザーの役割とAIの性能差
私は、AIへの質問の仕方を3つの異なる役割に分けました。患者、臨床医、そして研究者です。それぞれの役割で、AIがどのような研究を情報源として示すかを調べました。各AIは、それぞれの役割で4回ずつ質問を受けました。合計で720件の回答が集まりました。
AIは、回答を裏付けるために主要な臨床研究を情報源として示すよう求められました。これらの情報源を、専門家が選んだ研究と比較しました。その結果、AIの回答は、専門家が選んだ研究の平均39.2%を取り上げていました。一方で、専門家が不採用とした研究の5.0%も取り上げていました。
AIの種類と役割による想起率の違い
専門家が選んだ研究の想起率。これはどれだけ正しく情報源を示せたかを表します。その想起率は、AIの種類とユーザーの役割によって大きく異なりました。ChatGPTは、ClaudeやGeminiよりも高い想起率を示しました。具体的には、ChatGPTが63.1%だったのに対し、Claudeは37.0%、Geminiは17.3%でした。
また、ユーザーの役割では、研究者としての質問が最も高い想起率をもたらしました。研究者としての質問では42.8%、臨床医では38.6%、患者では36.1%でした。この結果は、AIが医療研究を情報源として示す際、どのAIを使うか、そしてどのような立場で質問するかが重要であることを示しています。
AIが情報源とする研究の傾向
AIが研究を情報源として示す傾向についても分析しました。出版された年や、年間でどれだけ参照されたか、そしてオープンアクセスであるかといった要因を考慮しました。その上で、唯一、独立して有意な予測因子となったのは、サンプルサイズでした。
これは、AIが、より多くの参加者を含む臨床試験を情報源として示しやすい傾向があることを意味します。私の見方では、AIチャットボットは、専門家が見つける研究の一部を情報源として示せます。しかし、その性能はAIの種類やユーザーの役割で変わります。さらに、大規模なサンプルサイズの臨床試験に偏る傾向があると感じます。
PR
文賢 →
医療分野でAIを使うなら、一次情報へのアクセスが最重要です。AIが出してきた情報源を鵜呑みにせず、必ず自分で確認する。それができないなら、まだAIに任せるべきではありません。
