医療リランキングの真実：小規模クロスエンコーダが大規模LLMを性能で凌駕

医療手続きのリランキングにおいて、患者の質問と専門用語のギャップを埋めることは極めて重要です。本研究では、小規模なクロスエンコーダのファインチューニングと、大規模LLMの命令チューニングという2つの手法を比較しました。結果として、わずか109Mパラメータのクロスエンコーダが、4BパラメータのLLMを性能で上回るという驚きの発見がありました。本記事では、この詳細と実用的な知見を解説します。