機械学習の出力における個人差を解明する
機械学習の仕組みが生成する情報について、利用者がそれぞれ異なる反応を示すことは以前から言われていました。今回の研究は、この個人差がどこから来るのか、そしてそれがどの程度安定しているのかを詳細に調べています。特に、情報検索と生成を組み合わせたRAGと呼ばれる方式に焦点を当てました。この方式が提供する情報が、個々の読者にとってどのくらい役立つのか、その有用性を検証しています。
読者の「好み」と「影響」のずれ
研究では、同じ質問、同じ情報、同じ作業条件でも、9人の読者のうち3分の1で、情報がその出力に与える影響の方向が逆になることが分かりました。ある読者には良い影響でも、別の読者には悪い影響になるということです。読者の好みは、情報の有用性のばらつきの約30%を説明します。これは、読者が自分で選んだ情報を使うことで、この方式の回答精度が向上することも示しています。
安定した「順序選好」と不安定な「影響の向き」
この研究は、読者ごとの情報有用性における3つの要素を分けて分析しました。それは「情報の働き」「順序選好」「影響の向き」です。その結果、読者の「順序選好」、つまりどの情報をより好むかという傾向は、異なる状況でも安定していることが判明しました。しかし、情報がその出力に「良い影響を与えるか、悪い影響を与えるか」という影響の向きは、作業内容によって大きく変わります。特に、自由な質問応答では影響の向きが不安定でしたが、事実確認のような明確な正解がある作業では安定していました。
好みだけでは方式改善は難しい
重要なのは、読者の安定した「順序選好」が、その出力に良い影響を与えるか悪い影響を与えるかを予測できないという点です。つまり、ある読者が特定の情報を好むからといって、その情報がこの方式の性能を必ず向上させるとは限らないのです。この結果は、機械学習の仕組みを個々の利用者に合わせて最適化する際に、単に好みを考慮するだけでは不十分であることを示しています。この方式の改善には、より深い分析と、介入効果を直接評価する仕組みが必要だと考えます。
PR
文賢 →
機械学習の「好み」と「介入効果」の違いは、私が現場で感じていたことです。ユーザーが「もっとこうしてほしい」と言っても、それが必ずしも性能向上に繋がるとは限りません。むしろ悪化することもある。最速で成果を出すには、ユーザーの声を鵜呑みにせず、データで一次情報を取る。そして、そのデータから仕組みをぐるぐる回すのが正解です。
