公共部門のAI選定における課題
公共機関が大規模言語モデル（LLM）を選ぶことは、非常に難しい問題です。既存の評価基準は、主に英語圏の状況を反映しています。その上、AIがどれだけうまくタスクをこなせるかという、機能の性能評価に偏りがちです。しかし、公共部門では、機能の性能だけでなく、もっと幅広い視点での評価が求められます。例えば、AIがどれだけの電力を消費するか、提供元がどれだけ情報を開示しているか、そのAIが地域の文化や政治をどれだけ理解しているか、といった点です。
ドイツ独自の評価枠組み「MÖVE」
このような課題に対応するため、ドイツの公共部門は「MÖVE」という新しい評価枠組みを導入しました。これは、ドイツの公共部門に特化した包括的な評価基準です。MÖVEは、従来の機能の性能評価に加えて、これまであまり考慮されてこなかった統治の側面を深く掘り下げて評価します。この枠組みにより、より実情に合ったAIの選定が可能になります。
性能以外の評価項目
MÖVEが特に注目する統治の側面は、主に三つあります。一つ目は、エネルギー消費です。AIの運用には多くの電力が必要であり、その影響を無視できません。二つ目は、提供元の情報開示です。AIを提供する企業が、その仕組みについてどれだけ透明性のある情報を提供しているかを確認します。三つ目は、ドイツの政党の立場に関する知識です。公共部門で使うAIは、地域の政治状況を正しく理解している必要があります。これらの項目は、機能の性能評価だけでは見えてこない、重要な側面です。
評価結果から見えた現実
MÖVEによる初期の評価結果は、興味深い事実を明らかにしました。全ての評価項目で優れている大規模言語モデルは、一つも存在しないという現実です。例えば、推定されるエネルギー消費量は、AIの種類によって60倍以上の差がありました。この違いは、AIの規模だけで説明できるものではありません。また、提供元の情報開示の度合いも、企業によって大きく異なります。さらに、欧州で開発されたAIだからといって、ドイツの政党の立場に関する知識が特に優れているわけでもありませんでした。
最適なAIを選ぶための視点
この評価結果は、公共機関がAIを選ぶ際に、機能の性能順位だけに頼るべきではないことを強く示しています。AIを導入する状況に応じて、統治に関する要件も評価に反映させるべきです。エネルギー消費、情報開示の透明性、地域の知識といった側面を総合的に判断することで、その機関にとって最適なAIを選ぶことができるでしょう。これは、AIの導入を成功させるための重要な鍵となります。
PR
文賢 →
性能評価はあくまで一面です。公共機関なら情報開示や電力消費は無視できません。私なら、まず自社のデータで一次情報を取るために、この評価基準を参考にします。ぐるぐる回して最適解を見つけます。
