専門分野のAIを評価する際、点数だけでは分からないことがある。誰が採点し、どの問題を使い、何と比較したのか。その条件を確かめると、業務への期待と検証すべき範囲が見えてくる。弁護士ドットコムが2026年6月22日に公表したLegal Brain エージェントの論文式試験の結果も、その読み方が欠かせない。
375点は、外部機関による評価値
同社の発表では、2025年度司法試験予備試験の論文式10科目にAIが回答し、伊藤塾を運営する法学館が採点した結果、500点満点中375点を得たとされる。「最上位合格水準」という表現は、その採点結果に対する法学館の見解だ。
ここで注意したいのは、法務省が実施した試験にAIが受験し、公式な合格認定を得たわけではないことだ。発表にも、公式の得点や順位と直接比較するものではなく、公式の合格を示すものではないと明記されている。点数をそのまま実際の受験者の順位に置き換えることはできない。
比較では、同じ問題文を入力した汎用AIモデル2種の回答も採点し、Legal Brainが10科目すべてで上回ったと説明された。回答対象は各科目4枚以内で、選択科目は倒産法。参照データベースに、この試験の模範解答や受験者の再現答案は含まれないとしている。こうした条件を添えて読むことで、結果の意味を限定できる。
検索できることと、論述できること
Legal Brainは、法令、判例、法律書籍などの関係を構造化したLegal Graphを用い、根拠を示す回答を目指す法務向けAIだ。サービスサイトでも、専門家の業務を支える製品として位置づけられている。今回の検証は、単に条文を探すだけでなく、事実関係を整理し、論点に沿って説明する能力を測ろうとしたものと読める。
もっとも、資料への引用が付けば結論まで正しいとは限らない。参照した文献が本当に当該論点を支えるか、例外の条件を落としていないか、事実の読み取りに誤りがないかは、それぞれ確認が必要だ。会社側も、現役弁護士のチームが正確性や論点の網羅性を継続的に検証し、誤りの種類を分けて改善すると説明している。
専門AIの強みは、参照先を絞り、根拠へ戻りやすくできる点にある。一方、その範囲から必要な情報が欠けていれば、検索の制約が回答の限界にもなる。資料の追加、改訂、適用時点の管理は、モデルの能力と同じくらい実務に影響する。
試験問題と実務の距離を測る
以下は編集部の考察である。試験では問題文が固定され、必要な事実が一定の形で提示される。実際の相談では、依頼者の説明が不完全だったり、文書同士で日付や条件が食い違ったりする。問題が明確に与えられたときの論述力と、何が未確認かを見つける能力は、分けて評価したい。
企業法務で試す場合も、過去の問題への正答率だけで導入を決めるのは早い。匿名化した案件を使い、事実の不足を指摘できるか、根拠の適用日を確かめられるか、結論を保留すべき場面を認識できるかを見る。さらに、人が原典を確認して修正するまでの時間も含めれば、実際の作業に近い比較になる。
重要なのは、回答の完成度と利用者の責任を別々に設計することだ。調査用の下書き、契約の論点整理、対外的な説明、最終判断では、確認の重さが異なる。AIが作った文章をそのまま外へ出す流れより、引用箇所と人の修正を残す流れの方が、後から判断を説明しやすい。
比較表には、改善できる失敗を残す
今回の結果は、分野を限定したデータ基盤と専門家による改善が、論述の品質にどうつながるかを考える材料になる。同時に、比較したモデルの種類、評価時点、採点の条件が変われば結果も変わりうる。単一の順位を製品の恒久的な優劣として使うより、自社の課題に近い検証を重ねる方が有用だ。
評価では誤回答を一括して数えるだけでなく、事実の取り違え、参照漏れ、引用と結論の不一致、不要な断定などに分けたい。何を改善すればよいかが分かれば、人が確認する工程も具体化する。専門家がAIを使う価値は、確認をなくすことより、確認すべき点を見つけやすくすることにもある。
本稿は製品の検証結果を紹介する記事で、個別案件への法的助言ではない。AIの根拠提示と人による確認を組み合わせる業務設計については、運営会社のRO合同会社が相談窓口を設けている。参考報道：イノベトピア。
PR
ElevenLabs →
