0 / 4 節読了

請求書分類の複雑性とAI導入の背景

企業の財務部門にとって、請求書を正しい勘定科目（GLコード）に分類する作業は極めて重要です。これは単に数字を振り分けるだけでなく、財務報告の正確性や税務順守に直結します。例えば、同じ「消耗品費」であっても、購入した事業の性質や仕入先、請求書に記載された具体的な内容によって、細かな分類が異なる場合があります。この判断には、会計に関する深い知識と経験が必要です。 多くの企業が業務効率化のためにAIの導入を進めています。請求書分類もその対象の一つです。しかし、既存のAIソリューション、特に大規模言語モデル（LLM）を外部サービスとして利用する場合、いくつかの課題があります。一つは利用コストです。LLMの利用料は高額になる傾向があり、大量の請求書を処理する場合には大きな負担となります。もう一つは、情報の安全と機密保持です。企業の財務情報は極めて秘匿性が高く、外部サービスに預けることには抵抗があります。モデルの判断根拠が不明瞭な点も、会計業務では問題となります。

社内小規模言語モデル（SLM）の利点と分析手法

これらの課題を解決する手段として、社内で開発・運用する小規模言語モデル（SLM）が注目されています。SLMは、大規模なモデルに比べて計算資源の要求が少なく、運用コストを大幅に削減できます。また、社内システム内で完結するため、情報の安全性が高く、機密保持の面でも安心です。モデルの規模が小さいため、その動作原理や判断根拠を理解しやすくなる点も、会計業務においては大きな利点となります。 私はこの社内SLMの有効性を検証するため、具体的な分析を行いました。分析対象としたのは、文変換器（Sentence Transformer）の一種であるSBERTと、もう一つの代表的なSLMであるDeBERTaです。これらのモデルが事前学習によって得た「埋め込み（embedding）」の「幾何学的構造（geometry）」を詳しく調べました。埋め込みとは、言葉や文を多次元の数値ベクトルとして表現する技術です。この数値ベクトルが空間内でどのような配置や関係性を持つか、それが幾何学的構造です。

埋め込み空間の特性と分類性能

財務関連の文を集めた情報群において、文の埋め込み空間は全体的に「異方性（anisotropic）」を示すことが分かりました。これは、埋め込み空間の特定の方向に沿って情報が偏って分布している状態を指します。しかし、より細かく見ると、その空間は局所的に「等方性（isotropic）」の「集まり（cluster）」で構成されていました。等方性とは、どの方向から見ても性質が同じである状態です。これらの集まりは、請求書の「仕入先」の識別と非常に強く関連していることが判明しました。つまり、特定の仕入先からの請求書は、埋め込み空間内で近い位置に集まる傾向があるということです。 この知見を基に、シングルGPUを用いてSBERTを「調整（fine-tuning）」しました。調整とは、特定のタスクに合わせてモデルを再学習させることです。その結果、請求書分類タスクにおいて、SBERTは0.96という非常に高い分類精度を達成しました。この精度は、事前学習のみ（zero-shot）の大規模言語モデルや、仕入先の情報だけを基にした分類方法を明確に上回るものです。特に、これまで分類が難しかった小規模なカテゴリや、新規の顧客からの請求書に対しても、SBERTは優れた性能を示しました。

実用化への展望と意外な発見

社内SLMの実用化に向けた重要な課題は、新しい顧客やカテゴリへの汎化性能です。私の調査では、約100件の顧客ごとの請求書があれば、SBERTはF1スコアで0.9という高い性能を発揮できることが分かりました。F1スコアとは、分類の正確さと網羅性をバランス良く評価する指標です。この結果は、比較的少量の顧客固有の情報で、社内SLMが実用レベルの分類精度を達成できる可能性を示しています。これは、限られた情報しか持たない中小企業にとっても、AI導入のハードルを下げる朗報です。 さらに、埋め込みの幾何学的分析と分類結果を総合的に見ると、事前学習済み埋め込みの幾何学的構造が、最終的な分類性能に大きく影響していることが明らかになりました。そして、最も興味深い発見は、人間が請求書を分類する際に役立つと考える「構造化された入力」が、SLMの性能向上には寄与しないという点です。例えば、特定の項目を強調したり、情報を特定の形式に整理したりといった工夫が、必ずしもSLMにとって有効ではないということです。これは、AIの設計や情報準備において、人間の直感に頼るだけでなく、モデルの特性を深く理解したアプローチが必要であることを強く示唆しています。社内SLMは、コスト、情報の安全、そして性能の面で、請求書分類の未来を大きく変える可能性を秘めています。

PR

文賢 →
柴亮太
柴亮太の視点

社内小規模言語モデルは、コストと情報の安全を両立する最速解です。大規模言語モデルに頼る必要はありません。約100件の請求書があれば、十分な精度が出ます。この一次情報をぐるぐる回すのが私のやり方です。