配車サービスのアカウント停止を、自動システムが決めたとき、利用者はどこへ説明を求められるのでしょうか。Uberをめぐるオランダ当局の制裁は、アルゴリズムによる判定と人が担う確認の関係を考える事例です。イノベトピアの参考報道に加え、10月8日付の欧州データ保護会議(EDPB)の説明で、その後の状況を確認しました。
当局が問題とした停止措置
EDPBの説明によると、オランダのデータ保護当局APはUberへ8億2,499万ユーロの行政制裁金を科しました。対象は、不正の疑いまたは低い顧客評価による一時停止、評価が低い状態が続く場合の恒久的な停止など、自動化された判断です。停止中はドライバーがUber経由の収入を失うため、個人への重大な影響が問題になりました。
発端はフランスの171人のドライバーによる苦情で、2018年から2022年の事案が対象とされています。欧州本部がオランダにあることから、オランダ当局が扱いました。当局は、完全に自動化された判断に関する禁止と、プロファイリングなどについて十分に説明する義務に違反したとしています。
10月の説明では、Uberは違反を停止したとされる一方、制裁金に対して不服申立てを行っており、最終的な司法判断はまだないと明記されています。8月の記事を読む際にも、行政判断、企業側の反論、司法上の確定を分けて把握する必要があります。
人が参加した事実より、見直せる実質
この事案から一般のシステム運用へ考察を広げると、人の確認欄を設けるだけで十分とは限らないことが分かります。確認者が根拠を見ることができ、誤りを訂正し、必要なら結果を変更できる工程でなければ、実際の見直しは難しくなります。
例えば、不正を示す点数だけを表示し、元のデータや判定の理由を確認できない画面では、担当者が別の判断をする材料が不足します。判定の速度と、異議があるときに調べ直すための時間は、別々に設計する必要があります。これは本記事の運用上の考察であり、個別システムへの法的な適合性判断ではありません。
自動化を評価する際は、通常の処理が速くなったかに加え、誤った停止へ気づくまでの時間、説明に必要な記録、訂正後に状態が戻るまでの工程を確認するとよいでしょう。自動判定の精度だけでは、利用者が受ける影響の全体を測れません。
EUの制度と、日本の業務を混同しない
EUにはプラットフォーム労働指令もあり、自動化された管理や人による監督を扱っています。ただし、指令、各国の国内法、今回のデータ保護当局の判断は異なる枠組みです。すべての国の同種サービスへ、今回の結論をそのまま当てはめることはできません。
日本企業が業務で参考にするなら、まず自社の自動化が誰のどの行動に影響するかを整理する方法が考えられます。アカウントの停止、取引の制限、審査結果の通知など、影響の大きな工程では、本人への説明と見直しを受け付ける窓口を設計する必要があります。適用法令の確認は、その対象や事業の形態に応じて行います。
判定と、結果の責任を結び付ける
運用記録には、入力した情報、ルールやモデルの版、判定結果、担当者の確認、通知、訂正を同じ案件として結び付けるとよいでしょう。機械が判定した時点と、利用者へ実際に影響した時点を区別すれば、どの工程で問題が起きたか調べやすくなります。
自動化を導入することと、その結果を説明できることは一組で考える必要があります。Uberの事案は、処理を効率化する際にも、見直せる根拠と担当者の権限を残す重要性を示しています。AIを使う業務の整理や確認工程の設計については、運営会社RO合同会社へご相談いただけます。
AI導入支援AI導入・活用でお悩みなら
AI導入センターに無料相談する →
