生体認証の評価において、公平性はますます重要な要素となりつつあります。顔認識システムを開発、購入、または導入する組織にとって、システムが全体として正確であるかどうかを知るだけではもはや不十分です。また、人口統計学的グループ間の性能の差異が、有意義な方法で評価されているという確信も必要となります。
一見、単純明快に聞こえますが、評価が始まると話は別です。普遍的に認められた「公平性スコア」というものは存在しません。指標によって測定される不均衡の形態は異なり、同じシステムであっても、選択した指標によって公平性に関する結論が異なってしまうことがあります。試験所、技術プロバイダー、およびコンプライアンスや認証活動の準備を進める組織にとって、これは実務上の問題を引き起こします。指標の選択によって結論が変わり得る中で、公平性の結果をどのように信頼すればよいのでしょうか。
Fimeが、カーン・ノルマンディー大学、ENSICAEN、CNRS、およびGREYC研究所と共同で実施した最近の研究は、この問題に直接取り組んでいる。 この研究では、4つの公開顔画像データセットを用いて19種類の公平性指標を比較し、バイアスの3つの要因、すなわちアルゴリズムの選択、データおよび画像品質のばらつき、運用上の判定閾値の変化について調査している。その主なメッセージは明確である。すなわち、公平性は単一の普遍的な指標に還元することはできない。指標は、システム内に現れるバイアスの現れ方に適合したものでなければならない。
なぜ、バイアス評価は認証や適合性評価において課題となるのでしょうか？
認証および適合性評価は、再現性のある証拠に依存しています。結果は、理解可能であり、再現可能であり、かつ製品が使用される条件に関連したものでなければなりません。公平性の評価は、生体認証システムのいくつかの段階で人口統計学的格差が生じる可能性があるため、さらに複雑さを増します。
これはアルゴリズムそのものに起因する場合もあります。評価データの構成によって影響を受ける場合もあります。画質が低下した際に生じる場合もあります。また、セキュリティやユーザー体験の目標に合わせて判定閾値が調整された際にも変化する可能性があります。したがって、ある条件下ではバランスが取れているように見えるシステムでも、別の条件下では異なる挙動を示すことがあります。
これは、生体認証システムが責任を持って評価されたことを実証する必要があるすべての人にとって重要な問題です。公平性指標が、実際に存在する不平等の種類に対して感度を持たない場合、結果は一見安心できるものに見えても、関連するリスクを適切に捉えられていない可能性があります。逆に、ある現象に対して強く反応する指標は、別の現象を過大評価してしまう可能性があります。難しさは、単に公平性指標を算出することだけではありません。その指標が、問われている問題に対して適切なものかどうかを見極めることこそが、真の難しさなのです。
科学は、公平性の評価をいかにしてより信頼性の高いものにするか？
この研究では、まず公平性指標の比較方法を見直しています。各指標を個別に評価するのではなく、研究者らは19の指標を同じ実験的枠組みの下に置き、制御された変動要因にさらしています。
データ関連および運用上のバイアスについては、外乱のレベルを段階的に高めていきます。画像品質は制御された段階ごとに低下させ、サブグループの表現率は既知の割合で削減し、ユーザー指向およびセキュリティ指向の運用モードに応じて判定閾値を厳格化します。深刻度の順序が既知であるため、各公平性指標の反応を基準値と照らし合わせて確認することができます。
その反応を評価するには、2つの基準が用いられる。1つ目は単調性である。つまり、バイアスの程度が高まるにつれて、その指標は一貫して変化するかどうかなのである。2つ目は安定性である。つまり、人口統計学的グループや交差性グループを横断して、十分に一貫した結論が得られるかどうかである。指標がこれら両方の条件を満たす場合、その指標は統制された条件下で有用であるとみなされる。
これは実用的な評価において重要な転換点である。この枠組みは、ある指標が一般的に数学的に妥当であるかどうかを問うのではなく、より実践的な問いを投げかけている。すなわち、「どのような条件下で、この指標は信頼できるシグナルを提供するのか」という問いである。
そこで、次の問題が生じます。公平性を測る指標がこれほどたくさんある中で、どれを使うべきなのでしょうか？
ここで、問題が極めて具体的なものとなります。生体認証の研究コミュニティでは現在、絶対誤差の差、比率、不等式指標、スコアの分離度、コンパクト性、およびスコア全体の分布に基づく評価指標が用いられています。これらは、それぞれが観察対象とするものが異なるため、互いに置き換え可能ではありません。
「誤一致率」と「誤非一致率」の差に着目する指標は、意思決定レベルでの結果に焦点を当てています。スコアの分布を分析する指標は、意思決定の閾値が適用される前に変化を検知することができます。また、パフォーマンスが最も良いグループと最も悪いグループの相対的な差に特に敏感な指標もあります。
この研究によると、こうした多様性自体は弱点ではないことが示されている。問題は、バイアスの原因を考慮せずに指標が選定された場合に生じる。そのような状況では、組織は、本来なら特定の評価課題に答えるために選ばれるべきツールである指標を、目的そのものとして扱ってしまうリスクがある。
もしそれらの指標が一致しなかったらどうなるでしょうか？
両者とも真実を語っているかもしれませんが、その内容はシステムの異なる側面についてのことかもしれません。
実験の結果、あらゆる状況において最も信頼性の高い結果をもたらす単一の公平性指標は存在しないことが示された。あるアプローチは、人口統計学的グループ間のエラー率の差異を捉えるのに優れている一方で、別のアプローチは、基礎となる生体認証スコアの分布の変化に対してより敏感である。また、正当なスコアと偽者のスコアの区別が変化した場合や、システムの動作閾値が調整された場合には、他の指標の方がより重要になる。
画質についても同様です。モーションブラー、センサーノイズ、露出不足、JPEG圧縮は、生体認証の照合に同じ影響を与えるわけではありません。画質の劣化の中には、主にスコアの分離に影響を与えるものもあれば、スコアの分布を変えたり、グループ間の誤認識率の差を拡大させたりするものもあります。つまり、公平性を評価する上で最も適切な方法は、検討対象となる劣化の種類によって異なる可能性があるということです。
したがって、公平性の結果に相違があるからといって、そのうちのいずれかが必ずしも間違っているとは限らない。それは単に、同じシステムの異なる側面が測定されているに過ぎない可能性がある。
認証や試験において、この区別は不可欠です。目標は、あらゆる公平性評価手法が同じ結論を導き出すようにすることではありません。むしろ、選択されたアプローチが、バイアスの種類、評価対象となるリスク、および生体認証システムが使用される運用条件に適していることを実証することにあるべきです。
これを、指標を選定するための実用的な手法にするにはどうすればよいでしょうか？
本研究では、構造を意識した選択原則を提案している。すなわち、まずバイアスの予想される現れ方を特定し、それを検出するように設計された指標群を選択するというものである。
サンプリングのばらつきが懸念される場合、範囲が限定された絶対誤差指標は安定した見方を提供できる一方、分布指標は基礎となるスコア分布の変化に関する情報を追加で提供できます。画像の劣化によって「本物」と「偽物」のスコアの分離が変化する場合は、分離に基づく指標が重要になります。主なリスクが動作閾値に起因する場合は、相対的な不平等を捉える指標や、誤り率の変化を統合的に追跡する指標の方が、より有益な情報を提供できる可能性があります。
また、この研究は、1つの数値だけでは問題の全体像を捉えきれない場合、補完的な指標を用いることの有効性を裏付けている。意思決定レベルの指標とスコア分布の指標を組み合わせることで、評価者は同一のシステムについて、互いに異なるが有用な2つの視点を得ることができる。重要な点は、この組み合わせが、予想されるバイアスメカニズムに基づいて行われるべきであり、機械的に適用されるべきではないということである。
組織は、公平性の結果を信頼する前に、どのような点を確認すべきでしょうか？
これにより、議論の焦点が変わります。組織は単に「このシステムは公平性について検証されたか」と問うのではなく、公平性がどのように定義されたか、どの人口統計学的グループが考慮されたか、どのような運用条件下でシステムが評価されたか、どの指標が選定されたか、そしてその指標が特定されたリスクとどのように関連しているかを問うべきです。
このアプローチは、生体認証モデルへのアクセスが制限されている場合にも有用です。本研究では、クローズドボックス評価においても、エラーベースの公平性指標を用いて、グループレベルの誤一致率（False Match Rate）および誤非一致率（False Non Match Rate）の値を依然として活用できると指摘しています。完全なスコア分布が利用可能な場合、評価者はさらに踏み込んで、分離性、コンパクト性、および分布の変化について検討することができます。
その影響は規格の分野にも及んでいます。ISO/IEC 19795-10では、いくつかの集約誤差指標が定義されていますが、本研究によれば、これらの指標は、同じ制御条件下であっても異なる挙動を示す可能性があることが示されています。このことから、今後の指針では、公平性指標の算出方法を定義するだけでなく、各指標がどのような場合に適切であるかを試験所が判断できるよう支援すべきであることが示唆されます。
研究から、確かな生体認証の保証へ
Fimeにとって、この取り組みの価値は、複雑な科学的課題を、実際の評価判断を支えることができる形に変えることにある。レポートにスコアが記載されているからといって、公平性が意味を持つわけではない。その測定結果が、システム、データ、動作条件、そして想定されるユースケースのリスクと結びついて初めて、意味を持つようになるのだ。
Fimeは、公平性指標の挙動に関する研究に貢献することで、より堅牢な試験手法や、将来に向けたより明確な指針を策定するために必要な根拠の構築を支援しています。これは、責任ある生体認証に関する大まかな取り組みから、説明可能かつ正当化可能な評価手法へと移行する必要がある試験所、技術プロバイダー、および組織にとって重要な意味を持ちます。
もはや問題は、単に「この顔認識システムは公平か？」ということだけではありません。より適切な問いは、「重要な条件下で、適切な指標を用いて、正しい形の不均衡を測定できたか？」ということです。
K. N. Sanon、J. D. Manno、C. Charrier、C. Rosenberger、「公平性指標に不一致が生じた場合：顔認識システムへの運用上の示唆」、『IEEE Transactions on Biometrics, Behavior, and Identity Science』、doi: 10.1109/TBIOM.2026.3720756。
学術論文をダウンロードして をダウンロードして、堅牢かつ信頼性の高い生体認証評価を行うために、適切な公平性指標をどのように選択すべきかを探ってみてください。
