L'équité occupe une place de plus en plus importante dans l'évaluation biométrique. Pour les organisations qui développent, achètent ou déploient des systèmes de reconnaissance faciale, il ne suffit plus de savoir si un système est globalement précis. Elles doivent également avoir l'assurance que les différences de performances entre les différents groupes démographiques ont été évaluées de manière pertinente.
Cela semble simple, jusqu'à ce que l'évaluation commence. Il n'existe pas de score d'équité unique et universellement reconnu. Différents indicateurs mesurent différentes formes de disparité, et un même système peut faire l'objet de conclusions différentes en matière d'équité selon l'indicateur choisi. Pour les laboratoires d'essais, les fournisseurs de technologies et les organisations qui se préparent à des activités de mise en conformité ou de certification, cela pose un problème concret : comment se fier à un résultat d'équité si le choix de l'indicateur peut modifier la conclusion ?
Une étude récente menée par le Fime en collaboration avec l’Université Caen Normandie, l’ENSICAEN, le CNRS et le laboratoire GREYC aborde directement cette question. Cette recherche compare 19 indicateurs d’équité sur quatre ensembles de données publics consacrés aux visages et étudie trois sources de biais : les choix algorithmiques, les variations dans la qualité des données et des images, ainsi que les modifications des seuils de décision opérationnels. Son message principal est clair : l’équité ne peut se réduire à un seul indicateur universel. L’indicateur doit être adapté à la manière dont le biais se manifeste dans le système.
Pourquoi l'évaluation des biais constitue-t-elle un défi pour la certification et l'évaluation de la conformité ?
La certification et l'évaluation de la conformité reposent sur des preuves reproductibles. Un résultat doit être compréhensible, reproductible et adapté aux conditions d'utilisation du produit. L'évaluation de l'équité ajoute un niveau de complexité supplémentaire, car des disparités démographiques peuvent apparaître à plusieurs étapes d'un système biométrique.
Cela peut provenir de l'algorithme lui-même. Cela peut être influencé par la composition des données d'évaluation. Cela peut apparaître lorsque la qualité de l'image se détériore. Cela peut également changer lorsque le seuil de décision est ajusté pour répondre à un objectif de sécurité ou d'expérience utilisateur. Un système qui semble équilibré dans une situation donnée peut donc se comporter différemment dans une autre.
Cela revêt une importance particulière pour quiconque doit démontrer qu’un système biométrique a été évalué de manière responsable. Si un indicateur d’équité ne tient pas compte du type de disparité qui existe réellement, le résultat peut sembler rassurant sans pour autant refléter le risque réel. À l’inverse, un indicateur qui réagit fortement à un phénomène donné peut surestimer un autre. La difficulté ne réside pas simplement dans le calcul d’un indicateur d’équité. Elle consiste à savoir si cet indicateur est bien le plus adapté à la question posée.
Comment la science peut-elle rendre l'évaluation de l'équité plus fiable ?
Cette étude commence par modifier la manière dont les indicateurs d'équité sont comparés. Au lieu d'évaluer chaque indicateur séparément, les chercheurs placent 19 indicateurs dans un même cadre expérimental et les soumettent à des sources de variation contrôlées.
En ce qui concerne les biais liés aux données et aux opérations, le niveau de perturbation est augmenté progressivement. La qualité de l'image est dégradée par étapes contrôlées, la représentation des sous-groupes est réduite selon des proportions connues, et les seuils de décision sont resserrés en fonction de modes de fonctionnement axés sur l'utilisateur et sur la sécurité. L'ordre de gravité étant connu, la réponse de chaque indicateur d'équité peut être vérifiée par rapport à une référence.
Deux critères sont ensuite utilisés pour évaluer cette réponse. Le premier est la monotonie : l'indicateur évolue-t-il de manière cohérente à mesure que le niveau de biais augmente ? Le second est la stabilité : permet-il de tirer des conclusions suffisamment cohérentes entre les différents groupes démographiques et intersectionnels ? Un indicateur est considéré comme utile pour une condition contrôlée lorsqu'il satisfait à ces deux critères.
Il s'agit là d'un changement important pour l'évaluation pratique. Plutôt que de se demander si un indicateur est mathématiquement valable de manière générale, ce cadre pose une question plus opérationnelle : dans quelles conditions cet indicateur fournit-il un signal fiable ?
Vient ensuite le problème suivant : parmi tant de mesures d'équité, laquelle faut-il utiliser ?
C'est là que le problème devient très concret. La communauté des spécialistes de la biométrie dispose désormais d'indicateurs basés sur les différences d'erreur absolues, les ratios, les mesures d'inégalité, la séparation des scores, la compacité et les distributions complètes des scores. Ces indicateurs ne sont pas interchangeables, car ils ne mesurent pas la même chose.
Un indicateur qui examine les écarts entre le taux de fausses correspondances et le taux de fausses non-correspondances se concentre sur les conséquences au niveau de la prise de décision. Un indicateur qui analyse la répartition des scores peut détecter des changements avant même qu’un seuil de décision ne soit appliqué. Un autre peut être particulièrement sensible à l’écart relatif entre les groupes les plus performants et les moins performants.
L'étude montre que cette diversité n'est pas une faiblesse en soi. Le problème survient lorsqu'un indicateur est choisi sans tenir compte de la source de biais. Dans ce cas, les organisations risquent de considérer cet indicateur comme un objectif en soi, alors qu'il devrait être un outil choisi pour répondre à une question d'évaluation spécifique.
Et si ces indicateurs ne concordaient pas ?
Il se peut qu'ils disent tous les deux la vérité, mais sur des aspects différents du système.
Les expériences montrent qu'aucune mesure d'équité ne permet à elle seule de fournir une image fiable dans toutes les situations. Certaines approches permettent de mieux mettre en évidence les différences de taux d'erreur entre les groupes démographiques, tandis que d'autres sont plus sensibles aux variations des distributions sous-jacentes des scores biométriques. D'autres mesures gagnent en pertinence lorsque la distinction entre les scores authentiques et ceux des imposteurs évolue, ou lorsque le seuil de fonctionnement du système est ajusté.
Il en va de même pour la qualité de l'image. Le flou de mouvement, le bruit du capteur, la sous-exposition et la compression JPEG n'affectent pas les comparaisons biométriques de la même manière. Certaines dégradations modifient principalement l'écart entre les scores, tandis que d'autres modifient la répartition des scores ou créent des différences plus importantes dans les taux d'erreur entre les groupes. Cela signifie que la manière la plus appropriée d'évaluer l'équité peut varier en fonction du type de dégradation considéré.
Une divergence entre les résultats en matière d'équité ne signifie donc pas que l'un d'entre eux soit nécessairement erroné. Cela peut simplement indiquer que ce sont différents aspects d'un même système qui sont mesurés.
En matière de certification et d’essais, cette distinction est essentielle. L’objectif ne doit pas être de faire en sorte que toutes les mesures d’équité aboutissent au même verdict, mais plutôt de démontrer que l’approche choisie est adaptée au type de biais, au risque évalué et aux conditions d’exploitation dans lesquelles le système biométrique sera utilisé.
Comment cette approche pourrait-elle devenir une méthode concrète pour sélectionner des indicateurs ?
Cette étude propose un principe de sélection tenant compte de la structure : partir de la manifestation attendue du biais, puis choisir la famille de mesures conçue pour le détecter.
Si le problème réside dans la variabilité d'échantillonnage, les mesures d'erreur absolue bornées peuvent offrir une vision stable, tandis que les mesures de distribution peuvent apporter des informations supplémentaires sur l'évolution des distributions des scores sous-jacentes. Si la dégradation de l'image modifie la séparation entre les scores des personnes authentiques et ceux des imposteurs, les mesures basées sur la séparation deviennent pertinentes. Si le risque principal provient du seuil de fonctionnement, les mesures qui capturent l'inégalité relative ou qui suivent conjointement l'évolution des taux d'erreur peuvent s'avérer plus informatives.
Cette étude plaide également en faveur de l'utilisation d'indicateurs complémentaires lorsqu'un seul chiffre ne suffit pas à décrire l'ensemble du problème. La combinaison d'une mesure au niveau de la décision et d'une mesure de la distribution des scores peut offrir aux évaluateurs deux perspectives différentes, mais utiles, sur un même système. Il est important de noter que cette combinaison doit être justifiée par le mécanisme de biais attendu, et non appliquée de manière mécanique.
Quelles questions les organisations doivent-elles se poser avant de se fier à un résultat en matière d'équité ?
Cela change la donne. Au lieu de se contenter de demander : « Ce système a-t-il été testé en termes d'équité ? », les organisations devraient demander comment l'équité a été définie, quels groupes démographiques ont été pris en compte, dans quelles conditions d'exploitation le système a été évalué, quel indicateur a été retenu et pourquoi cet indicateur est pertinent au regard du risque identifié.
Cette approche s'avère également utile lorsque l'accès au modèle biométrique est limité. L'étude souligne que les évaluations en « boîte fermée » peuvent tout de même utiliser les valeurs du taux de fausses correspondances (False Match Rate) et du taux de fausses non-correspondances (False Non Match Rate) au niveau du groupe, associées à des indicateurs d'équité basés sur l'erreur. Lorsque les distributions complètes des scores sont disponibles, les évaluateurs peuvent aller plus loin et étudier la séparation, la compacité et les variations de distribution.
Ces implications s'étendent également aux normes. La norme ISO/IEC 19795-10 définit plusieurs mesures d'erreur agrégées, mais l'étude montre que ces variantes peuvent se comporter différemment dans des conditions contrôlées identiques. Cela suggère que les futures recommandations ne devraient pas se contenter de définir la manière dont les indicateurs d'équité sont calculés ; elles devraient également aider les laboratoires à déterminer dans quels cas chaque indicateur est approprié.
De la recherche à une assurance biométrique fiable
Pour Fime, l'intérêt de ce travail réside dans la capacité à transformer une question scientifique complexe en un élément susceptible d'étayer des décisions d'évaluation concrètes. L'équité n'a pas de sens simplement parce qu'un rapport contient une note. Elle prend tout son sens lorsque la mesure est mise en relation avec le système, les données, le point de fonctionnement et les risques liés au cas d'utilisation prévu.
En contribuant à la recherche sur le comportement des indicateurs d’équité, Fime aide à rassembler les données nécessaires à la mise au point de méthodes de test plus fiables et à l’élaboration de recommandations futures plus claires. Cela revêt une importance particulière pour les laboratoires, les fournisseurs de technologies et les organisations qui doivent passer de vagues engagements en faveur d’une biométrie responsable à des méthodes d’évaluation pouvant être expliquées et défendues.
La question n'est plus simplement : « Ce système de reconnaissance faciale est-il équitable ? » Il serait plus pertinent de se demander : « Avons-nous mesuré la bonne forme de disparité, avec le bon indicateur, dans les conditions qui comptent vraiment ? »
K. N. Sanon, J. D. Manno, C. Charrier et C. Rosenberger, « When Fairness Metrics Disagree: Operational Implications for Face Recognition Systems », dans *IEEE Transactions on Biometrics, Behavior, and Identity Science*, doi : 10.1109/TBIOM.2026.3720756.
Téléchargez l'article scientifique pour découvrir comment choisir les bons indicateurs d'équité afin de réaliser des évaluations biométriques robustes et fiables.
