La equidad está cobrando cada vez más importancia en la evaluación biométrica. Para las organizaciones que desarrollan, adquieren o implantan sistemas de reconocimiento facial, ya no basta con saber si un sistema es preciso en general. También necesitan tener la seguridad de que las diferencias de rendimiento entre los distintos grupos demográficos se han evaluado de forma significativa.
Esto parece sencillo hasta que comienza la evaluación. No existe una única puntuación de equidad aceptada. Las diferentes métricas miden distintas formas de disparidad, y un mismo sistema puede dar lugar a conclusiones diferentes en materia de equidad dependiendo de la métrica seleccionada. Para los laboratorios de ensayo, los proveedores de tecnología y las organizaciones que se preparan para actividades de cumplimiento normativo o certificación, esto plantea un problema práctico: ¿cómo se puede confiar en un resultado de equidad si la elección de la métrica puede alterar la conclusión?
Un estudio reciente llevado a cabo por Fime en colaboración con la Universidad de Caen Normandía, ENSICAEN, el CNRS y el laboratorio GREYC aborda esta cuestión directamente. La investigación compara 19 métricas de equidad en cuatro conjuntos de datos públicos de rostros y analiza tres fuentes de sesgo: las decisiones algorítmicas, las variaciones en los datos y la calidad de las imágenes, y los cambios en los umbrales de decisión operativos. Su mensaje principal es claro: la equidad no puede reducirse a una única métrica universal. La métrica debe adaptarse a la forma en que el sesgo se manifiesta en el sistema.
¿Por qué supone la evaluación del sesgo un reto para la certificación y la evaluación de la conformidad?
La certificación y la evaluación de la conformidad se basan en pruebas repetibles. Un resultado debe ser comprensible, reproducible y pertinente para las condiciones en las que se utilizará un producto. La evaluación de la equidad añade otro nivel de complejidad, ya que la disparidad demográfica puede aparecer en varios puntos de un sistema biométrico.
Puede deberse al propio algoritmo. Puede verse influido por la composición de los datos de evaluación. Puede surgir cuando la calidad de la imagen se deteriora. También puede variar cuando se ajusta el umbral de decisión para cumplir un objetivo de seguridad o de experiencia del usuario. Por lo tanto, un sistema que parece equilibrado en una situación determinada puede comportarse de forma diferente en otra.
Esto es importante para cualquiera que necesite demostrar que un sistema biométrico se ha evaluado de forma responsable. Si un indicador de equidad no tiene en cuenta el tipo de disparidad que realmente existe, el resultado puede parecer tranquilizador sin reflejar el riesgo real. Por el contrario, un indicador que reacciona con fuerza ante un fenómeno puede exagerar otro. La dificultad no radica simplemente en calcular un indicador de equidad, sino en saber si ese indicador es el adecuado para la cuestión que se plantea.
¿Cómo puede la ciencia hacer que la evaluación de la equidad sea más fiable?
El estudio comienza modificando la forma en que se comparan los indicadores de equidad. En lugar de evaluar cada indicador por separado, los investigadores sitúan los 19 indicadores en el mismo marco experimental y los someten a fuentes controladas de variación.
En el caso de los sesgos relacionados con los datos y los sesgos operativos, el nivel de perturbación se incrementa progresivamente. La calidad de la imagen se degrada en etapas controladas, la representación de los subgrupos se reduce en proporciones conocidas y los umbrales de decisión se hacen más estrictos de acuerdo con los regímenes operativos orientados al usuario y a la seguridad. Dado que se conoce el orden de gravedad, la respuesta de cada métrica de equidad puede compararse con una referencia.
A continuación, se utilizan dos criterios para evaluar esa respuesta. El primero es la monotonía: ¿evoluciona la métrica de forma coherente a medida que aumenta el nivel de sesgo? El segundo es la estabilidad: ¿ofrece conclusiones suficientemente coherentes en todos los grupos demográficos e interseccionales? Se considera que una métrica es útil para una condición controlada cuando cumple ambos criterios.
Se trata de un cambio importante para la evaluación práctica. En lugar de preguntarse si una métrica es matemáticamente válida en general, el marco plantea una cuestión más operativa: ¿en qué condiciones ofrece esta métrica una señal fiable?
Entonces surge el siguiente problema: con tantas métricas de equidad, ¿cuál se debería utilizar?
Aquí es donde el problema se vuelve muy concreto. La comunidad biométrica dispone ahora de métricas basadas en diferencias de error absolutas, ratios, medidas de desigualdad, separación de puntuaciones, compacidad y distribuciones completas de puntuaciones. No son intercambiables porque no miden lo mismo.
Una métrica que analiza las diferencias entre la tasa de falsos positivos y la tasa de falsos negativos se centra en las consecuencias a nivel de decisión. Una métrica que estudia las distribuciones de puntuaciones puede detectar cambios incluso antes de que se aplique un umbral de decisión. Otra puede ser especialmente sensible a la diferencia relativa entre los grupos con mejor y peor rendimiento.
El estudio pone de manifiesto que esta diversidad no es, en sí misma, un punto débil. El problema surge cuando se elige un indicador sin tener en cuenta el origen del sesgo. En esa situación, las organizaciones corren el riesgo de considerar el indicador como el objetivo en sí mismo, cuando en realidad debería ser una herramienta elegida para responder a una pregunta de evaluación concreta.
¿Y si esos indicadores no coinciden?
Puede que ambos digan la verdad, pero sobre aspectos distintos del sistema.
Los experimentos demuestran que ninguna medida de equidad por sí sola ofrece la imagen más fiable en todas las situaciones. Algunos enfoques son más eficaces a la hora de captar las diferencias en las tasas de error entre grupos demográficos, mientras que otros son más sensibles a los cambios en las distribuciones subyacentes de las puntuaciones biométricas. Otras medidas cobran mayor relevancia cuando varía la diferencia entre las puntuaciones auténticas y las de los impostores, o cuando se ajusta el umbral de funcionamiento del sistema.
Lo mismo ocurre con la calidad de la imagen. El desenfoque por movimiento, el ruido del sensor, la exposición insuficiente y la compresión JPEG no afectan de la misma manera a las comparaciones biométricas. Algunas degradaciones alteran principalmente la separación entre puntuaciones, mientras que otras modifican la distribución de las puntuaciones o generan mayores diferencias en las tasas de error entre grupos. Esto significa que la forma más adecuada de evaluar la equidad puede variar en función del tipo de degradación que se tenga en cuenta.
Por lo tanto, una discrepancia entre los resultados relativos a la equidad no significa necesariamente que uno de ellos sea erróneo. Puede significar simplemente que se están midiendo diferentes aspectos del mismo sistema.
En lo que respecta a la certificación y las pruebas, esta distinción es esencial. El objetivo no debe ser que todas las medidas de equidad den el mismo resultado, sino demostrar que el enfoque seleccionado es adecuado para el tipo de sesgo, el riesgo que se está evaluando y las condiciones de funcionamiento en las que se utilizará el sistema biométrico.
¿Cómo puede convertirse esto en un método práctico para seleccionar indicadores?
La investigación propone un principio de selección que tiene en cuenta la estructura: partir de la manifestación esperada del sesgo y, a continuación, elegir la familia de métricas diseñada para detectarlo.
Si la preocupación es la variabilidad del muestreo, las métricas de error absoluto acotado pueden ofrecer una visión estable, mientras que las métricas de distribución pueden aportar información sobre los cambios en las distribuciones subyacentes de las puntuaciones. Si la degradación de la imagen altera la separación entre las puntuaciones auténticas y las falsas, las métricas basadas en la separación cobran relevancia. Si el principal riesgo proviene del umbral de funcionamiento, las métricas que captan la desigualdad relativa o que registran conjuntamente los cambios en las tasas de error pueden resultar más informativas.
El estudio también respalda el uso de métricas complementarias cuando una sola cifra no basta para describir el problema en su totalidad. La combinación de una medida a nivel de decisión con una medida de distribución de puntuaciones puede ofrecer a los evaluadores dos perspectivas diferentes, pero útiles, sobre un mismo sistema. Lo importante es que dicha combinación se base en el mecanismo de sesgo previsto y no se aplique de forma mecánica.
¿Qué deben preguntarse las organizaciones antes de dar por válido un resultado sobre equidad?
Esto cambia el enfoque del debate. En lugar de limitarse a preguntar: «¿Se ha comprobado que este sistema sea imparcial?», las organizaciones deberían preguntarse cómo se definió la imparcialidad, qué grupos demográficos se tuvieron en cuenta, en qué condiciones de funcionamiento se evaluó el sistema, qué indicador se seleccionó y por qué ese indicador es relevante para el riesgo identificado.
Este enfoque también resulta útil cuando el acceso al modelo biométrico es limitado. El estudio señala que las evaluaciones de «caja cerrada» pueden seguir utilizando los valores de la tasa de falsos aciertos y la tasa de falsos fallos a nivel de grupo junto con métricas de equidad basadas en el error. Cuando se dispone de distribuciones completas de puntuaciones, los evaluadores pueden ir más allá y estudiar la separación, la compacidad y los cambios en la distribución.
Las implicaciones se extienden también a las normas. La norma ISO/IEC 19795-10 define varias medidas de error agregadas, pero el estudio muestra que estas variantes pueden comportarse de forma diferente en las mismas condiciones controladas. Esto sugiere que las futuras directrices no solo deberían definir cómo se calculan las métricas de equidad, sino que también deberían ayudar a los laboratorios a determinar cuándo es adecuada cada métrica.
De la investigación a una garantía biométrica fiable
Para Fime, el valor de este trabajo radica en convertir una cuestión científica compleja en algo que pueda servir de base para tomar decisiones de evaluación reales. La equidad no tiene sentido por el mero hecho de que un informe contenga una puntuación. Adquiere sentido cuando la medición está relacionada con el sistema, los datos, el punto de funcionamiento y los riesgos del caso de uso previsto.
Al contribuir a la investigación sobre el comportamiento de los indicadores de equidad, Fime está ayudando a recabar las pruebas necesarias para desarrollar métodos de ensayo más sólidos y ofrecer unas directrices más claras de cara al futuro. Esto es importante para los laboratorios, los proveedores de tecnología y las organizaciones que necesitan pasar de compromisos generales sobre el uso responsable de la biometría a métodos de evaluación que puedan explicarse y defenderse.
La pregunta ya no es simplemente «¿Es justo este sistema de reconocimiento facial?». La pregunta más acertada es: «¿Hemos medido el tipo adecuado de disparidad, con el indicador adecuado y en las condiciones que realmente importan?».
K. N. Sanon, J. D. Manno, C. Charrier y C. Rosenberger, «Cuando las métricas de equidad discrepan: implicaciones operativas para los sistemas de reconocimiento facial», en IEEE Transactions on Biometrics, Behavior, and Identity Science, doi: 10.1109/TBIOM.2026.3720756.
Descarga el artículo científico para descubrir cómo seleccionar los indicadores de equidad adecuados para realizar evaluaciones biométricas sólidas y fiables.
