A equidade está se tornando um aspecto cada vez mais importante da avaliação biométrica. Para as organizações que desenvolvem, adquirem ou implantam sistemas de reconhecimento facial, já não basta saber se um sistema é preciso de maneira geral. Elas também precisam ter a certeza de que as diferenças de desempenho entre os grupos demográficos foram avaliadas de forma significativa.
Isso parece simples até o início da avaliação. Não existe um único índice de equidade amplamente aceito. Diferentes métricas medem diferentes formas de disparidade, e o mesmo sistema pode receber conclusões distintas sobre equidade, dependendo da métrica selecionada. Para laboratórios de testes, fornecedores de tecnologia e organizações que se preparam para atividades de conformidade ou certificação, isso cria um problema prático: como confiar em um resultado de equidade se a escolha da métrica pode alterar a conclusão?
Um estudo recente conduzido pelo Fime em parceria com a Université Caen Normandie, a ENSICAEN, o CNRS e o laboratório GREYC aborda essa questão diretamente. A pesquisa compara 19 métricas de equidade em quatro conjuntos de dados públicos de rostos e estuda três fontes de viés: escolhas algorítmicas, variações na qualidade dos dados e das imagens e mudanças nos limites de decisão operacionais. Sua mensagem principal é clara: a equidade não pode ser reduzida a uma única métrica universal. A métrica precisa se adequar à forma como o viés se manifesta no sistema.
Por que a avaliação do viés representa um desafio para a certificação e a avaliação da conformidade?
A certificação e a avaliação da conformidade dependem de evidências repetíveis. Um resultado deve ser compreensível, reproduzível e relevante para as condições em que um produto será utilizado. A avaliação da imparcialidade acrescenta mais uma camada de complexidade, pois a disparidade demográfica pode surgir em vários pontos de um sistema biométrico.
Isso pode ser resultado do próprio algoritmo. Pode ser influenciado pela composição dos dados de avaliação. Pode surgir quando a qualidade da imagem se deteriora. Também pode mudar quando o limiar de decisão é ajustado para atender a um objetivo de segurança ou de experiência do usuário. Um sistema que parece equilibrado em uma determinada condição pode, portanto, se comportar de maneira diferente em outra.
Isso é importante para qualquer pessoa que precise demonstrar que um sistema biométrico foi avaliado de forma responsável. Se uma métrica de equidade for insensível ao tipo de disparidade que realmente existe, o resultado pode parecer tranquilizador sem, no entanto, capturar o risco relevante. Por outro lado, uma métrica que reaja fortemente a um fenômeno pode superestimar outro. A dificuldade não está simplesmente em calcular um indicador de equidade. A dificuldade está em saber se esse indicador é o adequado para a questão em questão.
Como a ciência pode tornar a avaliação da equidade mais confiável?
O estudo começa alterando a forma como as métricas de equidade são comparadas. Em vez de avaliar cada métrica isoladamente, os pesquisadores colocam 19 métricas no mesmo contexto experimental e as submetem a fontes controladas de variação.
No que diz respeito ao viés operacional e relacionado aos dados, o nível de perturbação é aumentado progressivamente. A qualidade da imagem é degradada em etapas controladas, a representatividade dos subgrupos é reduzida em proporções conhecidas e os limites de decisão são tornados mais restritivos de acordo com regimes operacionais orientados ao usuário e à segurança. Como a ordem de gravidade é conhecida, a resposta de cada métrica de equidade pode ser verificada em relação a uma referência.
Dois critérios são então utilizados para avaliar essa resposta. O primeiro é a monotonicidade: a métrica evolui de maneira consistente à medida que o nível de viés aumenta? O segundo é a estabilidade: ela fornece conclusões suficientemente consistentes entre os grupos demográficos e interseccionais? Uma métrica é considerada útil para uma condição controlada quando satisfaz ambos os critérios.
Essa é uma mudança importante para a avaliação prática. Em vez de questionar se uma métrica é matematicamente válida em geral, a estrutura levanta uma questão mais operacional: em que condições essa métrica fornece um sinal confiável?
Então surge o próximo problema: com tantas métricas de equidade, qual delas deve ser usada?
É aqui que o problema se torna bem concreto. A comunidade de biometria dispõe atualmente de métricas baseadas em diferenças absolutas de erro, razões, medidas de desigualdade, separação de pontuações, compactação e distribuições completas de pontuações. Elas não são intercambiáveis porque não observam a mesma coisa.
Uma métrica que analisa as diferenças entre a Taxa de Falsos Positivos e a Taxa de Falsos Negativos concentra-se nas consequências no nível da decisão. Uma métrica que estuda as distribuições de pontuação pode detectar mudanças antes mesmo que um limite de decisão seja aplicado. Outra pode ser particularmente sensível à diferença relativa entre os grupos com melhor e pior desempenho.
O estudo mostra que essa diversidade não é, por si só, uma fraqueza. O problema surge quando uma métrica é selecionada sem levar em conta a origem do viés. Nessa situação, as organizações correm o risco de tratar a métrica como o objetivo em si, quando ela deveria ser uma ferramenta escolhida para responder a uma questão específica de avaliação.
E se esses indicadores não coincidirem?
É possível que ambos estejam dizendo a verdade, mas sobre aspectos diferentes do sistema.
Os experimentos mostram que nenhuma medida de equidade, por si só, oferece o quadro mais confiável em todas as situações. Algumas abordagens são mais eficazes para identificar diferenças nas taxas de erro entre grupos demográficos, enquanto outras são mais sensíveis a mudanças nas distribuições subjacentes das pontuações biométricas. Outras medidas tornam-se mais relevantes quando a diferença entre pontuações genuínas e de impostores muda, ou quando o limiar operacional do sistema é ajustado.
O mesmo se aplica à qualidade da imagem. O desfoque de movimento, o ruído do sensor, a baixa exposição e a compressão JPEG não afetam as comparações biométricas da mesma maneira. Algumas degradações alteram principalmente a separação das pontuações, enquanto outras reformulam as distribuições das pontuações ou criam diferenças maiores nas taxas de erro entre os grupos. Isso significa que a maneira mais adequada de avaliar a imparcialidade pode variar dependendo do tipo de degradação em questão.
Uma discrepância entre os resultados relativos à equidade não significa, portanto, que um deles esteja necessariamente errado. Pode significar simplesmente que estão sendo medidos aspectos diferentes do mesmo sistema.
Para fins de certificação e testes, essa distinção é essencial. O objetivo não deve ser fazer com que todas as medidas de imparcialidade cheguem ao mesmo veredicto. Deve ser demonstrar que a abordagem escolhida é adequada ao tipo de viés, ao risco que está sendo avaliado e às condições operacionais em que o sistema biométrico será utilizado.
Como isso pode se tornar um método prático para selecionar métricas?
A pesquisa propõe um princípio de seleção que leva em conta a estrutura: comece pela manifestação esperada do viés e, em seguida, escolha a família de métricas projetada para detectá-lo.
Se a preocupação for a variabilidade amostral, métricas de erro absoluto limitado podem oferecer uma visão estável, enquanto métricas de distribuição podem acrescentar informações sobre mudanças nas distribuições subjacentes das pontuações. Se a degradação da imagem alterar a separação entre pontuações genuínas e falsas, as métricas baseadas na separação tornam-se relevantes. Se o principal risco decorrer do limiar operacional, métricas que capturam a desigualdade relativa ou acompanham conjuntamente as mudanças nas taxas de erro podem ser mais informativas.
O estudo também defende o uso de métricas complementares quando um único número não é capaz de descrever o problema por completo. Combinar uma medida no nível da decisão com uma medida de distribuição de pontuação pode oferecer aos avaliadores duas perspectivas diferentes, mas úteis, sobre o mesmo sistema. O importante é que essa combinação seja motivada pelo mecanismo de viés esperado, e não aplicada mecanicamente.
O que as organizações devem perguntar antes de confiar em um resultado de equidade?
Isso muda o rumo da discussão. Em vez de perguntar apenas: “Esse sistema foi testado quanto à equidade?”, as organizações deveriam perguntar como a equidade foi definida, quais grupos demográficos foram considerados, em quais condições operacionais o sistema foi avaliado, qual métrica foi selecionada e por que essa métrica é relevante para o risco identificado.
Essa abordagem também é útil quando o acesso ao modelo biométrico é limitado. O estudo observa que as avaliações do tipo “closed box” ainda podem utilizar valores da Taxa de Falsa Correspondência e da Taxa de Falsa Não Correspondência em nível de grupo, juntamente com métricas de equidade baseadas em erros. Quando distribuições completas de pontuação estão disponíveis, os avaliadores podem ir além e estudar a separação, a compactação e as mudanças na distribuição.
As implicações também se estendem às normas. A ISO/IEC 19795-10 define várias medidas agregadas de erro, mas o estudo mostra que essas variantes podem se comportar de maneira diferente nas mesmas condições controladas. Isso sugere que as orientações futuras não devem se limitar a definir como as métricas de equidade são calculadas. Elas também devem ajudar os laboratórios a determinar quando cada métrica é apropriada.
Da pesquisa à garantia biométrica confiável
Para a Fime, o valor desse trabalho reside na capacidade de transformar uma questão científica complexa em algo que possa servir de base para decisões reais de avaliação. A equidade não é significativa simplesmente porque um relatório contém uma pontuação. Ela se torna significativa quando a medição está ligada ao sistema, aos dados, ao ponto de operação e aos riscos do caso de uso pretendido.
Ao contribuir para as pesquisas sobre o comportamento das métricas de equidade, a Fime está ajudando a construir as evidências necessárias para métodos de teste mais robustos e orientações futuras mais claras. Isso é importante para laboratórios, fornecedores de tecnologia e organizações que precisam passar de compromissos genéricos com a biometria responsável para métodos de avaliação que possam ser explicados e defendidos.
A questão já não é simplesmente: “Esse sistema de reconhecimento facial é justo?”. A pergunta mais pertinente é: “Será que medimos a forma correta de disparidade, com a métrica adequada, nas condições que realmente importam?”.
K. N. Sanon, J. D. Manno, C. Charrier e C. Rosenberger, “Quando as métricas de equidade divergem: implicações operacionais para sistemas de reconhecimento facial”, em IEEE Transactions on Biometrics, Behavior, and Identity Science, doi: 10.1109/TBIOM.2026.3720756.
Baixe o artigo científico para explorar como selecionar as métricas de equidade adequadas para avaliações biométricas robustas e confiáveis.
