Métricas independentes de limiar

Todas as métricas apresentadas na seção anterior só podem ser calculadas uma vez que uma matriz de confusão esteja disponível, o que requer a definição de um limiar de decisão $t$ sobre as probabilidades retornadas pelo classificador. Para avaliar o desempenho de um classificador em uma variedade de limiares diferentes, duas técnicas de avaliação bem conhecidas são a Curva ROC (Receiver Operating Characteristic) e a Curva Precisão-Recall (PR). Ambas as técnicas permitem fornecer uma pontuação de desempenho geral, na forma da medida de área sob a curva (AUC).

Esta seção apresenta essas duas técnicas e discute seus prós e contras. Em particular, mostraremos que a Curva PR e a Precisão Média (como métrica que calcula a área sob a Curva PR) são mais adequadas para problemas de detecção de fraude do que a Curva ROC e o AUC ROC, respectivamente.

Curva ROC (Receiver Operating Characteristic)¶

A Curva ROC Fawcett (2004)Fawcett (2006) é obtida plotando o Recall (ou Taxa de Verdadeiros Positivos - TPR) contra a Taxa de Falsos Positivos (FPR) para todos os diferentes limiares de classificação $t$. É o padrão de facto para estimar o desempenho de sistemas de detecção de fraude na literatura Dal Pozzolo (2015).

Um classificador K é considerado mais performático do que um classificador W no espaço ROC somente se a curva de K dominar sempre a curva de W.

O melhor classificador corresponde ao ponto (0,1) no espaço ROC (sem falsos negativos e sem falsos positivos), enquanto um classificador que prevê aleatoriamente teria desempenho ao longo da diagonal que conecta o canto inferior esquerdo ao canto superior direito. Quando não há um vencedor claro (por exemplo, o classificador K domina W apenas em uma parte do espaço ROC), a comparação é geralmente feita calculando a Área Sob a Curva ROC (AUC ROC). O AUC ROC é geralmente calculado com a regra trapezoidal (interpolação linear) Fawcett (2006), que fornece uma probabilidade esperada para a TPR e FPR em caso de empates nos valores de previsão.

A Curva ROC é obtida calculando a TPR e a FPR para todos os valores possíveis de probabilidade de fraude retornados por um classificador.

Vamos ilustrar sua construção reutilizando o exemplo simples apresentado na seção anterior. O exemplo contém 10 transações, das quais 2 são fraudulentas e 8 legítimas. Os rótulos são fornecidos por uma lista true_labels. Assumimos que um vetor de probabilidades de fraude foi retornado por um detector de fraude. O vetor de probabilidades de fraude é fornecido por uma lista fraud_probabilities.

Os primeiros passos no cálculo da Curva ROC consistem em obter a lista de todos os limiares únicos possíveis para os quais a TPR e a FPR serão calculadas, e ordená-los em ordem decrescente. Um limiar maior que 1 (definido como 1,1) também é adicionado para ter o caso em que todas as transações são preditas como legítimas.

Isso nos dá uma lista de oito limiares únicos a serem considerados neste exemplo. A esses limiares estão associados todos os possíveis pares (TPR, FPR) que o classificador pode retornar.

Reutilizando a função threshold_based_metrics definida na seção anterior, vamos calcular a TPR e a FPR para cada um desses limiares.

Como esperado, quanto menor o limiar, maior a TPR (mais fraudes são detectadas), mas maior a FPR (mais transações legítimas são classificadas como fraudulentas). O primeiro ponto da curva consiste em prever todas as transações como legítimas (limiar 1,1). A TPR resultante é zero (nenhuma fraude detectada), e a FPR é 0 (nenhum falso positivo). O último ponto da curva consiste em prever todas as transações como fraudulentas (limiar 0). A TPR resultante é 1 (todas as fraudes detectadas) e a FPR é 1 (todas as transações legítimas classificadas incorretamente como fraudes).

Como a Curva ROC é uma métrica padrão em classificação, a biblioteca Python sklearn.metrics fornece uma função roc_curve para calcular os limiares, bem como a FPR e a TPR correspondentes.

Vamos agora plotar a Curva ROC resultante. Notamos que o primeiro limiar (1,9) difere do que escolhemos anteriormente (1,1). Isso ocorre porque a função sklearn.metrics.roc_curve define o primeiro limiar como 1 mais o segundo limiar (0,9), resultando em 1,9 neste caso.

As Curvas ROC têm três propriedades importantes Fernández et al. (2018). Primeiro, são funções monótonas: a TPR só pode aumentar à medida que a FPR aumenta. Segundo, a área sob a curva tem uma interpretação probabilística: o AUC ROC pode ser interpretado como a probabilidade de que as pontuações dadas por um classificador ranquearão uma instância positiva aleatoriamente escolhida acima de uma instância negativa aleatoriamente escolhida. Terceiro, o AUC ROC de um classificador aleatório é $0,5$.

A última propriedade pode ser facilmente verificada definindo todas as previsões como 0,5. Isso nos dá uma lista de apenas dois limiares. O primeiro é 1,5, que classifica todas as previsões como legítimas. O segundo é 0,5, que classifica todas as previsões como fraudulentas.

Isso resulta em uma linha indo de [0,0] a [1,1]. O AUC ROC resultante é a área sob essa linha, que é 0,5.

Vamos agora reutilizar o cenário experimental do sistema de detecção de fraude de linha de base apresentado no Capítulo 3. Uma semana de dados é usada para treinamento e uma semana para teste. Cinco modelos de predição são considerados: regressão logística, uma árvore de decisão com profundidade dois e uma árvore de decisão de profundidade ilimitada, uma floresta aleatória com 25 árvores e um modelo de boosting com parâmetros padrão. As Curvas ROC e seus AUC são reportados abaixo para os cinco modelos.

As curvas mostram que as árvores de decisão têm os menores desempenhos, enquanto a floresta aleatória, a regressão logística e o boosting têm desempenhos similares. Podemos notar que as curvas para as duas árvores de decisão têm apenas alguns pontos. Para a árvore com profundidade dois, o motivo é que ela tem apenas quatro folhas, portanto prevê apenas quatro valores diferentes e, consequentemente, tem apenas quatro limiares possíveis. Para a árvore com profundidade ilimitada, o motivo é que todas as suas folhas são puras no conjunto de treinamento (preveem uma probabilidade de 1 ou de 0). Portanto, este modelo tem apenas dois limiares possíveis.

As Curvas ROC são relevantes para ter uma noção do desempenho de um classificador em toda a faixa de valores possíveis de FPR. Seu interesse para detecção de fraude é, no entanto, limitado, pois um objetivo importante da detecção de fraude é manter a FPR muito baixa.

Para ter uma noção de quão baixa a FPR deve ser mantida, vamos lembrar que os falsos positivos são transações legítimas que são preditas como fraudulentas. Em um sistema de fraude operacional, essas transações precisarão ser tratadas manualmente pelos investigadores. Devido ao número limitado de investigadores, há apenas uma quantidade limitada de transações que podem ser verificadas.

Vamos considerar de forma mais concreta como essa restrição se traduz em termos de FPR.

Neste exemplo, o conjunto de dados contém 58264 transações (ao longo de 7 dias), das quais 57879 são legítimas e 385 fraudulentas.

Assumindo que 100 transações possam ser verificadas a cada dia, um total de 700 transações poderia ser verificado após 7 dias, ou seja, cerca de 1% das transações. Portanto, qualquer FPR acima de 0,01 gerará mais alertas do que os investigadores conseguem processar.

Os sistemas de detecção de fraude do mundo real geralmente lidam com centenas de milhares a milhões de transações diariamente. A proporção de transações que podem ser verificadas manualmente está, na verdade, mais próxima de 0,1% do que de 1%. Ou seja, qualquer FPR acima de 0,001 já é muito alto.

Como resultado, devido à natureza desbalanceada do problema, 99,9% do que é representado na Curva ROC tem pouca relevância do ponto de vista de um sistema de detecção de fraude operacional, onde as transações fraudulentas devem ser verificadas por uma equipe limitada de investigadores.

Remetemos o leitor a Saito & Rehmsmeier (2015) para uma discussão aprofundada sobre a inadequação da Curva ROC para problemas desbalanceados, e as motivações para usar a Curva Precisão-Recall em vez dela.

Curva Precisão-Recall¶

A Curva Precisão-Recall (Curva PR) é obtida plotando a precisão contra o recall (ou Taxa de Verdadeiros Positivos - TPR) para todos os diferentes limiares de classificação $t$. A principal vantagem da Curva PR é evidenciar classificadores que podem ter tanto alto recall quanto alta precisão (o que indiretamente se traduz em alta TPR e baixa FPR).

Vamos reutilizar o mesmo exemplo de acima e calcular a precisão e o recall para os oito limiares únicos.

Vamos agora plotar a Curva PR e calcular sua AUC. Usaremos a Precisão Média (AP), que resume tal gráfico como a média ponderada das precisões obtidas em cada limiar, com o aumento no recall em relação ao limiar anterior usado como peso Boyd et al. (2013)Fan & Zhu (2011).

onde $P_n$ e $R_n$ são a precisão e o recall no $n$-ésimo limiar.

Uma implementação da precisão média é fornecida abaixo.

O gráfico é obtido usando a função step do matplotlib.

As Curvas PR se comportam de maneira diferente das Curvas ROC. Detalhamos essas diferenças a seguir.

Primeiro, elas não são monótonas: a precisão pode diminuir ou aumentar à medida que o recall aumenta. Isso é ilustrado acima, onde para um recall de $0,5$, a precisão primeiro cai para $0,33$ (limiar $0,4$), antes de subir para $0,5$ (limiar $0,35$).

Segundo, sua AUC não carrega uma interpretação estatística como o AUC ROC. No entanto, pode-se mostrar que existe uma correspondência biunívoca entre as Curvas PR e ROC, e que uma curva que domina no espaço PR necessariamente domina no espaço ROC Davis & Goadrich (2006).

Terceiro, o desempenho de um classificador aleatório depende do desequilíbrio de classes. É $0,5$ no caso balanceado e $P/(P+N)$ no caso geral, onde $P$ é o número de exemplos positivos e $N$ o número de exemplos negativos. Em particular, um classificador que classifica todos os exemplos como positivos (recall de 1) tem uma precisão de $P/(P+N)$. No exemplo acima, isso resulta em uma precisão de $2/(2+8)=0,2$, destacada com a linha vermelha pontilhada. Essa propriedade torna a AP mais interessante do que o AUC ROC em um problema de detecção de fraude, pois reflete melhor o desafio relacionado ao problema de desequilíbrio de classes (a AP de um classificador aleatório diminui à medida que a proporção de desequilíbrio de classes aumenta).

Vamos finalmente reutilizar o cenário experimental da seção anterior e plotar as Curvas PR e as AP correspondentes para cada um dos cinco modelos de predição.

E vamos comparar essas Curvas PR com as Curvas ROC.

À primeira vista, as Curvas PR e ROC fornecem uma imagem muito diferente dos desempenhos relativos dos diferentes classificadores. Para relacionar melhor os dois tipos de curva, é útil “transpor” mentalmente a Curva PR de forma que o eixo x represente a precisão e o eixo y represente a Taxa de Verdadeiros Positivos. Uma vez transposta, ambas as curvas representam a TPR em seu eixo y, e pode-se notar que a Curva PR é na verdade uma versão ampliada das Curvas ROC para valores muito baixos da Taxa de Falsos Positivos.

Como observado acima ao final da seção sobre Curvas ROC, os valores de TPR para valores baixos de FPR são, na verdade, o que importa em um problema de detecção de fraude: o número de cartões que podem ser verificados manualmente pelos investigadores de fraude é, na prática, muito limitado. Isso também fornece uma ordenação diferente dos desempenhos para os classificadores. Por exemplo, com Curvas ROC, as árvores de decisão com profundidade ilimitada têm uma AUC melhor do que uma árvore de decisão de profundidade dois (0,788 versus 0,763, respectivamente). Os desempenhos se invertem quando calculados em termos de Precisão Média (0,309 versus 0,496).

Embora as Curvas PR sejam úteis para destacar os desempenhos dos sistemas de detecção de fraude para valores baixos de FPR, elas continuam difíceis de interpretar do ponto de vista operacional. A próxima seção aborda essa questão, discutindo métricas de Precisão top-$k$.