Esta seção estende os resultados experimentais apresentados no Capítulo 3, Dados do mundo real. Primeiro reportamos as Curvas ROC e AP para os cinco modelos de predição de linha de base em dados do mundo real. Em seguida, ilustramos a precisão diária de cartão com usando uma árvore de decisão de profundidade 2 como modelo de predição.
Curvas ROC (Receiver Operating Characteristic)¶
A Fig. 1 reporta as Curvas ROC para os cinco classificadores de linha de base (Regressão logística, árvores de decisão com profundidade 2 e profundidade ilimitada, floresta aleatória e XGBoost) em dados do mundo real. As curvas são similares às obtidas em dados simulados na Seção Curva ROC (Receiver Operating Characteristic). As árvores de decisão têm os menores desempenhos, enquanto a regressão logística, a floresta aleatória e o XGBoost têm desempenhos maiores.
Fig. 1. Curvas ROC para os cinco classificadores de linha de base (Regressão logística, Árvores de decisão com profundidade 2 e profundidade ilimitada, floresta aleatória e XGBoost) em dados do mundo real.
Pode-se notar que, ao contrário dos resultados obtidos com dados simulados, o XGBoost tem desempenho significativamente melhor do que a floresta aleatória e a regressão logística (AUC ROC de 0,899 versus AUC ROC de 0,78 e 0,788, respectivamente).
Curvas Precisão-Recall¶
A Fig. 2 reporta as Curvas PR para os mesmos cinco classificadores de linha de base em dados do mundo real. As curvas são à primeira vista bastante diferentes das obtidas em dados simulados (Curva Precisão-Recall).
Fig. 2. Curvas PR para os cinco classificadores de linha de base (Regressão logística, Árvores de decisão com profundidade 2 e profundidade ilimitada, floresta aleatória e XGBoost) em dados do mundo real.
Essas diferenças são causadas pelos desempenhos em termos de precisão média que são, no geral, muito menores do que com dados simulados. Como resultado, todas as curvas ficam comprimidas em valores de precisão mais baixos. O motivo é duplo. Primeiro, a proporção de fraudes é menor no conjunto de dados do mundo real. Segundo, as transações fraudulentas também são mais difíceis de detectar, o que resulta em mais falsos positivos à medida que o limiar de detecção é aumentado.
No entanto, os desempenhos relativos dos diferentes classificadores são similares aos obtidos com dados simulados. Em particular, a regressão logística e o XGBoost têm desempenhos muito maiores do que as árvores de decisão. Vale notar que o desempenho da floresta aleatória em termos de AP é, no entanto, baixo, e menor que o de uma árvore de decisão de profundidade dois. Este é o resultado do sobreajuste, um problema que será abordado com a seleção de modelos no Capítulo 5.
Precisão de Cartão top-¶
Por fim, reportamos, como em Métricas de Precisão top-k, o número diário de cartões fraudulentos detectados usando dados do mundo real. Os resultados são fornecidos na Fig. 3, para uma árvore de decisão de profundidade 2.
Fig. 3. Número de cartões fraudulentos detectados diariamente com dados reais, usando uma árvore de decisão de profundidade 2.
O conjunto de dados do mundo real contém muito mais transações (cerca de 400000 transações diárias) e, como resultado, o número de cartões fraudulentos diários também é maior (variando entre 280 e 420, com uma média de cerca de trezentos. Linha amarela). Após a remoção dos cartões fraudulentos conhecidos, o número de cartões que restam para detectar varia entre 200 e 350 (Linha vermelha). Lembremos que o CP@100 para uma árvore de decisão de profundidade dois era 0,1 (Sistema de detecção de fraude de linha de base), ou seja, em média, 10 cartões dos 100 mais suspeitos são verdadeiros positivos. Isso é ilustrado pela linha azul, que representa o número de cartões fraudulentos efetivamente detectados a cada dia.
Note que o número máximo de cartões fraudulentos corretamente detectados é limitado superiormente por . Ou seja, um número máximo de 100 cartões fraudulentos pode ser detectado a cada dia quando .