Um sistema de detecção de fraude visa otimizar dois objetivos conflitantes. Por um lado, o sistema deve maximizar a detecção de transações fraudulentas, uma métrica conhecida como revocação. Por outro lado, também deve minimizar o número de falsos positivos, ou seja, o número de transações legítimas incorretamente previstas como fraudes. A menos que um classificador perfeito possa ser projetado, maximizar a revocação tem um custo em termos de falsos positivos. A estrutura de custos de um sistema de detecção de fraude é, no entanto, complexa, se não impossível, de determinar.
Uma abordagem comum para contornar esse objetivo conflitante é avaliar as taxas de revocação e falsos positivos para todos os limiares de decisão possíveis. A função resultante é a curva ROC (Receiving Operating Characteristic). A área sob a curva ROC (conhecida como AUC ROC) é a métrica mais amplamente utilizada para avaliar o desempenho de sistemas de detecção de fraude. Este capítulo destacou que a AUC ROC, no entanto, é inadequada para problemas com classes desequilibradas, como a detecção de fraude. Duas outras métricas, a Precisão Média (AP) e a Precisão de Cartão diária top- (CP@k), foram motivadas para melhor caracterizar os desempenhos de um sistema de detecção de fraude em cartão de crédito (CCFD).
A AUC ROC, AP e CP@k são complementares. A AUC ROC reflete a acurácia do sistema de detecção para todos os limiares possíveis. A AP também reflete a acurácia do sistema de detecção para todos os limiares possíveis, mas dá mais importância às regiões dos limiares de decisão onde a precisão permanece alta. Por fim, a CP@k fornece uma métrica mais concreta para CCFD, avaliando a precisão diária média do sistema, assumindo que um máximo de cartões pode ser verificado diariamente pelos investigadores.
Devido à sua complementaridade, recomendamos avaliar o desempenho de um sistema de fraude utilizando essas três medidas de desempenho. Todas as técnicas e métodos apresentados nos próximos capítulos serão avaliados com essas medidas.