Sistema de detecção de fraude de linha de base

Esta seção tem como objetivo mostrar como um sistema simples de detecção de fraude pode ser projetado em poucos passos. Usaremos os dados simulados gerados na seção anterior e nos basearemos em uma abordagem de aprendizado supervisionado conforme descrito na seção Metodologia de linha de base - Aprendizado supervisionado do capítulo anterior. A metodologia de aprendizado supervisionado de linha de base é ilustrada na Fig. 1.

Fig. 1. Metodologia de aprendizado supervisionado de linha de base para detecção de fraude em cartão de crédito. A área verde destaca as etapas que serão implementadas nesta seção.

Por simplicidade, esta seção não abordará a parte de validação da metodologia de aprendizado supervisionado de linha de base. A parte de validação será coberta no Capítulo 5. O design de nosso sistema de detecção de fraude consistirá em três etapas principais, destacadas em verde na Fig. 1:

1. Definição de um conjunto de treinamento (dados históricos) e um conjunto de teste (dados novos). O conjunto de treinamento é o subconjunto de transações usado para treinar o modelo de predição. O conjunto de teste é o subconjunto de transações usado para avaliar o desempenho do modelo de predição.

2. Treinamento de um modelo de predição: Esta etapa consiste em usar o conjunto de treinamento para encontrar um modelo de predição capaz de prever se uma transação é legítima ou fraudulenta. Nos basearemos nesta tarefa na biblioteca Python sklearn, que fornece funções fáceis de usar para treinar modelos de predição.

3. Avaliação do desempenho do modelo de predição: O desempenho do modelo de predição é avaliado usando o conjunto de teste (dados novos).

Detalhamos cada uma dessas etapas no restante desta seção.

Definição dos conjuntos de treinamento e teste¶

O conjunto de treinamento visa treinar um modelo de predição, enquanto o conjunto de teste visa avaliar o desempenho do modelo de predição em dados novos. Em um contexto de detecção de fraude, as transações do conjunto de teste ocorrem cronologicamente após as transações usadas para treinar o modelo.

Usaremos as transações de 2018-07-25 a 2018-07-31 para o conjunto de treinamento, e de 2018-08-08 a 2018-08-14 para o conjunto de teste. Uma semana de dados será suficiente para treinar um primeiro modelo de predição e avaliar seu desempenho. Posteriormente usaremos períodos maiores para treinamento e teste, a fim de avaliar como conjuntos maiores podem afetar os resultados de desempenho.

Vale notar que escolhemos nosso conjunto de teste para ocorrer uma semana após a última transação do conjunto de treinamento. Em um contexto de detecção de fraude, esse período que separa o conjunto de treinamento e o de teste é referido como o período de atraso ou atraso de feedback Dal Pozzolo et al. (2017). Ele leva em conta o fato de que, em um sistema de detecção de fraude do mundo real, o rótulo de uma transação (fraudulenta ou legítima) só é conhecido após uma reclamação do cliente ou graças ao resultado de uma investigação de fraude. Portanto, em um cenário realista, os dados anotados disponíveis para treinar um modelo e começar a fazer previsões para um determinado dia são anteriores a esse dia menos o período de atraso. Definir um período de atraso de uma semana é simplista. Pressupõe que os rótulos (fraudulento ou legítimo) de todas as transações são conhecidos exatamente uma semana após sua ocorrência. Isso não é o caso na prática, pois o atraso pode ser menor quando os clientes relatam fraudes rapidamente, ou muito maior em casos em que as fraudes permanecem não detectadas por meses. O período de atraso é, na verdade, um parâmetro na avaliação de um modelo de detecção de fraude, que pode ser ajustado durante a etapa de validação (ver Capítulo 5). Um atraso de uma semana é, como primeira aproximação, uma base razoável: pela experiência, as estatísticas geralmente mostram que a maior parte do feedback fica disponível após um atraso de uma semana.

Vamos carregar as transações de 2018-07-25 a 2018-08-14 e plotar o número de transações por dia, transações fraudulentas por dia e cartões fraudulentos por dia.

O gráfico ilustra que o número de transações e fraudes é similar nos períodos de treinamento e teste. O número médio de fraudes é de cerca de 85 por dia. Vamos extrair do conjunto de dados as transações para o conjunto de treinamento e o conjunto de teste.

O conjunto de treinamento contém 67240 transações, das quais 598 são fraudulentas.

O conjunto de teste contém 58264 transações, das quais 385 são fraudulentas.

Ou seja, uma proporção de 0,007 de transações fraudulentas.

Treinamento do modelo: Árvore de decisão¶

Conforme explicado na seção Metodologia de linha de base - Aprendizado supervisionado, o treinamento de um modelo de predição consiste em identificar uma relação matemática entre dois conjuntos de características, chamadas características de entrada e de saída. Em um contexto de detecção de fraude, o objetivo é encontrar uma função capaz de prever se uma transação é fraudulenta ou legítima (a característica de saída), usando características que caracterizam as transações (as características de entrada).

Definiremos as características de entrada e saída da seguinte forma:

• A característica de saída será o rótulo da transação TX_FRAUD

• As características de entrada serão o valor da transação TX_AMOUNT, bem como todas as características calculadas na seção anterior, que caracterizam o contexto de uma transação.

Em Python, o treinamento de um modelo de predição é facilitado pelo uso da biblioteca sklearn. Em particular, a biblioteca sklearn fornece implementações para treinar uma ampla gama de modelos de predição.

O treinamento de modelos de predição será abordado com mais detalhes no Capítulo 5, Seleção de Modelos. Por ora, simplesmente treinaremos alguns classificadores padrão, sem entrar nos detalhes de como o treinamento é realmente realizado.

Começaremos utilizando um modelo de predição chamado árvore de decisão.

Vamos criar uma função fit_model_and_get_predictions que treina um modelo e retorna previsões para um conjunto de teste. A função recebe como entrada um objeto classificador sklearn (um modelo de predição sklearn), um conjunto de treinamento, um conjunto de teste e o conjunto de características de entrada e saída. O conjunto de treinamento será usado para treinar o classificador. Isso é feito chamando o método fit do objeto classificador sklearn. As previsões do classificador para os conjuntos de treinamento e teste são então obtidas chamando o método predict_proba do objeto classificador sklearn (cf. Capítulo 4).

A função retorna um dicionário que contém o classificador treinado, as previsões para o conjunto de treinamento, as previsões para o conjunto de teste e os tempos de execução para treinamento e inferência.

Como exemplo, vamos treinar uma árvore de decisão pequena (com profundidade máxima de 2). Primeiro criamos um objeto de árvore de decisão (sklearn.tree.DecisionTreeClassifier) e chamamos fit_model_and_get_predictions_dictionary para treinar a árvore de decisão e obter as previsões nos conjuntos de treinamento e teste.

Vamos analisar as previsões obtidas para as primeiras cinco transações do conjunto de teste:

A probabilidade de fraude para todas essas transações é de 0,003536. Podemos exibir a árvore de decisão para entender como essas probabilidades foram definidas:

Uma árvore de decisão permite dividir o espaço de entrada em diferentes regiões, de forma que as transações fraudulentas sejam separadas das transações legítimas. O último nível da árvore (as folhas) indica o número de transações fraudulentas e legítimas de treinamento em cada uma dessas regiões. A cor indica se um nó ou folha da árvore contém maioria de transações legítimas (laranja) ou fraudulentas (azul).

Cada uma das cinco primeiras transações cai na primeira folha, uma região que contém 236 transações fraudulentas e 66498 transações legítimas, ou seja, uma região onde a probabilidade de fraude é $\frac{236}{66498+236}=0,003536$.

Vale notar que a árvore de decisão encontrou corretamente que transações com valor alto são fraudes (cenário 1 no processo de geração de fraudes). A região correspondente é a segunda folha. O limiar de decisão (218,67) não é encontrado de forma ideal, pois a segunda folha contém 2 transações legítimas classificadas incorretamente. O limiar ótimo deveria ser 220, conforme definido no cenário 1, mas foi apenas empiricamente ajustado a partir dos dados de treinamento que representam uma amostra da distribuição geral dos dados.

Avaliação de desempenho¶

Vamos finalmente avaliar o desempenho deste modelo de árvore de decisão. Calcularemos três métricas de desempenho: AUC ROC, Precisão Média (AP) e Precisão de Cartão top-$k$ (CP@k). A motivação para essas três métricas será abordada no Capítulo 4. Por ora, é suficiente saber que:

• A Precisão de Cartão top-$k$ é a medida mais pragmática e interpretável. Ela leva em conta o fato de que os investigadores só podem verificar no máximo $k$ cartões potencialmente fraudulentos por dia. É calculada classificando, para cada dia no conjunto de teste, as transações mais fraudulentas e selecionando os $k$ cartões cujas transações têm as maiores probabilidades de fraude. A precisão (proporção de cartões realmente comprometidos em relação aos cartões previstos como comprometidos) é então calculada para cada dia. A Precisão de Cartão top-$k$ é a média dessas precisões diárias. O número $k$ será definido como 100 (ou seja, assume-se que apenas 100 cartões podem ser verificados a cada dia). A métrica é descrita em detalhes no Capítulo 4, Métricas de Precisão top-k.

• A Precisão Média é uma aproximação da Precisão de Cartão top-$k$ que integra precisões para todos os valores possíveis de $k$. A métrica é descrita em detalhes no Capítulo 4, Curva Precisão-Recall.

• O AUC ROC é uma medida alternativa à Precisão Média, que dá mais importância às pontuações obtidas com valores maiores de $k$. É menos relevante na prática, pois os desempenhos que mais importam são aqueles para valores baixos de $k$. No entanto, também o reportamos por ser a métrica de desempenho mais amplamente usada para detecção de fraude na literatura. A métrica é descrita em detalhes no Capítulo 4, Curva ROC (Receiver Operating Characteristic).

Note que todas as três métricas fornecem valores no intervalo $[0,1]$, e que valores mais altos significam melhor desempenho.

Fornecemos a implementação abaixo para calcular essas três métricas de desempenho. Os detalhes de sua implementação serão abordados no Capítulo 4.

Vamos calcular o desempenho em termos de AUC ROC, Precisão Média (AP) e Precisão de Cartão top 100 (CP@100) para a árvore de decisão.

A métrica mais interpretável é a Precisão de Cartão@100, que nos diz que, a cada dia, 24% dos cartões com as maiores pontuações de fraude eram de fato comprometidos. Como o percentual de fraudes no conjunto de teste é de 0,7%, essa proporção de fraudes detectadas é alta e significa que o classificador de fato consegue fazer muito melhor do que o acaso.

A interpretação do AUC ROC e da Precisão Média é menos direta. No entanto, por definição, sabe-se que um classificador aleatório daria um AUC ROC de 0,5 e uma Precisão Média de 0,007 (a proporção de fraudes no conjunto de teste). Os valores obtidos são muito maiores (0,764) e (0,496), confirmando a capacidade do classificador de fornecer previsões muito melhores do que um modelo aleatório.

Nota: O desempenho de um modelo aleatório pode ser calculado simplesmente definindo todas as previsões para uma probabilidade de $0,5$:

Desempenhos usando modelos de predição padrão¶

Agora temos todos os blocos de construção para treinar e avaliar outros classificadores. Além da árvore de decisão com profundidade 2, vamos treinar quatro outros modelos de predição: uma árvore de decisão com profundidade ilimitada, um modelo de regressão logística, uma floresta aleatória e um modelo de boosting (consulte a célula de importações para detalhes das bibliotecas). Esses modelos são os mais comumente usados em benchmarks na literatura de detecção de fraude Yousefi et al. (2019)Priscilla & Prabha (2019).

Para esse fim, vamos primeiro criar um dicionário de classificadores sklearn que instancia cada um desses classificadores. Em seguida, treinamos e calculamos as previsões para cada um desses classificadores usando a função fit_model_and_get_predictions.

Vamos finalmente avaliar os desempenhos de predição desses cinco modelos, no conjunto de teste e no conjunto de treinamento, e seus tempos de execução.

Os principais pontos a destacar nesses resultados de desempenho são:

• Todos os modelos de predição aprenderam padrões de fraude úteis a partir dos dados de treinamento. Isso pode ser observado pelo AUC ROC no conjunto de teste, que é maior que 0,5 para todos os classificadores, e uma precisão média muito maior que 0,007.

• A floresta aleatória e os modelos de boosting fornecem melhor desempenho (em termos de Precisão Média) do que a regressão logística e as árvores de decisão. Isso também é amplamente relatado na literatura de detecção de fraude.

• Os desempenhos relativos dos classificadores diferem dependendo de qual métrica de desempenho é usada. Por exemplo, uma árvore de decisão de profundidade 2 tem um AUC ROC menor do que uma árvore de decisão de profundidade ilimitada, mas uma precisão média maior. Entender precisamente o que esses desempenhos significam é crucial, e será abordado no próximo capítulo.

• O desempenho de alguns classificadores (Floresta Aleatória e Árvore de Decisão com profundidade ilimitada) é perfeito no conjunto de treinamento (AUC ROC e Precisão Média de 1), mas menor no conjunto de teste. Na verdade, a árvore de decisão com profundidade ilimitada é o pior classificador no conjunto de teste em termos de Precisão Média. Este é um exemplo de um fenômeno chamado sobreajuste (overfitting), que deve ser evitado. Este problema será abordado com mais detalhes no Capítulo 5.

• Como esperado, os tempos de execução para treinar conjuntos de modelos (Floresta Aleatória e XGBoost) são significativamente maiores do que modelos individuais (árvores de decisão e regressão logística).