Estratégias de reamostragem

As estratégias de reamostragem abordam o desequilíbrio de classes no nível dos dados, reamostrandoo conjunto de dados para reduzir a razão de desequilíbrio. A reamostragem de um conjunto de dados desequilibrado ocorre antes do treinamento do modelo de predição e pode ser vista como uma etapa de pré-processamento de dados. Numerosos métodos foram propostos para reamostrar conjuntos de dados desequilibrados, que podem ser categorizados em três estratégias principais: sobreamostragem, subamostragem e estratégias híbridas Fernández et al. (2018)Lemaître et al. (2017)Chawla (2009).

A sobreamostragem consiste em aumentar artificialmente a proporção de amostras da classe minoritária. A abordagem mais simples é a sobreamostragem aleatória (ROS), na qual as amostras da classe minoritária são duplicadas aleatoriamente Fernández et al. (2018). Abordagens mais sofisticadas consistem em gerar dados sintéticos interpolando amostras da classe minoritária. Dois métodos padrão baseados em interpolação são o SMOTE (Técnica de Sobreamostragem de Minoria Sintética) Chawla et al. (2002) e o ADASYN (Amostragem Sintética Adaptativa) He et al. (2008).

A subamostragem, pelo contrário, consiste em reduzir a razão de desequilíbrio removendo amostras da classe majoritária. As amostras podem ser simplesmente removidas aleatoriamente, como na subamostragem aleatória (RUS) Fernández et al. (2018). A RUS é uma maneira rápida e fácil de equilibrar um conjunto de dados e, portanto, é amplamente utilizada. Uma desvantagem significativa do método é que amostras úteis para o processo de aprendizado podem ser descartadas Ali et al. (2019). Estratégias mais avançadas visam remover amostras de regiões de sobreposição (como NearMiss Mani & Zhang (2003), Tomek Links Tomek & others (1976) ou Vizinhos Mais Próximos Editados (ENN) Wilson (1972)), ou substituindo subconjuntos de amostras por seus centroides Yen & Lee (2009).

A capacidade das técnicas de sobreamostragem ou subamostragem de melhorar os desempenhos de classificação depende em grande medida das características de um conjunto de dados. Como resumido em Haixiang et al. (2017), as técnicas de sobreamostragem tendem a ser particularmente eficazes quando o número de amostras da classe minoritária é muito baixo. As técnicas de subamostragem, por outro lado, são adequadas para grandes conjuntos de dados. Em particular, permitem acelerar os tempos de treinamento ao reduzir o tamanho do conjunto de dados.

As técnicas de sobreamostragem e subamostragem também podem ser combinadas, resultando em técnicas de reamostragem híbridas. A hibridização de subamostragem e sobreamostragem demonstrou melhorar quase sempre os desempenhos de classificação (Capítulo 5, Seção 6 em Fernández et al. (2018)). Combinações populares envolvem SMOTE, juntamente com técnicas de subamostragem baseadas em vizinhos mais próximos, como Tomek Links Tomek & others (1976)Batista et al. (2004) ou Vizinhos Mais Próximos Editados (ENN) Wilson (1972)Batista et al. (2003).

Esta seção explora o uso de algumas técnicas populares de reamostragem e discute seus benefícios e limitações. A implementação proposta baseia-se na biblioteca Python imblearn, que é a biblioteca Python mais completa e atualizada para aprendizado com dados desequilibrados. A biblioteca fornece uma ampla gama de técnicas de reamostragem que podem ser facilmente integradas com a biblioteca sklearn Imblearn (2021).

Exemplo ilustrativo¶

Para fins ilustrativos, reutilizamos a mesma tarefa de classificação simples da seção de aprendizado sensível ao custo.

O conjunto de dados contém 5000 amostras com duas classes, rotuladas 0 e 1. 95% das amostras estão associadas à classe 0 e 5% das amostras à classe 1.

Seguindo a mesma metodologia da seção de aprendizado sensível ao custo, os desempenhos de um classificador de linha de base sem reamostragem são obtidos com a função kfold_cv_with_classifier. Uma árvore de decisão de profundidade cinco e uma validação cruzada estratificada de 5 folds nos fornecem os seguintes desempenhos de classificação de linha de base.

A fronteira de decisão do primeiro classificador da validação cruzada é reportada abaixo. Devido ao desequilíbrio de classes, o classificador tende a retornar probabilidades iguais para as duas classes na região de sobreposição.

Sobreamostragem¶

As técnicas de sobreamostragem visam reequilibrar o conjunto de dados criando novas amostras para a classe minoritária. Os dois métodos mais utilizados são a sobreamostragem aleatória e o SMOTE Fernández et al. (2018)Haixiang et al. (2017)Chawla et al. (2002). As duas próximas subseções mostram como esses métodos podem ser implementados e ilustram sua capacidade de mover as fronteiras de decisão em direção à classe minoritária.

Sobreamostragem aleatória¶

Vamos primeiro apresentar brevemente como a biblioteca imblearn permite reamostrar conjuntos de dados. Uma introdução mais completa pode ser encontrada no site da biblioteca, em https://imbalanced-learn.org/dev/introduction.html.

A biblioteca imblearn fornece objetos chamados samplers, que recebem como entrada um conjunto de dados e um conjunto de parâmetros específicos do sampler, e retornam um conjunto de dados reamostrado.

Por exemplo, o sampler imblearn para sobreamostragem aleatória é chamado RandomOverSampler. Seu principal parâmetro é o sampling_strategy, que determina a razão de desequilíbrio desejada após a sobreamostragem aleatória.

Vamos, por exemplo, criar um sampler para sobreamostragem aleatória, onde o conjunto de dados reamostrado deve ter uma razão de desequilíbrio de 1 (ou seja, onde as amostras da classe minoritária são duplicadas até que seu número seja igual ao número de amostras na classe majoritária).

Vamos aplicar este sampler no DataFrame train_df, que é o conjunto de dados de treinamento no primeiro fold da validação cruzada realizada acima. O DataFrame contém 3784 amostras da classe 0 e 216 amostras da classe 1.

A reamostragem do conjunto de dados é realizada chamando o método fit do objeto sampler. Seja train_df_ROS o DataFrame reamostrado.

O DataFrame reamostrado agora contém tantas amostras da classe 1 quanto da classe 0.

Os samplers podem ser combinados com estimadores sklearn usando pipelines. A adição de uma etapa de amostragem no procedimento de validação cruzada é, portanto, simples e consiste em criar um pipeline composto por um sampler e um estimador.

A implementação é fornecida abaixo, na função kfold_cv_with_sampler_and_classifier.

Vamos avaliar os desempenhos do classificador de linha de base combinado com sobreamostragem aleatória.

Como verificação de sanidade, podemos verificar que o tamanho do conjunto de treinamento contém o mesmo número de amostras para as duas classes.

A reamostragem permitiu deslocar a fronteira de decisão em direção à classe minoritária, como pode ser visto na figura abaixo. Observe que os dados de treinamento para a classe minoritária parecem os mesmos que no classificador de linha de base. A maioria das instâncias, no entanto, foi duplicada muitas vezes para atingir uma razão de desequilíbrio de um.

Os desempenhos de classificação mostram um aumento em termos de acurácia balanceada. Observamos, no entanto, uma diminuição em termos de AUC ROC e Precisão Média, devido ao deslocamento da fronteira de decisão que aumentou significativamente o número de falsos positivos.

SMOTE¶

O SMOTE Chawla et al. (2002) sobreamostra a classe minoritária gerando exemplos sintéticos na vizinhança dos observados. A ideia é formar novos exemplos da minoria interpolando amostras da mesma classe. Isso tem o efeito de criar agrupamentos em torno de cada observação minoritária. Ao criar observações sintéticas, o classificador constrói regiões de decisão maiores que contêm instâncias próximas da classe minoritária. O SMOTE demonstrou melhorar os desempenhos de um classificador base em muitas aplicações Dal Pozzolo (2015)Chawla et al. (2002).

O sampler imblearn para SMOTE é imblearn.over_sampling.SMOTE. Vamos ilustrar o uso do SMOTE e seu impacto na fronteira de decisão do classificador e nos desempenhos de classificação.

A implementação segue a mesma estrutura da sobreamostragem aleatória. A única diferença é mudar o sampler para SMOTE.

Assim como na sobreamostragem aleatória, o número de amostras na classe minoritária é aumentado para corresponder ao número de amostras na classe majoritária (sampling_strategy=1).

A fronteira de decisão também é deslocada em direção à classe minoritária. Observamos que, ao contrário da sobreamostragem aleatória, novos exemplos foram gerados para a classe minoritária.

O SMOTE fornece desempenhos maiores do que a sobreamostragem aleatória para as três métricas. A Precisão Média, no entanto, permanece menor do que o classificador de linha de base.

Outras estratégias de sobreamostragem¶

Existe uma gama de estratégias mais sofisticadas para sobreamostragem, cujos detalhes vão além do escopo deste livro. Remetemos o leitor a Fernández et al. (2018) para uma revisão e à página imblearn sobre métodos de sobreamostragem para suas implementações em Python. Em particular, a biblioteca imblearn fornece os seguintes métodos adicionais de sobreamostragem: SMOTENC Chawla et al. (2002), SMOTEN Chawla et al. (2002), ADASYN He et al. (2008), BorderlineSMOTE Han et al. (2005), KMeansSMOTE Last et al. (2017) e SVMSMOTE Nguyen et al. (2011). Esses métodos podem ser usados simplesmente substituindo o sampler pelo método desejado no código acima.

Subamostragem¶

A subamostragem refere-se ao processo de redução do número de amostras na classe majoritária. A abordagem simples, chamada de subamostragem aleatória (RUS), consiste em remover aleatoriamente amostras da classe majoritária até que a razão de desequilíbrio desejada seja alcançada.

A principal desvantagem da RUS é que o método pode descartar amostras que são importantes para identificar a fronteira de decisão. Uma série de técnicas mais avançadas foi proposta visando remover amostras de forma mais principiada Fernández et al. (2018). Além da RUS, o pacote imblearn propõe não menos de dez métodos diferentes de subamostragem Imblearn (2021). A maioria desses métodos baseia-se em heurísticas de vizinhos mais próximos que removem amostras quando estão próximas ou distantes de outras amostras. Remetemos o leitor a Fernández et al. (2018)Imblearn (2021) para os algoritmos detalhados subjacentes a métodos de subamostragem mais avançados.

As duas próximas subseções mostram como dois desses métodos podem ser implementados e ilustram sua capacidade de mover a fronteira de decisão em direção à classe minoritária. Como exemplos, utilizamos RUS e Vizinhos Mais Próximos Editados (ENN).

Subamostragem aleatória¶

O sampler imblearn para RUS é imblearn.under_sampling.RandomUnderSampler. Vamos ilustrar seu uso e seu impacto na fronteira de decisão do classificador e nos desempenhos de classificação.

Com sampling_strategy definido como um, a RUS remove aleatoriamente amostras da classe majoritária até que seu número atinja o da classe minoritária. Após a reamostragem, cada classe contém 216 amostras.

O gráfico das amostras de treinamento mostra que o número de amostras da classe majoritária foi significativamente reduzido, permitindo um deslocamento da fronteira de decisão em direção à classe minoritária. Ao contrário das técnicas de sobreamostragem, a região localizada no canto inferior direito agora está associada à classe minoritária, pois todas as amostras da classe 0 dessa região foram removidas.

Os desempenhos em termos de AUC ROC e acurácia balanceada são equivalentes às técnicas de sobreamostragem. Observamos, no entanto, uma perda de desempenho em termos de Precisão Média.

Vale notar que o tempo de treinamento com RUS é mais rápido. Isso resulta do procedimento de subamostragem simples e do menor tamanho do conjunto de treinamento. O método é, portanto, útil não apenas para reduzir a razão de desequilíbrio, mas também para acelerar o tempo de execução do procedimento de modelagem.

Vizinhos Mais Próximos Editados¶

A regra de Vizinhos Mais Próximos Editados é uma técnica de subamostragem que remove amostras da classe majoritária em regiões de sobreposição do conjunto de dados Laurikkala (2001)Wilson (1972). É baseada em uma regra de vizinhos mais próximos, que remove amostras da classe majoritária da seguinte forma Fernández et al. (2018) (Capítulo 5, Página 84):

• Para cada amostra da classe majoritária, os k-vizinhos mais próximos são encontrados. Se a maioria dessas amostras for da classe minoritária, a amostra da classe majoritária é removida.

• Para cada amostra da classe minoritária, os k-vizinhos mais próximos são encontrados. Se a maioria dessas amostras for da classe majoritária, a(s) amostra(s) da classe majoritária é (são) removida(s).

O número de vizinhos $k$ é por padrão definido como $k=3$. Vale notar que, ao contrário da RUS, o número de amostras da classe majoritária que são removidas depende do grau de sobreposição entre as duas classes. O método não permite especificar uma razão de desequilíbrio.

O sampler imblearn para ENN é imblearn.under_sampling.EditedNearestNeighbours. Vamos ilustrar seu uso e seu impacto na fronteira de decisão do classificador e nos desempenhos de classificação.

Com um número de vizinhos n_neighbors definido como três, o ENN remove apenas cerca de 200 amostras das 3784 amostras da classe majoritária. O número de amostras da classe minoritária é inalterado.

O gráfico das amostras de treinamento mostra que as distribuições das duas classes são semelhantes às distribuições originais. As amostras que foram removidas estavam na região de sobreposição e sua remoção não é visível devido à grande quantidade de amostras restantes. Observamos, no entanto, um deslocamento na fronteira de decisão, pois a árvore de decisão agora classifica amostras da região de sobreposição na classe minoritária.

Neste conjunto de dados, os desempenhos do ENN são fracos em comparação com as técnicas testadas anteriormente. A acurácia balanceada foi ligeiramente melhorada em relação ao classificador de linha de base. O desempenho em termos de AP é, no entanto, menor do que a linha de base, e o AUC ROC é o pior de todas as técnicas testadas (equivalente ao ROS).

Outras estratégias de subamostragem¶

Assim como para as técnicas de sobreamostragem, remetemos o leitor a Fernández et al. (2018) para uma revisão de técnicas de subamostragem mais sofisticadas e à página imblearn sobre métodos de subamostragem para suas implementações em Python. Em particular, a biblioteca imblearn fornece dez outros métodos de subamostragem, que podem ser testados simplesmente substituindo o sampler pelo método desejado no código acima.

Combinando sobreamostragem e subamostragem¶

A sobreamostragem e a subamostragem são frequentemente complementares. Por um lado, as técnicas de sobreamostragem permitem gerar amostras sintéticas da classe minoritária e ajudam um classificador a identificar com mais precisão a fronteira de decisão entre as duas classes. Por outro lado, as técnicas de subamostragem reduzem o tamanho do conjunto de treinamento e permitem acelerar o tempo de treinamento do classificador. A combinação de técnicas de sobreamostragem e subamostragem foi frequentemente relatada como capaz de melhorar com sucesso os desempenhos do classificador (Capítulo 5, Seção 6 em Fernández et al. (2018)).

Em termos de implementação, a combinação de samplers é obtida encadeando os samplers em um pipeline. Os samplers podem então ser encadeados a um classificador. Ilustramos abaixo o encadeamento de uma sobreamostragem SMOTE a uma subamostragem aleatória a um classificador de árvore de decisão.

sampler_list = [('sampler1', imblearn.over_sampling.SMOTE(sampling_strategy=0.5,random_state=0)),
                ('sampler2', imblearn.under_sampling.RandomUnderSampler(sampling_strategy=1.0,random_state=0))
               ]

classifier = sklearn.tree.DecisionTreeClassifier(max_depth=5, random_state=0)

estimators = sampler_list.extend([('clf', classifier)])
    
pipe = imblearn.pipeline.Pipeline(estimators)

A função kfold_cv_with_sampler_and_classifier recebe a sampler_list e o classifier como dois argumentos separados, e cuida do encadeamento dos samplers e do classificador. Podemos, portanto, seguir o mesmo modelo anterior para avaliar os desempenhos de um classificador baseado em uma cadeia de técnicas de reamostragem. Os samplers são fornecidos como uma lista com a variável sampler_list.

A sobreamostragem SMOTE visou uma razão de desequilíbrio de 0,5. Como o conjunto de dados original contém 3784 amostras da classe majoritária, o SMOTE criou novas amostras até que o número de amostras da classe minoritária atingisse $3784/2=1892$ amostras. A subamostragem aleatória visou uma razão de desequilíbrio de 1. Como o conjunto de dados reamostrado pelo SMOTE contém 1892 amostras da classe minoritária, as amostras da classe majoritária são removidas até que seu número atinja 1892 amostras.

A fronteira de decisão resultante é próxima à obtida com o SMOTE, exceto que uma região ligeiramente maior é agora considerada de classe 1 pelo classificador. Isso é coerente, pois menos amostras da classe minoritária foram criadas.

Os desempenhos resultantes são equivalentes aos do SMOTE. Para conjuntos de dados maiores, espera-se, no entanto, tempos de treinamento mais rápidos do que o SMOTE, pois o tamanho do conjunto de treinamento é reduzido graças à subamostragem.

Dados de transações¶

Vamos agora aplicar técnicas de reamostragem ao conjunto de dados simulado de dados de transações. Reutilizamos a metodologia do Capítulo 5, Seleção de Modelos, usando a validação prequencial como estratégia de validação.

Carregamento dos dados¶

O carregamento dos dados e a inicialização dos parâmetros seguem o mesmo modelo do Capítulo 5, Seleção de Modelos.

Como linha de base, vamos calcular os desempenhos de detecção de fraude com uma árvore de decisão de profundidade 5 sem nenhuma reamostragem.

Esta linha de base será usada ao final do notebook para avaliar os benefícios de diferentes técnicas de reamostragem.

Validação prequencial com reamostragem¶

A adição de reamostragem à validação prequencial consiste simplesmente em estender o pipeline definido no Capítulo 5, Estratégias de Validação com os objetos samplers. Adicionamos esta etapa no início da função prequential_grid_search e a renomeamos como prequential_grid_search_with_sampler. Observe que o pipeline é criado com o objeto Pipeline do módulo imblearn para que os samplers sejam processados adequadamente.

A função model_selection_wrapper também é modificada para uma função model_selection_wrapper_with_sampler, que chama a função prequential_grid_search_with_sampler para a busca em grade prequencial.

A seleção de modelos com reamostragem agora pode ser realizada chamando a função model_selection_wrapper_with_sampler, seguindo a mesma metodologia do Capítulo 5.

Sobreamostragem¶

Vamos ilustrar seu uso com sobreamostragem SMOTE. Criamos um objeto SMOTE e o armazenamos em uma lista sampler_list. A lista é passada como argumento para a função model_selection_wrapper_with_sampler. Adicionalmente, o parâmetro sampling_strategy do objeto SMOTE (razão de desequilíbrio) é parametrizado para assumir valores no conjunto $[0,01, 0,05, 0,1, 0,5, 1]$ para o procedimento de seleção de modelos.

Em seguida, recuperamos os desempenhos para cada uma das razões de desequilíbrio testadas (valor de sampling_strategy) e armazenamos os resultados em um DataFrame performances_df_SMOTE.

Vamos resumir os desempenhos para destacar as razões de desequilíbrio ótimas.

Observamos resultados conflitantes, pois a razão de desequilíbrio ótima depende da métrica de desempenho. Para melhor visualização, vamos plotar os desempenhos em função da razão de desequilíbrio para as três métricas de desempenho.

Os desempenhos tendem a aumentar com a razão de desequilíbrio para AUC ROC e CP@100. O oposto é observado, no entanto, para a Precisão Média. A criação de amostras sintéticas com SMOTE é, portanto, benéfica para AUC ROC e CP@100, mas prejudicial à Precisão Média.

Subamostragem¶

Vamos seguir a mesma metodologia usando subamostragem aleatória. O objeto RandomUnderSampler é usado, e os modelos são avaliados para razões de desequilíbrio assumindo valores no conjunto $[0,01, 0,05, 0,1, 0,5, 1]$.

Vamos resumir os desempenhos para destacar as razões de desequilíbrio ótimas e plotar os desempenhos em função da razão de desequilíbrio.

Assim como na sobreamostragem, reequilibrar o conjunto de dados leva a um aumento de desempenho em termos de AUC ROC, mas a uma forte diminuição de desempenho em termos de AP. Os resultados em termos de CP@100 seguem uma tendência intermediária: o desempenho primeiro aumenta ligeiramente com a razão de desequilíbrio, e depois diminui com uma subamostragem mais agressiva.

Combinação¶

Ilustramos finalmente a combinação de sobreamostragem e subamostragem com SMOTE e subamostragem aleatória. Os objetos SMOTE e RandomUnderSampler são instanciados e armazenados na lista sampler_list. Parametrizamos o sampler SMOTE com uma razão de desequilíbrio alvo de $0,1$ e o RandomUnderSampler para assumir valores no conjunto $[0,1, 0,5, 1]$.

Vamos resumir os desempenhos para destacar as razões de desequilíbrio ótimas e plotar os desempenhos em função da razão de desequilíbrio.

Os resultados seguem as mesmas tendências da sobreamostragem e subamostragem: o reequilíbrio melhora os desempenhos em termos de AUC ROC, mas diminui os desempenhos em termos de Precisão Média. O impacto do reequilíbrio no CP@100 é misto.

Vamos finalmente comparar os desempenhos de teste obtidos com sobreamostragem, subamostragem e reamostragem combinada, e compará-los ao classificador de linha de base.

Em comparação com o classificador de linha de base, todas as técnicas de reamostragem conseguiram melhorar os desempenhos em termos de AUC ROC. Todas elas, no entanto, levaram a uma diminuição na Precisão Média. Ligeiras melhorias em termos de CP@100 puderam ser alcançadas com SMOTE e a abordagem combinada, mas não com subamostragem.

Resumo¶

Os experimentos realizados nesta seção ilustraram que os benefícios das técnicas de reamostragem dependem da métrica de desempenho utilizada. Embora a reamostragem possa geralmente ser benéfica para o AUC ROC, observamos que elas levaram, em quase todos os casos, a uma diminuição de desempenho em termos de Precisão Média. Vale notar que os resultados são coerentes com os obtidos usando técnicas sensíveis ao custo na seção anterior.

Salvamento dos resultados¶

Vamos finalmente salvar os resultados de desempenho e os tempos de execução.