1.2.4 – Deteccao de Anomalias
1.2.4.1 – Isolation Forest, One-Class SVM, DBSCAN, Autoencoders, LSTM
O que é uma anomalia? Imagine que você tem mil transações bancárias.
De repente, uma compra de R$50.000 aparece em outro país. Isso é uma anomalia!
O aprendizado não supervisionado encontra esses eventos raros sem precisar de exemplos anteriores.
Os padrões incomuns são identificados apenas pelo comportamento dos dados.
Vamos explorar cinco modelos poderosos para essa tarefa.
O que é detecção de anomalias no contexto não supervisionado?
Nesse cenário, o algoritmo nunca viu “anomalias” antes durante o treinamento.
Ele apenas recebe um grande volume de dados normais.
O objetivo é encontrar pontos que fogem da maioria.
Frequentemente, essas observações são chamadas de outliers.
Muitas aplicações usam essa técnica: segurança cibernética, detecção de fraudes e manutenção preditiva.
Porém, o desafio é definir o que é realmente anormal.
Os dados normais podem conter ruídos acidentais.
Ainda assim, modelos robustos conseguem separar o joio do trigo.
Isso é feito sem nenhum rótulo de “normal” ou “anomalia”.
É uma forma poderosa de descobrir problemas escondidos.
Por que usar aprendizado não supervisionado para detectar anomalias?
Os dados rotulados são extremamente raros em problemas reais.
Coletar exemplos de fraudes é caro e demorado.
Por isso, métodos não supervisionados são tão valiosos.
Eles conseguem operar apenas com dados normais.
Além disso, novas anomalias imprevistas também são descobertas.
A voz passiva é frequentemente usada nesse contexto: “os dados são analisados sem intervenção humana”.
Os modelos aprendem a densidade ou o comportamento esperado.
Pontos que violam essa expectativa são sinalizados.
Consequentemente, as empresas reduzem perdas financeiras.
Esse tipo de detecção salva vidas em diagnósticos médicos.
Portanto, dominar esses algoritmos é um grande diferencial.
Modelos essenciais: isolation forest, one‑class svm, dbscan, autoencoders e lstm
Isolation Forest (iForest)
Características: Esse modelo isola anomalias em vez de descrever dados normais. Ele constrói árvores de decisão aleatórias. As anomalias são isoladas mais rapidamente (caminhos mais curtos). É rápido e escala bem para grandes volumes. Muito eficaz em dados tabulares.
Hiperparâmetros principais: n_estimators (número de árvores, padrão 100), max_samples (amostras por árvore) e contamination (proporção esperada de anomalias).
Matemática (Isolation Forest):
\( s(x,n) = 2^{-\frac{E(h(x))}{c(n)}} \)
\( c(n) = 2H(n-1) – \frac{2(n-1)}{n} \)
O score \( s \) próximo de 1 indica anomalia. \( E(h(x)) \) é o comprimento médio do caminho. Quanto menor o caminho, mais anômalo é o ponto. Essa abordagem é extremamente intuitiva e poderosa.
One‑Class Support Vector Machine
Características: O One‑Class SVM aprende uma fronteira que envolve os dados normais. Ele encontra a região onde a maioria dos pontos reside. Pontos fora dessa região são anomalias. Funciona bem para dados de média dimensionalidade. É inspirado no conceito de separação máxima.
Hiperparâmetros: nu (limite superior de anomalias, entre 0 e 1) e kernel (rbf, linear, poly). O parâmetro gamma controla a influência de cada ponto.
Matemática (One‑Class SVM):
\( \min_{w,\xi,\rho} \frac{1}{2}\|w\|^2 + \frac{1}{\nu n}\sum_i \xi_i – \rho \)
\( \text{sujeito a: } w \cdot \phi(x_i) \geq \rho – \xi_i, \quad \xi_i \geq 0 \)
O algoritmo maximiza a distância da origem até a fronteira. Os vetores de suporte definem o limite da região normal. A margem é ajustada pelo hiperparâmetro nu. Essa formulação foi projetada especificamente para detecção de novidades.
DBSCAN (Density‑Based Clustering)
Características: DBSCAN agrupa pontos densos e rotula pontos isolados como ruído. Ele não exige o número de clusters. Consegue encontrar formas arbitrárias. Ótimo para dados com regiões de densidade variável. As anomalias são os pontos que não pertencem a nenhum grupo.
Hiperparâmetros essenciais: eps (raio da vizinhança) e min_samples (número mínimo de pontos para formar um cluster). Valores típicos: eps entre 0.1 e 1.0, min_samples entre 5 e 20.
Matemática (DBSCAN):
\( N_{\text{eps}}(p) = \{ q \in D \mid dist(p,q) \leq \text{eps} \} \)
\( \text{p é núcleo se } |N_{\text{eps}}(p)| \geq \text{min\_samples} \)
Pontos que não são núcleo nem alcançáveis por densidade são anomalias. Esses pontos são classificados como ruído. A vantagem é não assumir nenhuma distribuição estatística. É um método totalmente baseado na densidade local.
Autoencoders (Redes Neurais)
Características: Um autoencoder aprende a reconstruir dados normais. Anomalias geram alto erro de reconstrução. A arquitetura possui um gargalo (bottleneck) que força a compressão. É não linear e muito flexível. Excelente para imagens, séries temporais e dados complexos.
Hiperparâmetros comuns: encoding_dim (tamanho da camada comprimida), número de camadas, funções de ativação (ReLU, tanh), learning_rate, epochs e batch_size.
Matemática (Autoencoder para anomalias):
\( h = f(W_e x + b_e) \quad \text{(encoder)} \)
\( \hat{x} = g(W_d h + b_d) \quad \text{(decoder)} \)
\( \text{score}(x) = \|x – \hat{x}\|^2 \)
Se o erro de reconstrução for maior que um limiar, o ponto é marcado como anomalia. O modelo só é treinado com dados normais. Consequentemente, ele não consegue reconstruir comportamentos anômalos. Esse princípio é amplamente usado em detecção de fraudes com imagens.
LSTM (Long Short‑Term Memory)
Características: LSTM é uma rede recorrente especializada em sequências. Ela memoriza padrões de longo prazo. Ideal para detecção de anomalias em séries temporais (sensores, logs, finanças). A arquitetura contém células de memória com portas (input, forget, output). Esse modelo prevê o próximo passo e compara com o real.
Hiperparâmetros: número de unidades LSTM, window_size (tamanho da sequência de entrada), dropout (regularização), optimizer (Adam), learning_rate e epochs.
Matemática (LSTM para anomalias):
\( f_t = \sigma(W_f \cdot [h_{t-1}, x_t] + b_f) \)
\( i_t = \sigma(W_i \cdot [h_{t-1}, x_t] + b_i) \)
\( \tilde{C}_t = \tanh(W_C \cdot [h_{t-1}, x_t] + b_C) \)
\( C_t = f_t * C_{t-1} + i_t * \tilde{C}_t \)
\( \text{Erro de predição} = \|x_{t+1} – \hat{x}_{t+1}\|^2 \)
O LSTM aprende a prever o próximo valor de uma série. Quando o erro de predição ultrapassa um limiar, uma anomalia é detectada. Essas portas controlam o fluxo de informação. Esse método é padrão em manutenção preditiva de máquinas.
Resumo prático: Para dados tabulares, comece com Isolation Forest. Para séries temporais, use LSTM ou Autoencoders. DBSCAN é ótimo quando você não sabe quantos grupos existem. O One‑Class SVM funciona bem em médias dimensões. Lembre-se: sempre normalize os dados antes! Teste diferentes limiares de detecção. Com esses cinco modelos, você já pode criar sistemas antifraude, detectar falhas em equipamentos e encontrar comportamentos suspeitos. A prática leva à perfeição. Explore e descubra anomalias escondidas!
