Modelos Lineares Generalizados: Regressão Robusta com Outliers e Erros de Modelagem

Analisando a documentação do scikit-learn versão 0.21, chegamos a uma seção crucial para aplicações práticas: a regressão robusta. Primordialmente, esta técnica aborda um problema comum em modelos lineares – a sensibilidade a valores atípicos.

O Desafio dos Outliers

Conforme observamos anteriormente, os modelos de Ordinary Least Squares (OLS) convencionais assumem que os resíduos seguem uma distribuição normal. Contudo, na prática, frequentemente nos deparamos com situações onde:

Existem observações extremas que distorcem as estimativas
Os erros não seguem perfeitamente uma distribuição normal
Há violação dos pressupostos de homocedasticidade

Fundamentos Matemáticos

Enquanto o OLS tradicional minimiza a soma dos quadrados dos resíduos:

\(\min_{w} ||Xw – y||_2^2\)

As abordagens robustas utilizam funções de perda diferentes que são menos sensíveis a outliers. Analogamente, podemos pensar em funções como:

Huber loss
RANSAC (RANdom SAmple Consensus)
Theil-Sen estimator

Abordagens Implementadas no scikit-learn

Huber Regressor

Esta técnica utiliza uma função de perda que se comporta quadraticamente para pequenos resíduos e linearmente para resíduos grandes. Afinal, isso permite que o modelo seja robusto a outliers enquanto mantém eficiência para dados normais.

RANSAC Regressor

O RANSAC opera através de um processo iterativo que:

Seleciona aleatoriamente subconjuntos dos dados
Ajusta modelos a esses subconjuntos
Classifica pontos como inliers ou outliers baseado em um threshold
Seleciona o modelo com maior consenso

Theil-Sen Regressor

Similarmente, o estimador de Theil-Sen calcula slopes entre todos os pares de pontos e utiliza a mediana desses slopes. Inegavelmente, este método é particularmente robusto contra outliers nos dados de entrada.

Quando Utilizar Regressão Robusta?

Certamente, você deve considerar estas abordagens quando:

Suspeita da presença de outliers significativos
Os resíduos do modelo apresentam caudas pesadas
Precisa de estimativas mais confiáveis em dados ruidosos
Trabalha com medições sujeitas a erros grosseiros

Ademais, é importante notar que estas técnicas geralmente são computacionalmente mais custosas que o OLS tradicional.

Exemplo Prático em Python

Para ilustrar a aplicação destes conceitos, vejamos um exemplo comparativo:

import numpy as np
import matplotlib.pyplot as plt
from sklearn.linear_model import LinearRegression, HuberRegressor, RANSACRegressor
from sklearn.metrics import mean_squared_error

'''
Exemplo demonstrando a robustez de diferentes regressores
contra outliers nos dados
'''

# Gerando dados sintéticos com relação linear
np.random.seed(42)
X = np.random.normal(0, 1, 100).reshape(-1, 1)
y_true = 2 * X.ravel() + 1

''' 
Adicionando outliers para simular um cenário real
onde algumas medições estão corrompidas
'''
y_outliers = y_true.copy()
outlier_indices = np.random.choice(100, 10, replace=False)
y_outliers[outlier_indices] += 10 * np.random.randn(10)

# Inicializando os modelos
models = {
    'OLS': LinearRegression(),
    'Huber': HuberRegressor(),
    'RANSAC': RANSACRegressor()
}

# Treinando e avaliando cada modelo
results = {}
for name, model in models.items():
    if name == 'Huber':
        model.fit(X, y_outliers)
    else:
        model.fit(X, y_outliers)
    
    y_pred = model.predict(X)
    mse = mean_squared_error(y_true, y_pred)
    results[name] = {'model': model, 'mse': mse, 'predictions': y_pred}

'''
Comparando os resultados: o RANSAC e Huber devem apresentar
melhor performance em termos de MSE quando comparados ao OLS,
pois são menos sensíveis aos outliers
'''
print("Comparação de MSE entre modelos:")
for name, result in results.items():
    print(f"{name}: {result['mse']:.4f}")

# Visualização dos resultados
plt.figure(figsize=(12, 4))

for i, (name, result) in enumerate(results.items(), 1):
    plt.subplot(1, 3, i)
    plt.scatter(X, y_outliers, alpha=0.6, label='Dados com outliers')
    plt.scatter(X[outlier_indices], y_outliers[outlier_indices], 
                color='red', label='Outliers', alpha=0.8)
    plt.plot(X, result['predictions'], color='black', 
             linewidth=2, label=f'Regressão {name}')
    plt.title(f'{name} (MSE: {result["mse"]:.2f})')
    plt.legend()

plt.tight_layout()
plt.show()

import numpy as np

import matplotlib.pyplot as plt

from sklearn.linear_model import LinearRegression, HuberRegressor, RANSACRegressor

from sklearn.metrics import mean_squared_error

'''

Exemplo demonstrando a robustez de diferentes regressores

contra outliers nos dados

'''

# Gerando dados sintéticos com relação linear

np.random.seed(42)

X = np.random.normal(0, 1, 100).reshape(-1, 1)

y_true = 2 * X.ravel() + 1

'''

Adicionando outliers para simular um cenário real

onde algumas medições estão corrompidas

'''

y_outliers = y_true.copy()

outlier_indices = np.random.choice(100, 10, replace=False)

y_outliers[outlier_indices] += 10 * np.random.randn(10)

# Inicializando os modelos

models = {

'OLS': LinearRegression(),

'Huber': HuberRegressor(),

'RANSAC': RANSACRegressor()

}

# Treinando e avaliando cada modelo

results = {}

for name, model in models.items():

if name == 'Huber':

model.fit(X, y_outliers)

else:

model.fit(X, y_outliers)

y_pred = model.predict(X)

mse = mean_squared_error(y_true, y_pred)

results[name] = {'model': model, 'mse': mse, 'predictions': y_pred}

'''

Comparando os resultados: o RANSAC e Huber devem apresentar

melhor performance em termos de MSE quando comparados ao OLS,

pois são menos sensíveis aos outliers

'''

print("Comparação de MSE entre modelos:")

for name, result in results.items():

print(f"{name}: {result['mse']:.4f}")

# Visualização dos resultados

plt.figure(figsize=(12, 4))

for i, (name, result) in enumerate(results.items(), 1):

plt.subplot(1, 3, i)

plt.scatter(X, y_outliers, alpha=0.6, label='Dados com outliers')

plt.scatter(X[outlier_indices], y_outliers[outlier_indices],

color='red', label='Outliers', alpha=0.8)

plt.plot(X, result['predictions'], color='black',

linewidth=2, label=f'Regressão {name}')

plt.title(f'{name} (MSE: {result["mse"]:.2f})')

plt.legend()

plt.tight_layout()

plt.show()

Eventualmente, ao executar este código, você observará que os regressores robustos (Huber e RANSAC) produzem estimativas mais próximas da relação linear verdadeira, mesmo na presença de outliers significativos.

Considerações Finais

Embora a regressão robusta ofereça vantagens significativas em cenários com outliers, é importante considerar que:

O aumento da robustez pode vir acompanhado de maior custo computacional
Parâmetros como epsilon no Huber Regressor requerem ajuste cuidadoso
Em dados limpos, o OLS tradicional pode ser mais eficiente

Portanto, a escolha entre abordagens tradicionais e robustas deve considerar as características específicas dos dados e os objetivos do modelo. Inclusive, em muitos casos práticos, uma análise exploratória preliminar pode indicar qual abordagem será mais adequada.

Indice