Regressão Ridge e Lasso - Área de Trampo

Regularização em Modelos Lineares

Introdução à Regularização

Primordialmente, a regularização constitui uma técnica fundamental para mitigar o overfitting em modelos de machine learning. Enquanto a regressão linear ordinária pode sofrer com alta variância quando o número de features é elevado, os métodos Ridge e Lasso introduzem penalidades aos coeficientes, promovendo modelos mais generalizáveis.

1.1.5 Regressão Ridge

Conceito Fundamental

A regressão Ridge, também conhecida como Tikhonov regularization, adiciona uma penalidade L2 à função custo dos mínimos quadrados. Esta abordagem visa reduzir a magnitude dos coeficientes sem, contudo, eliminá-los completamente.

Formulação Matemática

A função objetivo da regressão Ridge é expressa por:

\(\min_{\beta} ||y – X\beta||_2^2 + \alpha ||\beta||_2^2\)

Onde:

\(\alpha\) representa o parâmetro de regularização
\(||\beta||_2^2\) denota a norma L2 dos coeficientes
O termo \(\alpha ||\beta||_2^2\) atua como penalidade

Solução e Propriedades

Similarmente ao OLS, a regressão Ridge admite solução fechada:

\(\hat{\beta} = (X^TX + \alpha I)^{-1}X^Ty\)

Inegavelmente, a adição da matriz \(\alpha I\) garante que \(X^TX + \alpha I\) seja sempre invertível, mesmo quando \(X^TX\) é singular. Decerto, esta característica confere estabilidade numérica ao método.

Vantagens da Abordagem Ridge

Estabilidade numérica em problemas mal condicionados
Redução da variância do modelo
Manutenção de todas as features no modelo final
Eficácia contra multicolinearidade

1.1.6 Regressão Lasso

Diferenciação Conceitual

Analogamente à regressão Ridge, a regressão Lasso introduz uma penalidade, mas utiliza a norma L1. Entretanto, esta diferença aparentemente sutil produz comportamentos radicalmente distintos.

Formulação Matemática

A função objetivo do Lasso é definida como:

\(\min_{\beta} \frac{1}{2n} ||y – X\beta||_2^2 + \alpha ||\beta||_1\)

Onde \(||\beta||_1\) representa a norma L1 dos coeficientes, equivalente à soma dos valores absolutos.

Seleção de Features

Surpreendentemente, a penalidade L1 promove esparsidade nos coeficientes. Isto significa que, para valores suficientemente altos de \(\alpha\), alguns coeficientes tornam-se exatamente zero. Consequentemente, o Lasso executa seleção automática de features.

Comparação entre Ridge e Lasso

Ridge: Reduz coeficientes, mas não os zera
Lasso: Pode zerar coeficientes irrelevantes
Ridge: Ideal quando todas as features são relevantes
Lasso: Superior quando há features redundantes

Escolha do Parâmetro Alpha

Certamente, a seleção adequada do parâmetro \(\alpha\) é crucial para o desempenho de ambos os métodos. Principalmente, técnicas como validação cruzada são empregadas para determinar o valor ótimo.

Implementação no scikit-learn

No scikit-learn, as classes Ridge e Lasso implementam estas técnicas. Ademais, estão disponíveis versões com validação cruzada integrada: RidgeCV e LassoCV.

Exemplo Prático Comparativo

import numpy as np
from sklearn.linear_model import Ridge, Lasso
from sklearn.model_selection import train_test_split
from sklearn.metrics import mean_squared_error
from sklearn.datasets import make_regression

# Gerar dados com features redundantes
X, y = make_regression(n_samples=100, n_features=10, n_informative=5, 
                       noise=0.1, random_state=42)

# Dividir em treino e teste
X_train, X_test, y_train, y_test = train_test_split(X, y, test_size=0.3, 
                                                    random_state=42)

# Instanciar modelos
ridge = Ridge(alpha=1.0)
lasso = Lasso(alpha=0.1)

# Treinar modelos
ridge.fit(X_train, y_train)
lasso.fit(X_train, y_train)

# Comparar resultados
print("Ridge - Coeficientes não nulos:", np.sum(ridge.coef_ != 0))
print("Lasso - Coeficientes não nulos:", np.sum(lasso.coef_ != 0))
print("Ridge - MSE:", mean_squared_error(y_test, ridge.predict(X_test)))
print("Lasso - MSE:", mean_squared_error(y_test, lasso.predict(X_test)))

import numpy as np

from sklearn.linear_model import Ridge, Lasso

from sklearn.model_selection import train_test_split

from sklearn.metrics import mean_squared_error

from sklearn.datasets import make_regression

# Gerar dados com features redundantes

X, y = make_regression(n_samples=100, n_features=10, n_informative=5,

noise=0.1, random_state=42)

# Dividir em treino e teste

X_train, X_test, y_train, y_test = train_test_split(X, y, test_size=0.3,

random_state=42)

# Instanciar modelos

ridge = Ridge(alpha=1.0)

lasso = Lasso(alpha=0.1)

# Treinar modelos

ridge.fit(X_train, y_train)

lasso.fit(X_train, y_train)

# Comparar resultados

print("Ridge - Coeficientes não nulos:", np.sum(ridge.coef_ != 0))

print("Lasso - Coeficientes não nulos:", np.sum(lasso.coef_ != 0))

print("Ridge - MSE:", mean_squared_error(y_test, ridge.predict(X_test)))

print("Lasso - MSE:", mean_squared_error(y_test, lasso.predict(X_test)))

Considerações Finais

Embora ambos os métodos sejam eficazes contra overfitting, a escolha entre Ridge e Lasso depende fundamentalmente da natureza do problema. Enquanto o Ridge é preferível quando se acredita que todas as features contribuem para a predição, o Lasso é mais adequado para problemas de seleção de features.

Inegavelmente, a compreensão dessas técnicas permite ao praticante fazer escolhas informadas no desenvolvimento de modelos preditivos. Ademais, vale mencionar que variações como Elastic Net combinam ambas as penalidades, oferecendo um compromisso entre as duas abordagens.

Cenários de Aplicação

Ridge: Dados com alta correlação entre features
Lasso: Seleção de features em datasets de alta dimensionalidade
Ambos: Prevenção de overfitting em modelos complexos

Portanto, o domínio dessas técnicas de regularização é essencial para qualquer profissional que trabalhe com modelos lineares em machine learning.

Indice