Arquivo de aprendizado-de-maquinas

Quando seus dados são grandes demais para métodos tradicionais

Imagine que você precisa analisar milhões de transações de cartão de crédito para detectar fraudes, ou processar milhares de reviews de produtos para entender o sentimento dos clientes. Métodos tradicionais de machine learning simplesmente travam com essa quantidade de dados. É aqui que o Stochastic Gradient Descent (SGD) se torna seu herói – ele permite treinar modelos com quantidades massivas de dados processando apenas pequenos pedaços de cada vez, como alguém que lê um livro gigante uma página por dia.

Como o SGD consegue aprender sem ver todos os dados?

Você deve estar se perguntando: “como é possível um modelo aprender corretamente se só vê pequenas partes dos dados por vez?” É uma dúvida completamente natural! Pense em como você aprendeu a reconhecer animais. Você não precisou ver todos os gatos do mundo – viu alguns exemplos, depois mais alguns, e gradualmente desenvolveu a capacidade de reconhecer gatos. O SGD faz exatamente isso, mas de forma matemática e sistemática.

A ideia central é surpreendentemente simples: em vez de calcular o erro usando todos os dados (o que seria muito lento), usamos apenas uma amostra ou um pequeno lote:

\(w_{t+1} = w_t – \eta \nabla Q_i(w_t)\)

onde w_t são os pesos no tempo t, η é a taxa de aprendizado, e ∇Q_i(w_t) é o gradiente para a amostra i. É como ajustar gradualmente uma receita provando pequenas porções em vez de comer o prato inteiro a cada ajuste.

Mãos na massa: seu primeiro classificador com SGD

Vamos criar um sistema para classificar emails como spam ou não spam, um problema perfeito para o SGD:

from sklearn.linear_model import SGDClassifier
from sklearn.datasets import make_classification
from sklearn.model_selection import train_test_split
from sklearn.preprocessing import StandardScaler
from sklearn.metrics import accuracy_score, classification_report
import numpy as np

# Simulando dados de emails: características como comprimento, palavras-chave, etc.
# Na prática, isso seria extraído de emails reais
X, y = make_classification(
    n_samples=10000,           # 10,000 emails
    n_features=20,             # 20 características por email
    n_classes=2,               # spam ou não spam
    n_informative=15,          # 15 características realmente úteis
    n_redundant=5,             # 5 características redundantes
    random_state=42
)

# Dividindo em treino e teste
X_train, X_test, y_train, y_test = train_test_split(
    X, y, test_size=0.3, random_state=42
)

# DICA CRUCIAL: sempre normalize os dados para SGD
scaler = StandardScaler()
X_train_scaled = scaler.fit_transform(X_train)
X_test_scaled = scaler.transform(X_test)

# Criando nosso detector de spam
spam_detector = SGDClassifier(
    loss='log',                # Regressão logística - ótima para probabilidades
    penalty='l2',              # Regularização para evitar overfitting
    alpha=0.0001,              # Força da regularização
    max_iter=1000,             # Máximo de iterações
    tol=1e-3,                  # Tolerância para parada
    learning_rate='optimal',   # Taxa de aprendizado adaptativa
    random_state=42            # Para resultados reproduzíveis
)

# Treinamento - rápido mesmo com 10,000 exemplos!
print("Treinando o detector de spam...")
spam_detector.fit(X_train_scaled, y_train)

# Fazendo previsões
y_pred = spam_detector.predict(X_test_scaled)
accuracy = accuracy_score(y_test, y_pred)

print(f"\nResultados:")
print(f"Acurácia: {accuracy:.1%}")
print(f"Número de iterações: {spam_detector.n_iter_}")
print(f"Número de coeficientes não-zero: {np.sum(spam_detector.coef_ != 0)}")

# Relatório detalhado
print(f"\nRelatório de classificação:")
print(classification_report(y_test, y_pred, target_names=['Não spam', 'Spam']))

from sklearn.linear_model import SGDClassifier

from sklearn.datasets import make_classification

from sklearn.model_selection import train_test_split

from sklearn.preprocessing import StandardScaler

from sklearn.metrics import accuracy_score, classification_report

import numpy as np

# Simulando dados de emails: características como comprimento, palavras-chave, etc.

# Na prática, isso seria extraído de emails reais

X, y = make_classification(

n_samples=10000, # 10,000 emails

n_features=20, # 20 características por email

n_classes=2, # spam ou não spam

n_informative=15, # 15 características realmente úteis

n_redundant=5, # 5 características redundantes

random_state=42

)

# Dividindo em treino e teste

X_train, X_test, y_train, y_test = train_test_split(

X, y, test_size=0.3, random_state=42

)

# DICA CRUCIAL: sempre normalize os dados para SGD

scaler = StandardScaler()

X_train_scaled = scaler.fit_transform(X_train)

X_test_scaled = scaler.transform(X_test)

# Criando nosso detector de spam

spam_detector = SGDClassifier(

loss='log', # Regressão logística - ótima para probabilidades

penalty='l2', # Regularização para evitar overfitting

alpha=0.0001, # Força da regularização

max_iter=1000, # Máximo de iterações

tol=1e-3, # Tolerância para parada

learning_rate='optimal', # Taxa de aprendizado adaptativa

random_state=42 # Para resultados reproduzíveis

)

# Treinamento - rápido mesmo com 10,000 exemplos!

print("Treinando o detector de spam...")

spam_detector.fit(X_train_scaled, y_train)

# Fazendo previsões

y_pred = spam_detector.predict(X_test_scaled)

accuracy = accuracy_score(y_test, y_pred)

print(f"\nResultados:")

print(f"Acurácia: {accuracy:.1%}")

print(f"Número de iterações: {spam_detector.n_iter_}")

print(f"Número de coeficientes não-zero: {np.sum(spam_detector.coef_ != 0)}")

# Relatório detalhado

print(f"\nRelatório de classificação:")

print(classification_report(y_test, y_pred, target_names=['Não spam', 'Spam']))

Por que o SGD é tão eficiente?

O segredo da eficiência do SGD está em suas características únicas:

Processamento incremental: não precisa carregar todos os dados na memória de uma vez
Convergência rápida inicial: faz progresso significativo nas primeiras iterações
Escapando de mínimos locais: a natureza estocástica ajuda a evitar ficar preso em soluções ruins
Eficiência com dados esparsos: ideal para texto e sistemas de recomendação

Comparando SGD com métodos tradicionais

Vamos ver na prática as diferenças de performance:

import time
from sklearn.linear_model import LogisticRegression
from sklearn.svm import LinearSVC

# Dataset maior para comparação justa
X_large, y_large = make_classification(
    n_samples=50000, n_features=30, random_state=42
)

X_train_large, X_test_large, y_train_large, y_test_large = train_test_split(
    X_large, y_large, test_size=0.2, random_state=42
)

# Normalizando
scaler_large = StandardScaler()
X_train_large_scaled = scaler_large.fit_transform(X_train_large)
X_test_large_scaled = scaler_large.transform(X_test_large)

models = {
    'SGDClassifier': SGDClassifier(max_iter=1000, random_state=42),
    'LogisticRegression': LogisticRegression(max_iter=1000, random_state=42),
    'LinearSVC': LinearSVC(max_iter=1000, random_state=42)
}

results = []

for name, model in models.items():
    print(f"Treinando {name}...")
    start_time = time.time()
    
    model.fit(X_train_large_scaled, y_train_large)
    training_time = time.time() - start_time
    
    accuracy = model.score(X_test_large_scaled, y_test_large)
    
    results.append({
        'model': name,
        'training_time': training_time,
        'accuracy': accuracy
    })
    
    print(f"  Tempo: {training_time:.2f}s")
    print(f"  Acurácia: {accuracy:.3f}")

# Mostrando comparação
print(f"\nComparação final:")
for result in results:
    print(f"{result['model']:20} | {result['training_time']:6.2f}s | {result['accuracy']:.3f}")

# Encontrando o mais rápido com boa acurácia
fast_accurate = min(results, key=lambda x: x['training_time'] if x['accuracy'] > 0.85 else float('inf'))
print(f"\nMais rápido com boa acurácia: {fast_accurate['model']}")

import time

from sklearn.linear_model import LogisticRegression

from sklearn.svm import LinearSVC

# Dataset maior para comparação justa

X_large, y_large = make_classification(

n_samples=50000, n_features=30, random_state=42

)

X_train_large, X_test_large, y_train_large, y_test_large = train_test_split(

X_large, y_large, test_size=0.2, random_state=42

)

# Normalizando

scaler_large = StandardScaler()

X_train_large_scaled = scaler_large.fit_transform(X_train_large)

X_test_large_scaled = scaler_large.transform(X_test_large)

models = {

'SGDClassifier': SGDClassifier(max_iter=1000, random_state=42),

'LogisticRegression': LogisticRegression(max_iter=1000, random_state=42),

'LinearSVC': LinearSVC(max_iter=1000, random_state=42)

}

results = []

for name, model in models.items():

print(f"Treinando {name}...")

start_time = time.time()

model.fit(X_train_large_scaled, y_train_large)

training_time = time.time() - start_time

accuracy = model.score(X_test_large_scaled, y_test_large)

results.append({

'model': name,

'training_time': training_time,

'accuracy': accuracy

})

print(f" Tempo: {training_time:.2f}s")

print(f" Acurácia: {accuracy:.3f}")

# Mostrando comparação

print(f"\nComparação final:")

for result in results:

print(f"{result['model']:20} | {result['training_time']:6.2f}s | {result['accuracy']:.3f}")

# Encontrando o mais rápido com boa acurácia

fast_accurate = min(results, key=lambda x: x['training_time'] if x['accuracy'] > 0.85 else float('inf'))

print(f"\nMais rápido com boa acurácia: {fast_accurate['model']}")

Configurações que fazem toda a diferença

Depois de implementar muitos modelos com SGD, aprendi que estas configurações são cruciais:

loss=’hinge’: para SVM linear – cria margens largas entre classes
loss=’log’: para regressão logística – ótima para probabilidades
penalty=’l1′: para seleção de features – cria coeficientes esparsos
penalty=’l2′: padrão – funciona bem na maioria dos casos
learning_rate=’optimal’: adapta automaticamente – melhor para iniciantes
alpha=0.0001: bom valor inicial para regularização

Escolhendo a função de perda certa

Cada função de perda tem um propósito específico. Vamos explorar as opções:

from sklearn.linear_model import SGDClassifier
import matplotlib.pyplot as plt

# Dados de exemplo com diferentes características
X_simple, y_simple = make_classification(
    n_samples=1000, n_features=2, n_classes=2, 
    n_redundant=0, n_clusters_per_class=1, random_state=42
)

loss_functions = ['hinge', 'log', 'modified_huber', 'perceptron']
results_loss = []

for loss in loss_functions:
    classifier = SGDClassifier(
        loss=loss,
        max_iter=1000,
        random_state=42
    )
    
    classifier.fit(X_simple, y_simple)
    accuracy = classifier.score(X_simple, y_simple)
    
    results_loss.append({
        'loss': loss,
        'accuracy': accuracy,
        'n_iter': classifier.n_iter_,
        'coef_norm': np.linalg.norm(classifier.coef_)
    })

# Mostrando resultados
print("Comparação de funções de perda:")
for result in results_loss:
    print(f"{result['loss']:15} | Acurácia: {result['accuracy']:.3f} | "
          f"Iterações: {result['n_iter']} | Norma: {result['coef_norm']:.3f}")

# Visualizando as fronteiras de decisão
fig, axes = plt.subplots(2, 2, figsize=(12, 10))
axes = axes.ravel()

for idx, loss in enumerate(loss_functions):
    classifier = SGDClassifier(loss=loss, max_iter=1000, random_state=42)
    classifier.fit(X_simple, y_simple)
    
    # Plotando pontos
    axes[idx].scatter(X_simple[:, 0], X_simple[:, 1], c=y_simple, cmap='bwr', alpha=0.6)
    
    # Criando grid para fronteira de decisão
    xx, yy = np.meshgrid(
        np.linspace(X_simple[:, 0].min()-0.5, X_simple[:, 0].max()+0.5, 50),
        np.linspace(X_simple[:, 1].min()-0.5, X_simple[:, 1].max()+0.5, 50)
    )
    Z = classifier.predict(np.c_[xx.ravel(), yy.ravel()])
    Z = Z.reshape(xx.shape)
    
    axes[idx].contour(xx, yy, Z, colors='black', alpha=0.8, linewidths=1)
    axes[idx].set_title(f'Loss: {loss}\nAcurácia: {results_loss[idx]["accuracy"]:.3f}')
    axes[idx].set_xlabel('Feature 1')
    axes[idx].set_ylabel('Feature 2')

plt.tight_layout()
plt.show()

from sklearn.linear_model import SGDClassifier

import matplotlib.pyplot as plt

# Dados de exemplo com diferentes características

X_simple, y_simple = make_classification(

n_samples=1000, n_features=2, n_classes=2,

n_redundant=0, n_clusters_per_class=1, random_state=42

)

loss_functions = ['hinge', 'log', 'modified_huber', 'perceptron']

results_loss = []

for loss in loss_functions:

classifier = SGDClassifier(

loss=loss,

max_iter=1000,

random_state=42

)

classifier.fit(X_simple, y_simple)

accuracy = classifier.score(X_simple, y_simple)

results_loss.append({

'loss': loss,

'accuracy': accuracy,

'n_iter': classifier.n_iter_,

'coef_norm': np.linalg.norm(classifier.coef_)

})

# Mostrando resultados

print("Comparação de funções de perda:")

for result in results_loss:

print(f"{result['loss']:15} | Acurácia: {result['accuracy']:.3f} | "

f"Iterações: {result['n_iter']} | Norma: {result['coef_norm']:.3f}")

# Visualizando as fronteiras de decisão

fig, axes = plt.subplots(2, 2, figsize=(12, 10))

axes = axes.ravel()

for idx, loss in enumerate(loss_functions):

classifier = SGDClassifier(loss=loss, max_iter=1000, random_state=42)

classifier.fit(X_simple, y_simple)

# Plotando pontos

axes[idx].scatter(X_simple[:, 0], X_simple[:, 1], c=y_simple, cmap='bwr', alpha=0.6)

# Criando grid para fronteira de decisão

xx, yy = np.meshgrid(

np.linspace(X_simple[:, 0].min()-0.5, X_simple[:, 0].max()+0.5, 50),

np.linspace(X_simple[:, 1].min()-0.5, X_simple[:, 1].max()+0.5, 50)

)

Z = classifier.predict(np.c_[xx.ravel(), yy.ravel()])

Z = Z.reshape(xx.shape)

axes[idx].contour(xx, yy, Z, colors='black', alpha=0.8, linewidths=1)

axes[idx].set_title(f'Loss: {loss}\nAcurácia: {results_loss[idx]["accuracy"]:.3f}')

axes[idx].set_xlabel('Feature 1')

axes[idx].set_ylabel('Feature 2')

plt.tight_layout()

plt.show()

Perguntas que todo iniciante faz sobre SGD

“Por que meu modelo SGD tem performance instável?”
Isso é normal! O SGD é inerentemente aleatório. Use random_state para reproducibilidade ou execute múltiplas vezes e tire a média.

“Quando devo usar SGD em vez de LogisticRegression?”
Use SGD para datasets grandes (>10,000 amostras) ou quando precisar de atualizações online. Use LogisticRegression para datasets menores onde estabilidade é importante.

“Como escolher a taxa de aprendizado certa?”
Comece com learning_rate='optimal'. Se precisar ajustar manualmente, valores entre 0.01 e 0.1 geralmente funcionam bem.

“Meu modelo não converge – o que fazer?”
Aumente max_iter, diminua tol, ou verifique se os dados estão normalizados. Às vezes, aumentar a taxa de aprendizado ajuda.

Trabalhando com dados em tempo real

Uma das maiores vantagens do SGD é lidar com dados que chegam continuamente:

from sklearn.linear_model import SGDClassifier
import numpy as np

# Simulando dados chegando em tempo real (como transações de cartão)
online_classifier = SGDClassifier(loss='log', random_state=42)

# Número total de amostras que chegarão
total_samples = 5000
batch_size = 100

print("Simulando aprendizado online...")
print("Batch | Acurácia acumulada")

for batch_num in range(total_samples // batch_size):
    # Novos dados chegando
    X_batch, y_batch = make_classification(
        n_samples=batch_size, 
        n_features=20,
        random_state=batch_num  # Diferente a cada batch
    )
    
    # Atualizando o modelo com os novos dados
    online_classifier.partial_fit(X_batch, y_batch, classes=[0, 1])
    
    # Avaliando a performance atual
    current_accuracy = online_classifier.score(X_batch, y_batch)
    
    if batch_num % 5 == 0:  # Mostrar a cada 5 batches
        samples_processed = (batch_num + 1) * batch_size
        print(f"{batch_num:5} | {samples_processed:5} amostras | {current_accuracy:.3f}")

print(f"\nModelo final treinado com {total_samples} amostras")
print(f"Coeficientes aprendidos: {online_classifier.coef_.shape}")

# Isso é incrivelmente útil para:
# - Sistemas de recomendação que aprendem com novo comportamento
# - Detectores de fraude que se adaptam a novos padrões
# - Classificadores de texto que aprendem com novos documentos

from sklearn.linear_model import SGDClassifier

import numpy as np

# Simulando dados chegando em tempo real (como transações de cartão)

online_classifier = SGDClassifier(loss='log', random_state=42)

# Número total de amostras que chegarão

total_samples = 5000

batch_size = 100

print("Simulando aprendizado online...")

print("Batch | Acurácia acumulada")

for batch_num in range(total_samples // batch_size):

# Novos dados chegando

X_batch, y_batch = make_classification(

n_samples=batch_size,

n_features=20,

random_state=batch_num # Diferente a cada batch

)

# Atualizando o modelo com os novos dados

online_classifier.partial_fit(X_batch, y_batch, classes=[0, 1])

# Avaliando a performance atual

current_accuracy = online_classifier.score(X_batch, y_batch)

if batch_num % 5 == 0: # Mostrar a cada 5 batches

samples_processed = (batch_num + 1) * batch_size

print(f"{batch_num:5} | {samples_processed:5} amostras | {current_accuracy:.3f}")

print(f"\nModelo final treinado com {total_samples} amostras")

print(f"Coeficientes aprendidos: {online_classifier.coef_.shape}")

# Isso é incrivelmente útil para:

# - Sistemas de recomendação que aprendem com novo comportamento

# - Detectores de fraude que se adaptam a novos padrões

# - Classificadores de texto que aprendem com novos documentos

Próximos passos para dominar o SGD

Agora que você entende o básico, aqui estão as direções para se aprofundar:

Experimente SGDRegressor para problemas de regressão
Teste regularização ElasticNet que combina L1 e L2
Explore parâmetros avançados como epsilon para Huber loss
Implemente early stopping customizado para melhor controle
Use com pipelines para fluxos de trabalho reprodutíveis

Assuntos relacionados para aprofundar

Para entender completamente o SGD, estes conceitos matemáticos são fundamentais:

Otimização convexa: gradientes, convexidade, condições de otimalidade
Probabilidade e estatística: processos estocásticos, convergência
Álgebra linear: produtos escalares, normas, espaços vetoriais
Cálculo: derivadas, regra da cadeia, aproximações lineares
Teoria da aprendizagem: viés-variância, generalização
Análise numérica: estabilidade, precisão, condicionamento

Referências que valem a pena

Lembre-se: o SGD é como uma ferramenta poderosa que se torna ainda mais útil quando você entende como ela funciona. Comece com problemas simples, experimente diferentes configurações, e gradualmente você desenvolverá a intuição para aplicar o SGD eficazmente em projetos reais. A prática constante é o segredo para dominar essa técnica incrivelmente versátil!