Máquinas de Vetores de Suporte: Dicas de Uso Prático

Anteriormente discutimos a complexidade dos SVM. Analogamente, é fundamental compreender as melhores práticas para utilizá-los efetivamente em projetos reais de machine learning.

Pré-processamento de Dados

Primordialmente, os Support Vector Machines são sensíveis à escala dos dados. Decerto, a normalização adequada é crucial para o desempenho do modelo.

StandardScaler: Remove a média e escala para variância unitária
MinMaxScaler: Escala os dados para um range específico, geralmente [0, 1]
RobustScaler: Utiliza mediana e quartis, robusto a outliers

Escolha do Kernel

Conforme a documentação, a seleção do kernel apropriado depende das características do dataset:

Linear: Recomendado para datasets grandes ou quando há muitas features
RBF: Kernel padrão, funciona bem na maioria dos casos
Polynomial: Útil quando há conhecimento prévio sobre a natureza polinomial dos dados
Sigmoid: Similar ao MLP, mas menos utilizado na prática

Ajuste de Hiperparâmetros

Inegavelmente, o ajuste adequado dos hiperparâmetros é essencial para obter bons resultados:

Parâmetro C (Regularização)

O parâmetro C controla o trade-off entre margem e erro de classificação:

Valores pequenos de C: Margem larga, pode underfit
Valores grandes de C: Margem estreita, pode overfit
Valor padrão: C=1.0

Parâmetro γ (Gamma)

Para kernels RBF e polynomial, γ controla a influência de cada exemplo:

Valores pequenos de γ: Influência ampla, decisão suave
Valores grandes de γ: Influência restrita, decisão complexa
Escolha comum: scale ou auto

Seleção de Implementação

Atualmente, o scikit-learn oferece múltiplas implementações:

SVC: Implementação versátil com suporte a vários kernels
LinearSVC: Otimizado para kernels lineares, mais escalável
NuSVC: Controla o número de vetores de suporte via parâmetro ν
SGDClassifier: Ideal para datasets muito grandes com loss=’hinge’

Exemplo Prático: Pipeline Completo

Ademais, vejamos um exemplo completo aplicando as melhores práticas:

'''
Pipeline Completo de SVM com Melhores Práticas
Este exemplo demonstra um fluxo de trabalho completo
com pré-processamento, busca de hiperparâmetros e avaliação
'''

import numpy as np
import matplotlib.pyplot as plt
from sklearn.datasets import make_classification
from sklearn.model_selection import train_test_split, GridSearchCV
from sklearn.preprocessing import StandardScaler
from sklearn.svm import SVC
from sklearn.pipeline import Pipeline
from sklearn.metrics import classification_report, confusion_matrix

# Gerar dataset de exemplo
X, y = make_classification(n_samples=1000, n_features=20, n_redundant=5,
                          n_informative=10, n_clusters_per_class=1,
                          random_state=42)

# Dividir em treino e teste
X_train, X_test, y_train, y_test = train_test_split(X, y, test_size=0.3,
                                                    random_state=42,
                                                    stratify=y)

print("Dimensões dos dados:")
print(f"Treino: {X_train.shape}, Teste: {X_test.shape}")

'''
Criar pipeline com pré-processamento e modelo
O pipeline garante que o scaler seja ajustado apenas nos dados de treino
'''
pipeline = Pipeline([
    ('scaler', StandardScaler()),  # Normalização dos dados
    ('svm', SVC(kernel='rbf', random_state=42))  # Modelo SVM com kernel RBF
])

'''
Definir espaço de busca para GridSearch
Busca combinatória dos melhores hiperparâmetros
'''
param_grid = {
    'svm__C': [0.1, 1, 10, 100],  # Valores de regularização
    'svm__gamma': ['scale', 'auto', 0.1, 0.01],  # Valores de gamma
    'svm__kernel': ['rbf', 'linear']  # Tipos de kernel
}

print("\nIniciando busca de hiperparâmetros...")

# Executar GridSearch com validação cruzada
grid_search = GridSearchCV(pipeline, param_grid, cv=5, scoring='accuracy',
                          n_jobs=-1, verbose=1)
grid_search.fit(X_train, y_train)

print(f"\nMelhores parâmetros: {grid_search.best_params_}")
print(f"Melhor score na validação: {grid_search.best_score_:.3f}")

# Fazer previsões com o melhor modelo
best_model = grid_search.best_estimator_
y_pred = best_model.predict(X_test)

# Avaliar o modelo
print("\nRelatório de Classificação:")
print(classification_report(y_test, y_pred))

# Análise dos resultados do GridSearch
results = grid_search.cv_results_
print(f"\nNúmero de combinações testadas: {len(results['params'])}")

# Visualizar performance dos diferentes parâmetros
plt.figure(figsize=(12, 6))

# Extrair scores para kernel RBF
rbf_mask = [i for i, params in enumerate(results['params']) 
           if params['svm__kernel'] == 'rbf']
rbf_scores = results['mean_test_score'][rbf_mask]

plt.subplot(1, 2, 1)
plt.plot(range(len(rbf_scores)), rbf_scores, 'o-')
plt.title('Performance - Kernel RBF')
plt.xlabel('Combinação de Parâmetros')
plt.ylabel('Acurácia')
plt.grid(True, alpha=0.3)

plt.tight_layout()
plt.show()

# Análise dos vetores de suporte do melhor modelo
svm_model = best_model.named_steps['svm']
print(f"\nNúmero de vetores de suporte: {len(svm_model.support_vectors_)}")
print(f"Percentual de vetores de suporte: {len(svm_model.support_vectors_)/len(X_train)*100:.1f}%")

'''

Pipeline Completo de SVM com Melhores Práticas

Este exemplo demonstra um fluxo de trabalho completo

com pré-processamento, busca de hiperparâmetros e avaliação

'''

import numpy as np

import matplotlib.pyplot as plt

from sklearn.datasets import make_classification

from sklearn.model_selection import train_test_split, GridSearchCV

from sklearn.preprocessing import StandardScaler

from sklearn.svm import SVC

from sklearn.pipeline import Pipeline

from sklearn.metrics import classification_report, confusion_matrix

# Gerar dataset de exemplo

X, y = make_classification(n_samples=1000, n_features=20, n_redundant=5,

n_informative=10, n_clusters_per_class=1,

random_state=42)

# Dividir em treino e teste

X_train, X_test, y_train, y_test = train_test_split(X, y, test_size=0.3,

random_state=42,

stratify=y)

print("Dimensões dos dados:")

print(f"Treino: {X_train.shape}, Teste: {X_test.shape}")

'''

Criar pipeline com pré-processamento e modelo

O pipeline garante que o scaler seja ajustado apenas nos dados de treino

'''

pipeline = Pipeline([

('scaler', StandardScaler()), # Normalização dos dados

('svm', SVC(kernel='rbf', random_state=42)) # Modelo SVM com kernel RBF

])

'''

Definir espaço de busca para GridSearch

Busca combinatória dos melhores hiperparâmetros

'''

param_grid = {

'svm__C': [0.1, 1, 10, 100], # Valores de regularização

'svm__gamma': ['scale', 'auto', 0.1, 0.01], # Valores de gamma

'svm__kernel': ['rbf', 'linear'] # Tipos de kernel

}

print("\nIniciando busca de hiperparâmetros...")

# Executar GridSearch com validação cruzada

grid_search = GridSearchCV(pipeline, param_grid, cv=5, scoring='accuracy',

n_jobs=-1, verbose=1)

grid_search.fit(X_train, y_train)

print(f"\nMelhores parâmetros: {grid_search.best_params_}")

print(f"Melhor score na validação: {grid_search.best_score_:.3f}")

# Fazer previsões com o melhor modelo

best_model = grid_search.best_estimator_

y_pred = best_model.predict(X_test)

# Avaliar o modelo

print("\nRelatório de Classificação:")

print(classification_report(y_test, y_pred))

# Análise dos resultados do GridSearch

results = grid_search.cv_results_

print(f"\nNúmero de combinações testadas: {len(results['params'])}")

# Visualizar performance dos diferentes parâmetros

plt.figure(figsize=(12, 6))

# Extrair scores para kernel RBF

rbf_mask = [i for i, params in enumerate(results['params'])

if params['svm__kernel'] == 'rbf']

rbf_scores = results['mean_test_score'][rbf_mask]

plt.subplot(1, 2, 1)

plt.plot(range(len(rbf_scores)), rbf_scores, 'o-')

plt.title('Performance - Kernel RBF')

plt.xlabel('Combinação de Parâmetros')

plt.ylabel('Acurácia')

plt.grid(True, alpha=0.3)

plt.tight_layout()

plt.show()

# Análise dos vetores de suporte do melhor modelo

svm_model = best_model.named_steps['svm']

print(f"\nNúmero de vetores de suporte: {len(svm_model.support_vectors_)}")

print(f"Percentual de vetores de suporte: {len(svm_model.support_vectors_)/len(X_train)*100:.1f}%")

Dicas Adicionais para Uso Prático

Embora os SVM sejam algoritmos poderosos, algumas considerações práticas são importantes:

Para Datasets Grandes

Utilize LinearSVC ou SGDClassifier
Considere redução de dimensionalidade com PCA
Use RandomizedSearchCV em vez de GridSearchCV
Ajuste o parâmetro cache_size para otimizar uso de memória

Para Datasets Desbalanceados

Utilize class_weight=’balanced’
Considere técnicas de reamostragem (SMOTE)
Avalie com métricas apropriadas (F1-score, ROC-AUC)

Otimização de Performance

Para kernels não-lineares, ajuste gamma adequadamente
Use n_jobs=-1 para paralelização quando possível
Considere warm_start=True para ajustes incrementais

Casos de Uso Recomendados

Os SVM são particularmente eficazes em:

Problemas com alta dimensionalidade
Quando o número de features é maior que o número de amostras
Problemas com limites de decisão complexos
Aplicações onde a generalização é crucial

Enfim, aplicar essas dicas práticas pode significativamente melhorar o desempenho e a robustez dos modelos SVM em projetos reais de machine learning.

Referência: https://scikit-learn.org/0.21/modules/svm.html#tips-on-practical-use

Indice