CRISP-DM vs KDD

Duas metodologias fundamentais no processo de descoberta de conhecimento: CRISP-DM (padrão industrial) e KDD (abordagem acadêmica).

Visão Geral das Metodologias

Ambas as abordagens compartilham o objetivo comum: transformar dados em conhecimento útil através do processo: \(Dados \rightarrow Informação \rightarrow Conhecimento\)

Comparação Direta: CRISP-DM vs KDD

CRISP-DM (Cross-Industry Standard Process for Data Mining)

Metodologia industrial desenvolvida por um consórcio de empresas para padronizar o processo de mineração de dados.

📋 As 6 Fases do CRISP-DM:

  1. Entendimento do Negócio
  2. Entendimento dos Dados
  3. Preparação dos Dados
  4. Modelagem
  5. Avaliação
  6. Implantação

✅ Vantagens do CRISP-DM

  • Foco em objetivos de negócio
  • Processo iterativo e flexível
  • Documentação padronizada
  • Ampla adoção corporativa

KDD (Knowledge Discovery in Databases)

Abordagem acadêmica que enfatiza o processo completo de descoberta de conhecimento em bases de dados.

🔬 As 9 Etapas do KDD:

  1. Desenvolver compreensão do domínio
  2. Criar conjunto de dados-alvo
  3. Limpeza e pré-processamento
  4. Redução e projeção de dados
  5. Escolha da tarefa de mineração
  6. Seleção de algoritmos
  7. Mineração de dados
  8. Interpretação de padrões
  9. Implementação do conhecimento

✅ Vantagens do KDD

  • Rigor metodológico acadêmico
  • Abordagem compreensiva
  • Ênfase na qualidade do conhecimento
  • Base teórica sólida

📊 Tabela Comparativa Detalhada

Característica CRISP-DM KDD
Origem Industrial (consórcio empresarial) Acadêmica (pesquisa científica)
Foco Principal Objetivos de negócio e implantação Qualidade do conhecimento descoberto
Número de Fases 6 fases 9 etapas
Flexibilidade Alta (processo iterativo) Moderada (sequência mais definida)
Adoção Corporativa Muito alta Moderada
Documentação Amplamente documentada Base teórica robusta

Principais Diferenças Conceituais

🎯 Abordagem de Negócio vs Acadêmica

CRISP-DM inicia com “Entendimento do Negócio”, enquanto KDD começa com “Compreensão do Domínio”.

Equação do valor: \(V_{CRISP-DM} = F(Negócio, Dados, Implantação)\)

🔄 Iteratividade vs Sequencialidade

CRISP-DM é explicitamente iterativo, permitindo voltar a fases anteriores. KDD tem fluxo mais sequencial.

📈 Implantação vs Descoberta

CRISP-DM tem fase dedicada à implantação. KDD foca mais na descoberta em si.

Quando Usar Cada Abordagem

✅ CRISP-DM é Ideal Para:

  • Projetos corporativos com objetivos claros de negócio
  • Implementação em ambiente produtivo
  • Equipes multidisciplinares
  • Projetos com prazos definidos

🔬 KDD é Ideal Para:

  • Pesquisa acadêmica e científica
  • Exploração de novos domínios de conhecimento
  • Projetos focados em inovação metodológica
  • Quando a qualidade do conhecimento é prioritária

Conclusão

Ambas as metodologias são complementares: CRISP-DM oferece uma estrutura prática para implementação corporativa, enquanto KDD fornece base teórica sólida para descoberta de conhecimento.

A equação ideal combina ambas: \(Sucesso = CRISP-DM_{Prático} + KDD_{Teórico}\)

Guia de Decisão

Escolha CRISP-DM se: Precisa de resultados práticos, tem objetivos de negócio claros e precisa implantar em produção.

Escolha KDD se: Está em ambiente acadêmico, explorando novos domínios ou a qualidade do conhecimento é prioritária.

Referências Bibliográficas

FAYYAD, U.; PIATETSKY-SHAPIRO, G.; SMYTH, P. From data mining to knowledge discovery in databases. AI Magazine, 1996.

CHAPMAN, P. et al. CRISP-DM 1.0: Step-by-step data mining guide. SPSS Inc., 2000.

HAN, J.; KAMBER, M.; PEI, J. Data mining: concepts and techniques. Morgan Kaufmann, 2011.

Mineração de Dados

Mineração

Com a mineração de dados, podemos buscar informações que estejam públicas na web, seja em html, arquivos em diversas extensões ou api.
No exemplo abaixo, destacamos a principal notícia de um jornal fictício.

Atenção:

Ao realizar mineração de dados, nunca acesse um site muitas vezes em um curto período ou em horário de pico, isso poderá ter implicações legais e você será bloqueado.

Use seu bom senso e finalidades legítimas como pesquisas ciêntíficas, estudo, etc.

Observação:

A URL apresentada no exemplo é fictícia.

Cada página tem um arquivo HTML que você deve interpretar de forma personalizada.

Se quiser consultar uma página, estude sua estrutura, recomendo que comece com print(bs.body) e use o navegador para inspecionar a página. Compreendendo sua estrutura, você conseguirá extrair as informações desejadas.

Além disso, salve os dados coletados em um arquivo ou banco de dados para futuras análises.

Exemplos de aplicações:

Consultar Diários Oficiais seja em HML ou PDF para obter informações de licitações.

Leitura de dados em API´s para micro serviços.

Descobrir o preço de mercado atual de uma mercadoria ou serviço em uma região.

Fazer levantamentos de dados científicos para uma pesquisa.

Saber quais os melhores filmes e series do momento.

Obter informações sobre o que o público tem procurado mais em sites de busca.

A mineração de dados veio para ficar e a informação é o ouro do momento !

Análise de dados

A análise de dados é o próximo passo após a obtenção dos dados brutos.

Tendo em vista que a mineração de dados pode vir de diversas fontes de dados, seja da web, de imagens, vídeo, áudio e de arquivos em outras extensões, precisamos ter um método específico para tratamento dos dados a fim de transformar dados de um BigData em informação relevante e segura.