Arquivo de Python - Página 67 de 94

Duas metodologias fundamentais no processo de descoberta de conhecimento: CRISP-DM (padrão industrial) e KDD (abordagem acadêmica).

Visão Geral das Metodologias

Ambas as abordagens compartilham o objetivo comum: transformar dados em conhecimento útil através do processo: \(Dados \rightarrow Informação \rightarrow Conhecimento\)

Comparação Direta: CRISP-DM vs KDD

CRISP-DM (Cross-Industry Standard Process for Data Mining)

Metodologia industrial desenvolvida por um consórcio de empresas para padronizar o processo de mineração de dados.

📋 As 6 Fases do CRISP-DM:
Entendimento do Negócio
Entendimento dos Dados
Preparação dos Dados
Modelagem
Avaliação
Implantação

✅ Vantagens do CRISP-DM

Foco em objetivos de negócio
Processo iterativo e flexível
Documentação padronizada
Ampla adoção corporativa

KDD (Knowledge Discovery in Databases)

Abordagem acadêmica que enfatiza o processo completo de descoberta de conhecimento em bases de dados.

🔬 As 9 Etapas do KDD:
Desenvolver compreensão do domínio
Criar conjunto de dados-alvo
Limpeza e pré-processamento
Redução e projeção de dados
Escolha da tarefa de mineração
Seleção de algoritmos
Mineração de dados
Interpretação de padrões
Implementação do conhecimento

✅ Vantagens do KDD

Rigor metodológico acadêmico
Abordagem compreensiva
Ênfase na qualidade do conhecimento
Base teórica sólida

📊 Tabela Comparativa Detalhada

Característica	CRISP-DM	KDD
Origem	Industrial (consórcio empresarial)	Acadêmica (pesquisa científica)
Foco Principal	Objetivos de negócio e implantação	Qualidade do conhecimento descoberto
Número de Fases	6 fases	9 etapas
Flexibilidade	Alta (processo iterativo)	Moderada (sequência mais definida)
Adoção Corporativa	Muito alta	Moderada
Documentação	Amplamente documentada	Base teórica robusta

Principais Diferenças Conceituais

🎯 Abordagem de Negócio vs Acadêmica

CRISP-DM inicia com “Entendimento do Negócio”, enquanto KDD começa com “Compreensão do Domínio”.

Equação do valor: \(V_{CRISP-DM} = F(Negócio, Dados, Implantação)\)

🔄 Iteratividade vs Sequencialidade

CRISP-DM é explicitamente iterativo, permitindo voltar a fases anteriores. KDD tem fluxo mais sequencial.

📈 Implantação vs Descoberta

CRISP-DM tem fase dedicada à implantação. KDD foca mais na descoberta em si.

Quando Usar Cada Abordagem

✅ CRISP-DM é Ideal Para:

Projetos corporativos com objetivos claros de negócio
Implementação em ambiente produtivo
Equipes multidisciplinares
Projetos com prazos definidos

🔬 KDD é Ideal Para:

Pesquisa acadêmica e científica
Exploração de novos domínios de conhecimento
Projetos focados em inovação metodológica
Quando a qualidade do conhecimento é prioritária

Conclusão

Ambas as metodologias são complementares: CRISP-DM oferece uma estrutura prática para implementação corporativa, enquanto KDD fornece base teórica sólida para descoberta de conhecimento.

A equação ideal combina ambas: \(Sucesso = CRISP-DM_{Prático} + KDD_{Teórico}\)

Guia de Decisão

Escolha CRISP-DM se: Precisa de resultados práticos, tem objetivos de negócio claros e precisa implantar em produção.

Escolha KDD se: Está em ambiente acadêmico, explorando novos domínios ou a qualidade do conhecimento é prioritária.

Referências Bibliográficas

FAYYAD, U.; PIATETSKY-SHAPIRO, G.; SMYTH, P. From data mining to knowledge discovery in databases. AI Magazine, 1996.

CHAPMAN, P. et al. CRISP-DM 1.0: Step-by-step data mining guide. SPSS Inc., 2000.

HAN, J.; KAMBER, M.; PEI, J. Data mining: concepts and techniques. Morgan Kaufmann, 2011.

A disciplina de encontrar padrões úteis em dados tem evoluído ao longo do tempo, recebendo diversas denominações que refletem diferentes perspectivas e abordagens metodológicas.

Contexto Histórico e Evolução Terminológica

O processo de descoberta de conhecimento em bancos de dados pode ser representado pela fórmula: \(KDD = P(D, M, K)\) onde:

\(D\) = Dados
\(M\) = Métodos
\(P\) = Processo
\(K\) = Conhecimento

As 5 Principais Nomenclaturas

1. Data Mining

Mineração de Dados é atualmente o termo mais popular e amplamente utilizado, focando na aplicação de algoritmos para extração de padrões.

✅ Vantagens

Ampla aceitação acadêmica e corporativa
Grande variedade de algoritmos disponíveis
Comunidade ativa de pesquisa

❌ Limitações

Foco excessivo em aspectos técnicos
Pode negligenciar o contexto de negócio

Exemplo em Python:
Python
from sklearn.cluster import KMeans
import pandas as pd

# Exemplo simples de data mining - clustering
dados = pd.read_csv('dados_clientes.csv')
kmeans = KMeans(n_clusters=3)
grupos = kmeans.fit_predict(dados[['idade', 'renda', 'gasto_mensal']])

print("Padrões encontrados:", grupos)

				
					
				1
2
3
4
5
6
7
8
9

						from sklearn.cluster import KMeans
import pandas as pd
 
# Exemplo simples de data mining - clustering
dados = pd.read_csv('dados_clientes.csv')
kmeans = KMeans(n_clusters=3)
grupos = kmeans.fit_predict(dados[['idade', 'renda', 'gasto_mensal']])
 
print("Padrões encontrados:", grupos)

					

			

2. Extração de Conhecimento

Termo que enfatiza a transformação de dados brutos em conhecimento acionável para tomada de decisão.

Característica principal: Ênfase no valor do conhecimento gerado rather than apenas na técnica.

Exemplo em R:
R
# Extração de conhecimento através de análise de associação
library(arules)

transacoes <- read.transactions("dados_transacoes.csv", sep = ",")
regras <- apriori(transacoes, parameter = list(supp = 0.01, conf = 0.8))

# Conhecimento extraído: regras de associação
inspect(regras[1:5])

				
					
				1
2
3
4
5
6
7
8

						# Extração de conhecimento através de análise de associação
library(arules)
 
transacoes <- read.transactions("dados_transacoes.csv", sep = ",")
regras <- apriori(transacoes, parameter = list(supp = 0.01, conf = 0.8))
 
# Conhecimento extraído: regras de associação
inspect(regras[1:5])

					

			

3. Descoberta de Informação

Abordagem que se concentra na descoberta de informações previamente desconhecidas e potencialmente úteis.

Atenção: Diferente de recuperação de informação, que busca informações já conhecidas.

Fórmula matemática representativa: \(I = -\log_2 P(x)\) onde \(I\) é a informação e \(P(x)\) é a probabilidade do evento.

4. Arqueologia de Dados

Metáfora que compara a descoberta de padrões à arqueologia, onde se “escava” dados para encontrar “artefatos” valiosos.

Perspectiva única: Trata dados como sítio arqueológico onde conhecimentos estão “enterrados”.

Exemplo em Python:
Python
import numpy as np
import matplotlib.pyplot as plt

# Simulando "escavação" de padrões em dados temporais
dados_temporais = np.random.randn(1000).cumsum()

# "Arqueologia" - encontrando tendências ocultas
media_movel = pd.Series(dados_temporais).rolling(window=50).mean()
plt.plot(dados_temporais, alpha=0.3, label='Dados Brutos')
plt.plot(media_movel, label='Padrão Descoberto')
plt.legend()
plt.title('Arqueologia de Dados - Descobrindo Tendências')
plt.show()

				
					
				1
2
3
4
5
6
7
8
9
10
11
12
13

						import numpy as np
import matplotlib.pyplot as plt
 
# Simulando "escavação" de padrões em dados temporais
dados_temporais = np.random.randn(1000).cumsum()
 
# "Arqueologia" - encontrando tendências ocultas
media_movel = pd.Series(dados_temporais).rolling(window=50).mean()
plt.plot(dados_temporais, alpha=0.3, label='Dados Brutos')
plt.plot(media_movel, label='Padrão Descoberto')
plt.legend()
plt.title('Arqueologia de Dados - Descobrindo Tendências')
plt.show()

					

			

5. Processamento de Dados

Termo mais amplo que engloba todas as etapas de transformação de dados em informação útil.

✅ Abrangência

Inclui coleta, limpeza, transformação
Aborda todo o ciclo de vida dos dados
Visão holística do processo

❌ Generalização

Pode ser muito genérico
Não específico para descoberta de padrões

📊 Comparação entre as Abordagens

Nomenclatura	Foco Principal	Período de Popularidade	Aplicação Típica
Data Mining	Algoritmos e técnicas	1990s – Presente	Corporativa/Acadêmica
Extração de Conhecimento	Valor de negócio	1980s-1990s	Gestão do Conhecimento
Descoberta de Informação	Novidade e utilidade	1990s	Pesquisa de Informação
Arqueologia de Dados	Metáfora de descoberta	2000s	Educacional/Metafórica
Processamento de Dados	Processo completo	1970s-Presente	TI/Infraestrutura

Conclusão

As diferentes nomenclaturas refletem a evolução da disciplina e diferentes ênfases metodológicas. Enquanto Data Mining domina atualmente o cenário técnico, conceitos como Extração de Conhecimento mantêm relevância ao destacar o valor de negócio.

A equação fundamental permanece: \(Dados + Métodos + Contexto = Conhecimento\)

Qual Termo Usar?

Depende do contexto e audiência:

Data Mining: Comunidade técnica, artigos científicos
Extração de Conhecimento: Gestores, tomadores de decisão
Descoberta de Informação: Contextos de biblioteconomia/CI
Arqueologia de Dados: Contextos educacionais/metafóricos
Processamento de Dados: Visão ampla de infraestrutura

Referências Bibliográficas

FAYYAD, U.; PIATETSKY-SHAPIRO, G.; SMYTH, P. From data mining to knowledge discovery in databases. AI Magazine, 1996.

HAN, J.; KAMBER, M.; PEI, J. Data mining: concepts and techniques. Morgan Kaufmann, 2011.

WITTEN, I. H.; FRANK, E. Data Mining: Practical Machine Learning Tools and Techniques. Morgan Kaufmann, 2005.