BigData

Falaremos de conjuntos de dados extremamente grandes e complexos e dos processos para alimenta-lo por meio de coleta, analise e transformação dos dados.

Data Lake e ETL

Por
lago
Data Lake e ETL são dois conceitos fundamentais no gerenciamento de dados moderno, mas servem a propósitos diferentes e são frequentemente usados em conjunto. Vamos explorar suas características, diferenças e casos de uso.

Comparação Direta

Data Lake

Um Data Lake é um repositório que armazena uma enorme quantidade de dados brutos em seu formato nativo, incluindo structured, semi-structured e unstructured data.

Características Principais:

  • Armazena dados em seu formato bruto e original
  • Schema-on-read (esquema aplicado durante a leitura)
  • Altamente escalável e flexível
  • Ideal para big data e analytics avançado
  • Retém todos os dados, independentemente do valor atual

Vantagens:

  • Preserva todos os dados em formato original
  • Flexibilidade para análise futura
  • Economia de custos com armazenamento
  • Suporte a machine learning e analytics avançados

ETL

ETL (Extract, Transform, Load) é o processo de carga, onde os dados da origem são transformados em um formato adequado e são carregados no sistema de destino.

Características Principais:

  • Processo de transformação de dados antes do armazenamento
  • Schema-on-write (esquema aplicado durante a escrita)
  • Dados estruturados e prontos para uso
  • Foco em data warehouses e BI tradicional
  • Filtra e transforma dados para necessidades específicas

Vantagens:

  • Dados limpos e estruturados
  • Desempenho otimizado para reporting
  • Governança e qualidade de dados incorporadas
  • Mais fácil para usuários de negócio consumirem

Diferença fundamental: Enquanto o ETL é um processo de transformação e movimentação de dados, o Data Lake é um repositório de armazenamento. São conceitos complementares, não excludentes.

Quando usar cada abordagem?

Quando usar Data Lake

  • Armazenamento de grandes volumes de dados diversificados
  • Projetos de machine learning e analytics avançado
  • Quando não se sabe antecipadamente como os dados serão usados
  • Preservação de dados brutos para conformidade regulatória
  • Análise de dados não estruturados (logs, imagens, textos)

Quando usar ETL

  • Integração de dados para data warehouses tradicionais
  • Business Intelligence e reporting estruturado
  • Quando se necessita de dados limpos e consistentes
  • Ambientes com requisitos rigorosos de governança de dados
  • Processos operacionais que dependem de dados confiáveis

Como Data Lake e ETL trabalham juntos

Na prática, Data Lakes e processos ETL não são excludentes, mas complementares. Uma arquitetura moderna frequentemente utiliza ambos:

  1. Dados brutos são ingeridos e armazenados no Data Lake
  2. Processos ETL/ELT são usados para extrair dados do Lake, transformá-los e carregá-los em data warehouses ou outros sistemas
  3. O Data Lake serve como camada de armazenamento cru, enquanto o ETL prepara dados para consumo específico
  4. Analistas e cientistas de dados podem acessar tanto os dados brutos quanto os processados

Salvando os dados no Data Lake garantimos acesso aos dados brutos localmente, a partir dele, podemos adicionarmos em tabelas temporárias para nos auxiliar nos tratamentos que devem ser aplicados aos dados no processamento ETL

Conclusão

Data Lake e ETL abordam desafios diferentes no gerenciamento de dados. O Data Lake foca no armazenamento flexível de grandes volumes de dados em formato bruto, enquanto o ETL é um processo de transformação que prepara dados para uso específico.

Em vez de escolher entre um ou outro, as organizações modernas geralmente implementam ambos em uma arquitetura complementar: o Data Lake como repositório central de dados brutos e processos ETL/ELT para transformar esses dados em informações acionáveis para negócios.

Etapas do KDD

Por
minerador

 

Objetivo do processo do KDD (Knowledge Discovery in Databases) é a busca pela forma da representação do conhecimento por meio da identificação de padrões (compreensíveis, válidos ao contexto, novos e úteis).
KDD é o processo de descoberta de conhecimentos úteis a partir de dados.

O KDD se divide em:

  1. Pré-processamento – dados brutos ➜ dados transformados
  2. Mineração de dados – dados transformados ➜ escolha de algorítimo e treinamento de máquina ➜ padrões
  3. Pós-processamento – padrões ➜ Interpretação ou Avaliação ➜ conhecimento

 

PRÉ-PROCESSAMENTO
Seleção Preparação Transformação
Coleta e Integração Codificação Construção de atributos Limpeza dos dados Partição dos dados
salvar os dados em um repositório local (ETL) Conversões de tipos de dados Renomear colunas e criar novas colunas Complementação de dados ausentes, detecção de ruídos e eliminação de dados inconsistentes Escolha de algorítimo e dividir os dados para treino e teste do treinamento de máquina.

 

 

Algorítimos
Associação Agrupamento Classificação Regressão Linear
Correlaciona a ocorrencia de eventos distintos. Exemplo quando um cliente compra leite e farinha também costuma comprar ovos. O que leva o supermecado colocar estes produtos próximos. Agrupamento é muito utilizado no Marketing para compreender o comportamento de grupos de clientes. O agrupamento é o aprendizado não supervisionado usado para descobrir grupos naturais em dados não rotulados. Classifica após aprender a identificar padrões de exemplos já classificados. Exemplo clássico seria classificar fotos de gatos e cães. Regressão Linear estima uma variável a partir de uma função. Um exemplo seria calcular o valor de um imóvel à venda em um bairro, partindo de uma base de dados que tem histórico de uma imobiliária na região.

 

Saiba mais sobre KDD no post Descoberta de conhecimento e Aprendizado de Máquina