Você que está começando agora na área de dados precisa entender que qualidade de dados não é um luxo, é uma necessidade. Neste post, vou resumir o material do curso e montar um passo a passo simples para você entender como tudo funciona — mesmo sem conhecimento prévio. Vamos lá!
1. O cenário: Banco Pantanal e a transformação digital
O Banco Pantanal é um banco regional do Centro-Oeste que decidiu investir forte no digital. Para competir com grandes bancos, criou uma diretoria de dados e construiu um Data LakeHouse — uma arquitetura que une o melhor do lago de dados (flexibilidade) com o armazém de dados (organização).
A missão inicial: criar um dashboard de vendas para a diretoria em dois meses. Mas, ao validar os dados com a equipe de vendas, descobriram vários problemas: dados faltando, duplicados, classificações erradas e valores inconsistentes. O dashboard não refletia a realidade.
💡 Lição 1: Sem qualidade de dados, qualquer decisão baseada em dados é perigosa. Confiança é a base de tudo.
2. Onde os problemas de qualidade surgem?
Os problemas podem aparecer em quatro momentos principais:
- Coleta: se o dado não é capturado corretamente na origem (ex.: sensor falhou, sistema não registrou a venda), dificilmente será recuperado.
- Integração: ao transferir dados de um sistema para outro, erros podem ser introduzidos (ex.: perda de rastreabilidade).
- Pipelines (transformações): lógicas incorretas ou configurações erradas nas etapas Bronze → Silver → Gold podem gerar novos erros.
- Interpretação: regras de negócio mal aplicadas ou agregações sem fundamento distorcem o significado do dado.
3. Quem é responsável pela qualidade?
Muita gente participa do processo. Os principais papéis são:
- Data Owner (proprietário do dado): é o responsável final pela qualidade. Responde por erros e define regras de negócio.
- System Owner (dono do sistema de origem): garante a captura correta na fonte.
- Data Stewards / Equipe de Qualidade: implementam e monitoram regras de qualidade.
- Engenheiros de Dados: constroem pipelines. Se mal projetados, introduzem erros.
- Consumidores de Dados: identificam problemas e dão feedback.
Ou seja, a qualidade é responsabilidade de todos, mas o Data Owner é o accountable final.
4. Onde medir a qualidade de dados?
A resposta curta: em todos os momentos possíveis. Mas isso não é trivial. Existem dois enfoques de mercado:
- Enfoque na camada Gold (uso): ferramentas como Microsoft Purview, Collibra ou AWS Glue Data Quality avaliam a qualidade no ponto de consumo. É mais simples, mas erros de etapas anteriores já se propagaram.
- Enfoque distribuído nas camadas (LakeHouse): mede-se qualidade na Bronze, Silver e Gold. É mais trabalhoso, porém identifica a origem do problema mais rapidamente e reduz custo de correção.
Quanto mais tarde você descobre um erro, mais caro é corrigi-lo. Por isso, medir cedo (na fonte ou na Bronze) é essencial.
5. Passo a passo para garantir qualidade de dados
Agora, o coração do post: um roteiro prático para iniciantes.
Mapeie de onde os dados vêm, por quais camadas passam (Bronze → Silver → Gold) e quem os consome. Use ferramentas de linhagem (ex.: SQL Flow) para visualizar transformações coluna por coluna.
Entre o sistema de origem e a camada Bronze, defina: esquema (tipos de dados), temporalidade (frequência de atualização), responsabilidades e regras mínimas de qualidade. Exemplo: “todo mês devemos ter 10 mil linhas novas”.
Use ferramentas como Great Expectations, PyDeequ ou similares para medir a qualidade dos dados brutos. Isso permite decidir conscientemente se vale a pena usar aquele dado ou se é preciso negociar com a origem.
Aplique convenções de nomenclatura (ex.: “unidade_federativa” em vez de “estado”), use dados de referência (ex.: tabela com todos os estados brasileiros) e crie uma base comum de regras de validação. Assim, você remove responsabilidade excessiva dos engenheiros e garante consistência.
Na camada de consumo, cada caso de uso tem expectativas diferentes. Estabeleça contratos de dados entre produtores e consumidores, definindo SLAs (ex.: “erros serão corrigidos em até 24h”) e regras específicas por área (marketing, compliance, machine learning etc.).
Monte um Centro de Excelência (CoE) com pessoas seniores. Para cada iniciativa, defina quem atua e quem é responsável. Priorize capacidades técnicas: primeiro o motor de qualidade, depois dados mestres/referência, e por fim a base comum de regras.
Use orquestração para agendar pipelines, monitore falhas e mantenha a documentação atualizada. A qualidade de dados é uma jornada, não um destino.
6. Ferramentas e técnicas mencionadas no curso
- Contratos de interface: formalizam regras entre origem e Bronze.
- Contratos de dados: formalizam expectativas entre produtor e consumidor (Gold).
- Dados mestres e de referência: bases centralizadas para validação (ex.: clientes, agências, códigos de bancos, estados).
- Naming conventions: padronização de nomes de colunas e tabelas.
- Padrões empresariais de dados: regras corporativas (ex.: data sempre no formato dd/mm/aaaa).
- Motor de qualidade: software que executa verificações automáticas (Great Expectations, PyDeequ, etc.).
- SQL Flow: ferramenta para visualizar linhagem e transformações.
- Excalidraw: para desenhar arquiteturas.
7. Conclusão
Qualidade de dados não é apenas “limpar planilhas”. É uma disciplina que envolve pessoas, processos e tecnologia. No caso do Banco Pantanal, a criação de um Centro de Excelência e a implementação de um Data LakeHouse com camadas bem definidas permitiram que a empresa começasse a confiar nos dados para tomar decisões.
Para você que está começando, lembre-se: comece pequeno, mas comece certo. Entenda o fluxo, defina responsabilidades, meça a qualidade o mais cedo possível e use as ferramentas certas. Assim, você constrói uma base sólida para qualquer iniciativa de dados.
🚀 Dica final: A qualidade dos dados é responsabilidade de todos, mas o Data Owner é quem responde por ela. Trabalhe em conjunto com governança, engenharia e qualidade para garantir que os dados sejam confiáveis do início ao fim.
Post baseado no curso “Engenharia e Qualidade de Dados” – Alura. Bons estudos!
