Carreira Governança de Dados: Nível 2 – 1ª Etapa da Alura

Descrição do projeto

A Hermex Log é uma empresa de logística de médio porte que cresceu por aquisições de transportadoras regionais, resultando em quatro sistemas herdados e desconectados: comercial (contratos e clientes), financeiro (faturamento e contas a receber), operações (entregas e rotas) e RH (folha e motoristas).

A diretoria identificou problemas recorrentes:

• Entregas em endereços errados
• Divergência de clientes ativos entre comercial e financeiro
• Duplicidade de cadastros de motoristas
• Ausência de consentimento LGPD para dados pessoais de clientes
• Acessos indevidos a planilhas salariais em pastas de rede sem restrição

A equipe de governança de dados recém-criada foi encarregada de um diagnóstico completo e um plano de ação cobrindo cinco frentes: catálogo de dados, qualidade, priorização de dados críticos, segurança e gestão de dados mestres — ao longo de quatro etapas, culminando na comunicação das recomendações à liderança.

Pergunta-chave

“Qual é o nível de visibilidade e maturidade do ambiente de dados da Hermex Log, e quais são os fatores que contribuem para a invisibilidade dos dados?”

Missões da 1ª etapa

1. Analise o cenário descrito e identifique os fatores que contribuem para a falta de visibilidade dos dados na Hermex Log (considere silos de informação, ausência de metadados contextualizados e falta de processos de governança).
2. Utilize o ChatGPT como copiloto: elabore um prompt estruturado pedindo que a IA organize os problemas identificados em categorias (técnicos vs. de negócio) e sugira quais perguntas o catálogo de dados deveria responder neste contexto. Revise criticamente a resposta da IA, ajustando o que não se aplica ao cenário.
3. Avalie em qual estágio de maturidade a Hermex Log se encontra em relação a catálogos de dados (considerando as gerações de catálogos e a sequência inventário → catálogo → Data Marketplace) e justifique sua avaliação.
4. Proponha qual perfil de ferramenta de catálogo seria mais adequado para o momento da empresa (plataforma de governança corporativa estruturada, ferramenta com foco em adoção e colaboração, plataforma integrada de dados ou solução de código aberto), argumentando pelo problema a resolver — e não pela marca.

Entregáveis sugeridos

• Documento de diagnóstico com mapeamento dos fatores de invisibilidade e suas consequências.
• Tabela comparativa distinguindo problemas técnicos (inventário) de problemas de negócio (catálogo/glossário).
• Parecer sobre maturidade e recomendação de perfil de ferramenta, com justificativa baseada no contexto da empresa.

O que caracteriza uma boa análise

• Distingue claramente falta de dados de falta de visibilidade, demonstrando compreensão de que o problema não é ausência de informação, mas ausência de contexto.
• Relaciona os fatores de invisibilidade a consequências concretas para o negócio da Hermex Log (retrabalho, decisões conflitantes, entregas erradas).
• Justifica a recomendação de ferramenta pelo problema real da empresa, não pela liderança de mercado.

Ferramentas sugeridas: ChatGPT, Excel, draw.io ou Lucidchart

Dicas para a análise da 1ª etapa:

• Pense na analogia do restaurante: a Hermex Log tem os ingredientes na cozinha, mas tem cardápio? Tem prato pronto para servir? Isso ajuda a posicionar a maturidade.
• Ao usar o ChatGPT, não aceite a primeira resposta como definitiva. Peça que a IA justifique cada categorização e questione se algum item foi classificado incorretamente.
• Considere que a empresa cresceu por aquisições — isso tem implicações diretas sobre a origem dos silos e a heterogeneidade dos sistemas.

1 Documento de Diagnóstico — Fatores de Invisibilidade e Consequências

1.1 Sumário Executivo

A Hermex Log possui dados em abundância — distribuídos em quatro sistemas herdados e inúmeras planilhas paralelas — mas carece de visibilidade sobre eles. O problema central não é a ausência de informação, e sim a ausência de contexto, padronização e responsabilização. Este diagnóstico mapeia os fatores que geram essa invisibilidade e suas consequências concretas para o negócio.

1.2 Contexto

A Hermex Log é uma empresa de logística de médio porte que cresceu por aquisições de transportadoras regionais. Esse histórico resultou em:

• Quatro sistemas herdados e desconectados: comercial (contratos e clientes), financeiro (faturamento e contas a receber), operações (entregas e rotas) e RH (folha e motoristas).
• Planilhas auxiliares mantidas por cada área, sem integração.
• Ausência de documentação centralizada sobre significado de campos, responsáveis por dados ou confiabilidade das informações.
• Vocabulários divergentes: o mesmo conceito (cliente) recebe nomes diferentes em cada sistema — COD_CLI (comercial), ID_CLIENTE (financeiro) e CLIENTE_COD (operações).
• Nenhuma fonte oficial definida: ninguém sabe ao certo qual base é a autoritativa.

1.3 Fatores de Invisibilidade Identificados

1.3.1 Silos de Informação

Evidências no cenário:

• Quatro sistemas herdados e desconectados, um por área.
• Crescimento por aquisições — cada transportadora trouxe seus próprios sistemas e vocabulários.
• Cada área mantém suas próprias planilhas auxiliares.
• Nenhuma integração entre sistemas ou áreas.

Consequências para o negócio:

• Divergência de clientes ativos entre comercial e financeiro.
• Duplicidade de cadastros de motoristas.
• Retrabalho operacional constante.
• Decisões conflitantes entre áreas que deveriam trabalhar com a mesma informação.

1.3.2 Ausência de Metadados Contextualizados

Evidências no cenário:

• O comercial usa COD_CLI, o financeiro usa ID_CLIENTE e operações registra CLIENTE_COD — sem que se saiba se representam a mesma coisa.
• Não há documentação centralizada sobre o significado dos campos.
• Não há glossário de dados nem definição de termos de negócio.
• Ninguém sabe qual base é a “oficial”.

Consequências para o negócio:

• Entregas realizadas em endereços errados.
• Impossibilidade de cruzar dados entre áreas.
• Decisões baseadas em informações inconsistentes.
• Perda de confiança no dado como insumo para decisão.

1.3.3 Falta de Processos de Governança

Evidências no cenário:

• Não há responsável definido por cada dado (sem data owners).
• Ausência de consentimento LGPD para dados pessoais de clientes.
• Acessos indevidos a planilhas salariais em pastas de rede sem restrição.
• Equipe de governança de dados recém-criada, ainda sem processos estabelecidos.

Consequências para o negócio:

• Risco legal e exposição a multas por violação da LGPD.
• Vazamento de informações sensíveis (salários).
• Exposição indevida de dados pessoais de clientes e motoristas.
• Falta de accountability sobre a qualidade dos dados.

1.4 Quadro-Resumo dos Fatores e Consequências

1.5 Ponto-Chave do Diagnóstico

1.6 Conclusão do Diagnóstico

A Hermex Log apresenta um cenário de invisibilidade generalizada dos dados, causada por três fatores interdependentes:

1. Silos de informação — consequência direta do crescimento por aquisições, sem esforço de integração semântica posterior.
2. Ausência de metadados contextualizados — campos com nomes divergentes e sem documentação de significado.
3. Falta de processos de governança — sem responsáveis, sem políticas, sem conformidade LGPD.

Esses fatores se reforçam mutuamente: os silos geram vocabulários divergentes, que por sua vez impedem a criação de metadados unificados, que por sua vez inviabilizam qualquer processo de governança. O resultado é um ambiente onde os dados existem, mas não são confiáveis, compreensíveis ou gerenciáveis.

O primeiro passo para reverter esse cenário não é tecnológico, mas semântico e cultural: construir o inventário de dados, padronizar o vocabulário de negócio e definir responsáveis — tudo isso com engajamento das áreas.

2 Tabela Comparativa — Problemas Técnicos vs. de Negócio

2.1 Critério de Classificação

2.2 Tabela Comparativa Principal

2.3 Itens Ambíguos — Análise Detalhada

🔸 Duplicidade de cadastros de motoristas

Conclusão: o problema é técnico na execução, mas de negócio na definição. Sem a regra de negócio, a deduplicação técnica não resolve.

🔸 Acessos indevidos a planilhas salariais

Conclusão: a solução técnica (controle de acesso) depende de uma definição de negócio (política de classificação e acesso). Ambos são necessários.

2.4 Quadro-Resumo por Categoria

2.5 Perguntas que o Catálogo de Dados Deveria Responder

2.5.1 Categoria Técnica (Inventário)

2.5.2 Categoria de Negócio (Catálogo/Glossário)

3 Parecer sobre a maturidade com recomendação de ferramenta e justificativa

3.1 Objetivo do Parecer

Este parecer tem dois propósitos:

1. Avaliar o estágio de maturidade da Hermex Log em relação a catálogos de dados, considerando as gerações de catálogos e a sequência Inventário → Catálogo → Data Marketplace.
2. Recomendar o perfil de ferramenta mais adequado ao momento da empresa, argumentando pelo problema a resolver — e não pela marca ou liderança de mercado.

3.2 Avaliação de Maturidade

3.2.1 A sequência de maturidade

3.2.2 Onde a Hermex está

Conclusão: a Hermex tem dados, mas não tem nem o inventário básico. Está no nível 0 de maturidade — ou, na melhor das hipóteses, em uma transição embrionária para o inventário.

3.2.3 Posicionamento nas gerações de catálogos

3.2.4 Justificativa da avaliação

3.2.5 Horizonte de evolução

3.3 Recomendação de Perfil de Ferramenta

3.3.1 Premissa: o problema define a ferramenta

3.3.2 Análise dos 4 perfis

3.3.3 Recomendação final

3.4 Recomendação Técnica Complementar — Uso do PyDeequ

Para operacionalizar a avaliação de maturidade descrita neste parecer, recomenda-se a adoção do PyDeequ como ferramenta de medição objetiva da qualidade dos dados. Diferentemente de uma avaliação puramente qualitativa, o PyDeequ transforma o diagnóstico em evidências quantitativas, permitindo priorizar ações com base em números concretos.

3.4.1 Por que o PyDeequ é adequado ao contexto da Hermex

3.4.2 O que o PyDeequ pode medir (por dimensão de qualidade)

3.4.3 Perfis automáticos — a “radiografia” inicial dos dados

O ColumnProfilerRunner do PyDeequ gera, para cada coluna, um perfil estatístico completo: percentual de valores nulos, quantidade de valores distintos, tipo inferido, valores mínimo e máximo, média e desvio padrão. Isso resolve diretamente o problema “ninguém sabe o que existe nos sistemas”.

3.4.4 Sugestões automáticas de regras

Como a Hermex não tem regras de qualidade definidas (maturidade nível 0), o ConstraintSuggestionRunner do PyDeequ sugere automaticamente um conjunto inicial de regras baseadas no comportamento observado dos dados. Isso acelera a construção do catálogo e do glossário — exatamente o gargalo identificado no diagnóstico.

3.4.5 Como o PyDeequ se conecta ao Parecer de Maturidade

3.4.6 Proposta de ação concreta

3.4.7 Síntese da recomendação técnica

3.5 Erros Comuns que Devem Ser Evitados

3.6 Conclusão do Parecer

A Hermex Log está no nível 0 de maturidade em catálogos de dados — abaixo do estágio de inventário. O problema central não é tecnológico, mas de alinhamento semântico e cultural entre áreas que cresceram por aquisições e mantêm vocabulários divergentes.

A recomendação é uma ferramenta com foco em adoção e colaboração, pois:

• Ataca o gargalo real (alinhamento semântico e cultural).
• Reduz a barreira de entrada para as áreas participarem.
• Permite construir inventário e catálogo em paralelo, com engajamento.
• Prepara o terreno para estágios mais maduros no futuro.

Como complemento técnico, recomenda-se a adoção do PyDeequ para transformar o diagnóstico qualitativo em evidências quantitativas, medindo objetivamente a qualidade dos dados e estabelecendo o baseline que servirá de referência para medir a evolução da maturidade.

✅ Checklist Final de Validação — 1ª Etapa

Entregáveis

• Documento de Diagnóstico — distingue falta de dados de falta de visibilidade; relaciona fatores a consequências concretas; cobre os 3 eixos (silos, metadados, governança); considera o histórico de aquisições; usa a analogia do restaurante
• Tabela Comparativa — separa problemas técnicos de problemas de negócio; explicita itens ambíguos com duplo ângulo; justifica cada categorização; lista perguntas que o catálogo deve responder; conecta a análise ao diagnóstico
• Parecer — avalia maturidade com base nas gerações de catálogos; justifica com evidências do cenário; analisa os 4 perfis de ferramenta; recomenda pelo problema, não pela marca; apresenta horizonte de evolução; sugere PyDeequ como complemento técnico

Passos Metodológicos

• Passo 1 — Análise do cenário: identificou fatores de invisibilidade; nomeou os 3 eixos
• Passo 2 — Uso do ChatGPT: prompt estruturado documentado; revisão crítica da resposta da IA; ajustes justificados
• Passo 3 — Avaliação de maturidade: posicionou a Hermex no nível correto; justificou com evidências
• Passo 4 — Recomendação de ferramenta: argumentou pelo problema; justificou a escolha

Validação Crítica (os “erros comuns”)

• Não confundi inventário (o que existe) com catálogo (o que significa)
• Não disse que a Hermex está no estágio de catálogo só porque tem sistemas
• Não recomendei ferramenta pela marca, e sim pelo problema
• Não tratei o problema como tecnológico (é semântico e cultural)
• Não ignorei o histórico de aquisições como causa dos silos
• Não aceitei a primeira resposta da IA sem revisar