Gestão de Dados do Site - Área de Trampo

Objetivo deste Post:

Documentar + Praticar + Exemplificar a Gestão de Dados

Dados Mestres:

Dados sobre as entidades de negócio centrais que são compartilhados entre múltiplos sistemas, processos e áreas da organização, e que raramente mudam, mas cuja consistência é crítica para a operação.

Dados de Referência:

Dados padronizados e externos que servem para classificar, categorizar ou codificar outros dados. São definidos por órgãos oficiais (IBGE, BACEN, ANS, Receita Federal) ou por padrões do setor, e raramente mudam. Diferente dos dados mestres, não descrevem entidades da organização — descrevem categorias universais que a organização apenas usa como referência.

Tipos de estruturas utilizadas em Dados de Referência

Estrutura O que é Exemplo

Lista Simples Conjunto de valores padronizados, sem hierarquia e sem relação com outros conjuntos. Cada código representa um único conceito. Porte da empresa:
G = Grande
M = Médio
P = Pequeno

Lista de Referências Cruzadas Tradução entre diferentes conjuntos de códigos que representam o mesmo conceito. Permite integrar sistemas que usam padrões distintos. País: Brasil
• Código do País: Brasil
• ISO alfabético: BR
• FIFA/COI: BRA
• ISO numérico: 076
• DDI: 55

Taxonomias Estrutura hierárquica que decompõe um conceito em níveis, do mais genérico ao mais específico. Cada nível refina o significado do anterior. NCM 6109.10.00 — “Camiseta de malha de algodão para uso masculino”

61 — CAPÍTULO: “Vestuário e seus acessórios de malha”
09 — POSIÇÃO: “Camisetas e camisetas interiores, de malha”
.10 — SUBPOSIÇÃO: “De algodão”
.0 — ITEM: “Camisetas de malha de algodão — geral”
.0 — SUBITEM: “Camisetas de malha de algodão (geral, sem detalhamento adicional específico)”

Estrutura	O que é	Exemplo
Lista Simples	Conjunto de valores padronizados, sem hierarquia e sem relação com outros conjuntos. Cada código representa um único conceito.	Porte da empresa: `G` = Grande `M` = Médio `P` = Pequeno
Lista de Referências Cruzadas	Tradução entre diferentes conjuntos de códigos que representam o mesmo conceito. Permite integrar sistemas que usam padrões distintos.	País: Brasil • Código do País: `Brasil` • ISO alfabético: `BR` • FIFA/COI: `BRA` • ISO numérico: `076` • DDI: `55`
Taxonomias	Estrutura hierárquica que decompõe um conceito em níveis, do mais genérico ao mais específico. Cada nível refina o significado do anterior.	NCM 6109.10.00 — “Camiseta de malha de algodão para uso masculino” `61` — CAPÍTULO: “Vestuário e seus acessórios de malha” `09` — POSIÇÃO: “Camisetas e camisetas interiores, de malha” `.10` — SUBPOSIÇÃO: “De algodão” `.0` — ITEM: “Camisetas de malha de algodão — geral” `.0` — SUBITEM: “Camisetas de malha de algodão (geral, sem detalhamento adicional específico)”

Dados Transacionais:

Dados que registram eventos e operações do dia a dia da organização — cada venda, cada atendimento, cada movimentação. São gerados continuamente, mudam o tempo todo e referenciam os dados mestres para ganhar significado. Sozinhos, são apenas registros; combinados com dados mestres, viram informação.

Glossário de Negócio × Dicionário de Dados

Aspecto	Glossário de Negócio	Dicionário de Dados
Foco	Conceito / significado no negócio	Implementação / estrutura
Pergunta-chave	“O que é?”	“Como está armazenado?”
Público	Negócio, gestores, analistas	TI, engenheiros, DBAs
Linguagem	Natural, sem jargão técnico	Técnica (tipos, formatos, chaves)
Granularidade	Termo de negócio	Coluna / campo
Exemplo de entrada	“Bilheteria = arrecadação total de ingressos”	`vl_bilheteria DECIMAL(10,2) NOT NULL`
Frequência de mudança	Raramente (conceito é estável)	Frequentemente (estrutura evolui)
Quem mantém	Data Steward de negócio	Engenheiro de dados / DBA
Ferramenta típica	Collibra, DataHub (glossário)	DataHub, Atlas, dbt docs
Relação entre eles	1 termo → N campos técnicos	1 campo → 1 termo

1. Identificação de Dados Mestres do Site utilizados em Análise de Dados

Nome	Fonte
Estados	TRE/IBGE
Municípios	TRE/IBGE

2. Criando Dicionário de Dados do Site

Estrutura para Dicionário de Dados do Site
Elemento	Descrição	Exemplo
Nome do campo	Identificador técnico da coluna	CNPJ_DISTRIBUIDORA
Descrição	Explicação do que o campo representa	Número do CNPJ (14 dígitos) da empresa distribuidora do filme
Tipo de dado	Formato armazenado	string(18), integer, date
Tamanho/Precisão	Limite de caracteres ou precisão decimal	18 caracteres
Formato	Máscara ou padrão esperado	99.999.999/9999-99
Obrigatoriedade	Se pode ser nulo	Obrigatório (NOT NULL)
Valores permitidos	Domínio de valores válidos	Lista de UFs brasileiras
Valor padrão	Valor default	null
Regras de negócio	Restrições ou cálculos	Deve ser um CNPJ válido
Origem	Sistema/fonte que gera o dado	Sistema de bilheteria da ANCINE
Relacionamentos	Chaves estrangeiras, dependências	FK para tabela distribuidoras
Sensibilidade	Classificação LGPD	Dado público
Responsável	Data Steward / Owner	Equipe de Dados
Frequência de atualização	Periodicidade	Diária
Ultima atualização	Data da ultima atualização	02/01/2026
valorNegocio	Impacto nos objetivos (0-10) registrado manualmente	9
risco	Exposição a danos (0-10) registrado manualmente	7
uso	Dependência operacional (0-10) registrado manualmente	8
compliance	Obrigação externa (0-10) registrado manualmente	10
sensibilidade	Grau de restrição (0-10) registrado manualmente	6
prioridade	Valor calculado automáticamente por função javascript	8
classificacao	Categoria derivada [CRITICO, ALTO, MEDIO, BAIXO] definido manualmente Se mestre = true então alterar AUTOMATICAMENTE para CRITICO Senão será alterado MANUALMENTE pelo administrador	CRITICO
mestre	Classificação se é um dado mestre (VERDADEIRO, FALSO) calculado automáticamente por função javascript	VERDADEIRO
Linhagem	Referência Hierárquica do Dado	Guarda quem é o pai e quem são seus descedentes

A Importância do Dicionário de Dados

Um dicionário de dados é essencial para qualquer instituição porque transforma dados brutos em ativos estratégicos confiáveis e compreensíveis, funcionando como a “linguagem comum” que alinha áreas técnicas e de negócio em torno de um entendimento único sobre o significado, formato, regras e relacionamentos de cada elemento de dados. Sem ele, diferentes setores interpretam os mesmos campos de formas distintas — gerando relatórios inconsistentes, erros em integrações, retrabalho e decisões baseadas em informações equivocadas —, enquanto sua existência permite padronização, governança, qualidade, rastreabilidade e conformidade regulatória (como LGPD), além de acelerar a integração de novos colaboradores, reduzir custos operacionais e servir de base para iniciativas de Master Data Management, Business Intelligence e Inteligência Artificial. Em resumo: o dicionário de dados é o que separa uma organização que apenas armazena dados de uma que efetivamente governa, confia e extrai valor deles.

Glossário de Negócio — Termos usados nas Análises do Site
Termo	Definição de Negócio	Campos Técnicos Vinculados
Bilheteria	Arrecadação total obtida com a venda de ingressos em um período (dia, semana, mês ou ano).	`vl_bilheteria`
Público Pagante	Quantidade de espectadores que efetivamente compraram ingresso para assistir a um filme em uma sessão.	`qt_publico_pagante`
Sessão	Exibição de um filme em uma sala específica, em data e horário determinados.	`dt_sessao`, `hr_sessao`, `id_sala`
Filme	Obra audiovisual exibida nas salas de cinema, identificada por título, gênero e ano de produção.	`nm_filme`, `ds_genero`, `nr_ano_producao`
Distribuidora	Empresa responsável por levar um filme às salas de exibição, negociando com os exibidores.	`cnpj_distribuidora`, `nm_distribuidora`
Exibidor	Empresa proprietária das salas de cinema (rede ou cinema independente) que exibe os filmes ao público.	`cnpj_exibidor`, `nm_exibidor`
Sala de Cinema	Espaço físico dentro de um complexo de exibição, com capacidade de assentos definida.	`id_sala`, `qt_assentos`
Complexo	Conjunto de salas de cinema localizado em um mesmo endereço, sob mesma administração.	`id_complexo`, `nm_complexo`
Município	Divisão territorial oficial do IBGE onde o cinema está localizado. É a unidade geográfica básica da análise.	`cod_municipio_ibge`, `nm_municipio`
Estado (UF)	Unidade federativa brasileira, usada para agregações regionais.	`sg_uf`, `nm_uf`
Período	Intervalo de tempo usado para agregação das análises (dia, semana, mês, ano).	`dt_inicio`, `dt_fim`
Remessa de Filme	Envio de uma cópia (física ou digital) de um filme para uma sala de exibição.	`id_remessa`, `dt_remessa`
Fonte Oficial	Órgão ou base pública de onde o dado foi originalmente extraído (ex.: ANCINE, IBGE, TRE).	`nm_fonte`, `url_fonte`

3. Calcular ‘valor de prioridade’ para os Dados com função JavaScript

Após calcular o valor de prioridade de cada dado deve se ordenar da maior prioridade para a menor prioridade a lista.
Neste caso dado tem as informações principais do dicionario de dados.

O objetivo é definir o que devemos trabalhar primeiro dependendo da prioridade definida nesta lista.

function calcularPrioridade(dado) {
    return dado.valorNegocio * 0.3
         + dado.risco        * 0.3
         + dado.uso          * 0.2
         + dado.compliance   * 0.1
         + dado.sensibilidade * 0.1;
}

function calcularPrioridade(dado) {

return dado.valorNegocio * 0.3

+ dado.risco * 0.3

+ dado.uso * 0.2

+ dado.compliance * 0.1

+ dado.sensibilidade * 0.1;

}

O valor de prioridade é calculado considerando os características e seu peso :

valorNegocio : Mede o impacto positivo do dado nos objetivos da empresa — receita, decisões estratégicas, vantagem competitiva, eficiência operacional.
risco : Mede a exposição a danos — financeiros, regulatórios, reputacionais ou operacionais.
uso : Mede a dependência operacional — quantos processos, dashboards, APIs ou áreas dependem dele.
compliance : Mede a obrigação externa — LGPD, GDPR, BACEN, ANS, SOX, contratos, auditorias.
sensibilidade : Mede o grau de restrição de acesso — público, interno, confidencial, restrito.

O peso representa a importância que a instituição dá a uma característica, por isso o valor da característica é multiplicado pelo peso.

Essas características (valorNegocio, risco, uso, compliance, sensibilidade) são metadados de governança e devem estar no dicionário de dados, pois:

São atributos do dado — descrevem o dado tanto quanto tipo, tamanho e descrição
São auditáveis — em auditorias, você precisa justificar por que um dado é tratado como crítico
São dinâmicos — mudam com o tempo (ex: um dado pode ganhar valor de negócio com uma nova estratégia)
Alimentam decisões — definem o que priorizar, mascarar, proteger, documentar melhor
Fazem parte da governança — são a base para políticas de acesso, retenção e qualidade

Diferença entre Prioridade e Classificação: Após o calculo da Prioridade já temos uma primeira classificação mas a Classificação entra como complemento para desempate e será feito manualmente pelo administrador.

4. Calcular se um dado é um ‘dado mestre’ com função JavaScript

/**
 * Determina se um dado é MESTRE com base nas 5 características de governança.
 * 
 * Importâncias (0-10):
 *  - uso:           10 → COMPARTILHAMENTO é o definidor principal
 *  - risco:          9 → consistência crítica
 *  - valorNegocio:   8 → entidade central
 *  - compliance:     6 → indicador auxiliar
 *  - sensibilidade:  4 → define tratamento, não tipo
 * 
 * Regras:
 *  1. uso >= 6 (filtro eliminatório — sem compartilhamento não é mestre)
 *  2. Pontuação ponderada >= 7.0
 * 
 * @param {Object} dado - Objeto com as 5 características (escala 0-10)
 * @returns {boolean} true se for dado mestre
 */
function isDadoMestre(dado) {
    // 🔒 Filtro eliminatório: uso é obrigatório
    if (dado.uso < 6) return false;

    // 📊 Pontuação ponderada (pesos normalizados das importâncias)
    const pontuacao =
        dado.uso           * 0.27 +   // 10/37
        dado.risco         * 0.24 +   //  9/37
        dado.valorNegocio  * 0.22 +   //  8/37
        dado.compliance    * 0.16 +   //  6/37
        dado.sensibilidade * 0.11;    //  4/37

    return pontuacao >= 7.0;
}

/**

* Determina se um dado é MESTRE com base nas 5 características de governança.

* Importâncias (0-10):

* - uso: 10 → COMPARTILHAMENTO é o definidor principal

* - risco: 9 → consistência crítica

* - valorNegocio: 8 → entidade central

* - compliance: 6 → indicador auxiliar

* - sensibilidade: 4 → define tratamento, não tipo

* Regras:

* 1. uso >= 6 (filtro eliminatório — sem compartilhamento não é mestre)

* 2. Pontuação ponderada >= 7.0

* @param {Object} dado - Objeto com as 5 características (escala 0-10)

* @returns {boolean} true se for dado mestre

function isDadoMestre(dado) {

// 🔒 Filtro eliminatório: uso é obrigatório

if (dado.uso < 6) return false;

// 📊 Pontuação ponderada (pesos normalizados das importâncias)

const pontuacao =

dado.uso * 0.27 + // 10/37

dado.risco * 0.24 + // 9/37

dado.valorNegocio * 0.22 + // 8/37

dado.compliance * 0.16 + // 6/37

dado.sensibilidade * 0.11; // 4/37

return pontuacao >= 7.0;

}

5 – Mapa de Papéis

6 – Ciclo de vida do dado

I – COLETA

I.1 Coleta – fazer download de arquivos originais (xml, csv, json… ) criando um Lago de Dados em HD secundário.
I.2 Validação e avaliação de qualidade (gerando dados históricos da qualidade de dados a nível de coluna para comparação futura), para avaliar a qualidade de dados as dimenções abaixo devem ser consideradas:

#	Dimensão	Pergunta-chave	O que valida	Exemplo
1	Completude	Está tudo preenchido?	Campos obrigatórios, registros esperados, ausência de lacunas	`CNPJ_DISTRIBUIDORA` não pode ser NULL
2	Unicidade	Não tem duplicata?	Chave primária, chave de negócio, duplicata exata e lógica. Utilizar strip() em campos de texto antes de verificar se há duplicidade. Verificar grau de semelhança.	`(data, produto, uf)` não se repete
3	Validade	Está no formato e domínio corretos?	Tipo, formato, domínio permitido, faixa de valores, tamanho	`prioridade` entre 0 e 10
4	Consistência	Bate entre fontes e regras?	Entre tabelas, entre campos, entre sistemas, unidades, agregação	Total do ERP = total do BI
5	Acurácia	Corresponde à realidade?	Confronto com fonte oficial, ausência de valores absurdos, sem viés	Preço da tabela = preço da ANP
6	Tempestividade	Chegou na hora certa?	SLA de carga, frescor, latência, frequência de atualização	Dados diários atualizados em até 6h
7	Integridade referencial	Relacionamentos estão OK?	FK existente, sem órfãos, cardinalidade correta, sem ciclo	Todo `evento_id` existe em `eventos`
8	Aderência a regras de negócio	Segue as regras do domínio?	Regra de cálculo, condicional, dependência, LGPD	Se `mestre = true`, então `classificacao = 'Crítico'`

I.3 Correção (Definir procedimentos antecipadamente, gerar Log para auditoria
I.4 Resultado (DataFrame python)

II – ARMAZENAMENTO – Armazenar novos dados em Tabela de BD o que permitirá criar Visões para consultas e gerar JSON a partir delas, que alimentarão o site.

III – RECUPERAÇÃO – Manter Backup’s dos Schemas e dos Dados das Tabelas

IV – USO – Os dados serão usados no site para apresentar gráficos iterativos em Análise de Dados.

V – DESCARTE – Os dados poderão ser descartados se não estiverem sendo mais utilizados em Análise de Dados, tendo em vista que os dados permanecerão na fonte dos dados.

OBSERVAÇÂO: Os principais dos dados deste site serão retirados de ‘Dados Abertos GovBr‘, mas sempre informaremos a fonte de dados no dicionário de dados (em desenvolvimento) e na página onde será exibido o gráfico.

7 – Contexto

Contexto é toda informação que não é o dado em si, mas que dá significado a ele.

O Contexto será atribuído a um assunto/gráfico por meio de um JSON onde guardaremos data, descrição histórica e fonte.

DICA: Atualmente podemos guardar em um campo de uma tabela um objeto JSON.

Preco medio da gasolina (R$/litro)

7,50 |                                          ╭─╮
7,00 |                                        ╭─╯ ╰─╮
6,50 |                                      ╭─╯     ╰─╮
6,00 |   ╭──╮                            ╭──╯         ╰╮
5,50 | ╭─╯  ╰──╮                     ╭────╯              ╰─╮
5,00 |─╯       ╰────╮        ╭──────╯                     ╰─
4,50 |              ╰────────╯
     +─────────────────────────────────────────────────────►
      2020    2021    2022    2023    2024    2025
                        │                │        │
                        │                │        │
              ┌─────────▼────────┐  ┌────▼───────┐│
              │ 🚨 Invasão da    │  │ 🕊️ Acordo  ││
              │ Ucrânia pela     │  │ de cessar- ││
              │ Rússia           │  │ fogo e     ││
              │ (24/02/2022 —    │  │ retomada   ││
              │  15/03/2022)     │  │ do comércio││
              │                  │  │ global     ││
              │ → Choque de      │  │ (15/03/2022││
              │   oferta de      │  │  — contínuo││
              │   petróleo       │  │ )          ││
              │                  │  │            ││
              │                  │  │ → Estabili-││
              │                  │  │   zação    ││
              │                  │  │   gradual  ││
              └──────────────────┘  └────────────┘│
                                                  │
                                    ┌─────────────▼──────────────┐
                                    │ 🚨 FECHAMENTO DO ESTREITO  │
                                    │    DE ORMUZ                │
                                    │    (15/06/2024 —           │
                                    │     30/09/2024)            │
                                    │                            │
                                    │ Causa: conflito armado     │
                                    │ no Oriente Médio           │
                                    │                            │
                                    │ → ~20% do petróleo mundial │
                                    │   bloqueado                │
                                    │ → Choque de oferta global  │
                                    │ → Repasse para refinarias  │
                                    │ → Bomba sobe ~30% em 90    │
                                    │   dias                     │
                                    │                            │
                                    │ 🕊️ Reabertura: 01/10/2024  │
                                    │ → Brent recua              │
                                    │ → Estabiliza ~15% acima    │
                                    │   do pré-crise             │
                                    └────────────────────────────┘

Preco medio da gasolina (R$/litro)

7,50 | ╭─╮

7,00 | ╭─╯ ╰─╮

6,50 | ╭─╯ ╰─╮

6,00 | ╭──╮ ╭──╯ ╰╮

5,50 | ╭─╯ ╰──╮ ╭────╯ ╰─╮

5,00 |─╯ ╰────╮ ╭──────╯ ╰─

4,50 | ╰────────╯

+─────────────────────────────────────────────────────►

2020 2021 2022 2023 2024 2025

│ │ │

┌─────────▼────────┐ ┌────▼───────┐│

│ 🚨 Invasão da │ │ 🕊️ Acordo ││

│ Ucrânia pela │ │ de cessar- ││

│ Rússia │ │ fogo e ││

│ (24/02/2022 — │ │ retomada ││

│ 15/03/2022) │ │ do comércio││

│ │ │ global ││

│ → Choque de │ │ (15/03/2022││

│ oferta de │ │ — contínuo││

│ petróleo │ │ ) ││

│ │ │ ││

│ │ │ → Estabili-││

│ │ │ zação ││

│ │ │ gradual ││

└──────────────────┘ └────────────┘│

│

┌─────────────▼──────────────┐

│ 🚨 FECHAMENTO DO ESTREITO │

│ DE ORMUZ │

│ (15/06/2024 — │

│ 30/09/2024) │

│ │

│ Causa: conflito armado │

│ no Oriente Médio │

│ │

│ → ~20% do petróleo mundial │

│ bloqueado │

│ → Choque de oferta global │

│ → Repasse para refinarias │

│ → Bomba sobe ~30% em 90 │

│ dias │

│ │

│ 🕊️ Reabertura: 01/10/2024 │

│ → Brent recua │

│ → Estabiliza ~15% acima │

│ do pré-crise │

└────────────────────────────┘

Estrutura JSON de Contexto:

{
  "contexto": {
    "id": "ctx-combustiveis-geopolitica",
    "titulo": "Eventos geopolíticos que impactam o preço de combustíveis",
    "versao": "1.0.0",
    "data_criacao": "2026-09-26",
    "data_atualizacao": "2026-09-26",
    "responsavel": "Equipe de Engenharia de Dados",
    "dominio": "combustiveis"
  },

  "eventos": [
    {
      "id": "evt-001",
      "data_inicio": "2022-02-24",
      "data_fim": "2022-03-15",
      "titulo": "Invasão da Ucrânia pela Rússia",
      "tipo": "guerra",
      "descricao": "Conflito armado entre Rússia e Ucrânia. A Rússia é um dos maiores exportadores mundiais de petróleo e gás. O conflito gerou sanções internacionais e choque de oferta no petróleo Brent, elevando o preço da gasolina no Brasil.",
      "fonte": {
        "nome": "Agência Internacional de Energia (IEA)",
        "url": "https://www.iea.org/reports/oil-market-report",
        "tipo": "agencia_internacional",
        "data_consulta": "2026-09-26"
      }
    },
    {
      "id": "evt-002",
      "data_inicio": "2024-06-15",
      "data_fim": "2024-09-30",
      "titulo": "Fechamento do Estreito de Ormuz",
      "tipo": "guerra",
      "descricao": "Bloqueio do Estreito de Ormuz por conflito armado no Oriente Médio. Cerca de 20% do petróleo mundial passa pelo estreito. O fechamento provocou choque de oferta global e repasse de +30% no preço da gasolina em 90 dias.",
      "fonte": {
        "nome": "U.S. Energy Information Administration (EIA)",
        "url": "https://www.eia.gov/international/analysis/regions-of-interest",
        "tipo": "orgao_governamental",
        "data_consulta": "2026-09-26"
      }
    }
  ]
}

{

"contexto": {

"id": "ctx-combustiveis-geopolitica",

"titulo": "Eventos geopolíticos que impactam o preço de combustíveis",

"versao": "1.0.0",

"data_criacao": "2026-09-26",

"data_atualizacao": "2026-09-26",

"responsavel": "Equipe de Engenharia de Dados",

"dominio": "combustiveis"

"eventos": [

{

"id": "evt-001",

"data_inicio": "2022-02-24",

"data_fim": "2022-03-15",

"titulo": "Invasão da Ucrânia pela Rússia",

"tipo": "guerra",

"descricao": "Conflito armado entre Rússia e Ucrânia. A Rússia é um dos maiores exportadores mundiais de petróleo e gás. O conflito gerou sanções internacionais e choque de oferta no petróleo Brent, elevando o preço da gasolina no Brasil.",

"fonte": {

"nome": "Agência Internacional de Energia (IEA)",

"url": "https://www.iea.org/reports/oil-market-report",

"tipo": "agencia_internacional",

"data_consulta": "2026-09-26"

}

{

"id": "evt-002",

"data_inicio": "2024-06-15",

"data_fim": "2024-09-30",

"titulo": "Fechamento do Estreito de Ormuz",