1. Princípios Fundamentais dos Produtos de Dados
- Dados como ativos de negócio: os dados deixam de ser apenas suporte transacional e passam a gerar valor por si mesmos para a organização.
- Foco no uso e na geração de valor: o produto de dados existe para atender a casos de uso e gerar valor, não apenas para armazenar informação.
- Abstração da complexidade técnica: a pessoa consumidora não deve se preocupar com sistemas de origem, tabelas ou acessos; a plataforma e a engenharia escondem essa complexidade.
- Responsabilidade compartilhada: o negócio é o responsável primário pelos dados (Data Owner), a área técnica garante a proteção e o CDO responde em última instância.
- Federalização das capacidades: as habilidades de dados se distribuem para as áreas de negócio, reduzindo o gargalo central e aproximando os dados de quem os utiliza.
- Catálogo e marketplace como vitrine: produtos de dados precisam ser descobertos e acessados por meio de um catálogo semelhante a um marketplace.
- Pensamento de produto aplicado ao dado: gestão de custos, melhoria contínua, casos de uso definidos e monetização fazem parte do ciclo de vida do produto de dados.
- Qualidade e metadados completos: um produto de dados só gera valor se os dados forem confiáveis e os metadados forem ricos e autoexplicativos.
- Alinhamento estratégico: implementar produtos de dados apenas por moda, sem alinhamento com a estratégia da empresa, tende ao fracasso.
2. A Transição do Valor dos Dados: do Transacional ao Produto
No passado, os dados eram usados exclusivamente por áreas técnicas para suportar processos transacionais. Com a percepção de que os dados geram valor por si mesmos, as áreas de negócio passaram a demandar cada vez mais dados, criando um gargalo na área técnica central. A resposta foi a diversificação de papéis (analistas, cientistas, engenheiros de dados) e a federalização das capacidades para as unidades de negócio. É nesse contexto que surge o conceito de produto de dados: os dados deixam de ser um ativo tecnológico e passam a ser um ativo da organização, orientado ao uso e à geração de valor.
3. Ownership e Responsabilidade: Quem Responde pelos Dados
A responsabilidade pelos dados é central para a governança. A resposta curta é: o negócio é o responsável pelos dados, representado pela figura do Data Owner. Em última instância, o Chief Data Officer (CDO) responde legalmente perante as autoridades. Mas a responsabilidade é compartilhada: a pessoa consumidora deve sinalizar erros e dados pessoais não marcados; a área técnica atua como garantidora da proteção, assegurando anonimização e capacidades de segurança. Com a federalização, a governança também se federaliza: as responsabilidades se distribuem entre as áreas de negócio e a plataforma central.
4. Dados como Produtos: As Três Esferas da Data Mesh
A Data Mesh propõe tratar dados como produtos por meio de três esferas: a esfera tecnológica (disponibilidade de acesso e qualidade dos dados), a esfera de domínio (definições de negócio, contexto e casos de uso) e a esfera de acesso (camada de delivery ou serving layer que facilita o consumo). Além disso, o pensamento de produto exige gestão de custos, melhoria contínua e definição de como monetizar os dados — não necessariamente vendê-los, mas criar capacidade para que outras áreas extraiam valor. O data marketplace funciona como a vitrine onde os produtos são publicados e avaliados pelas pessoas consumidoras.
5. Vantagens dos Produtos de Dados: Menos Complexidade, Mais Valor
No modelo clássico, acessar dados exige solicitar acesso ao sistema, à base e à tabela — um processo lento e frustrante, especialmente em empresas com dezenas de sistemas de origem. Com produtos de dados, a pessoa cliente não precisa saber em qual sistema o dado está, quem é o responsável pelo acesso ou como combiná-lo com dados de outras áreas. A preocupação muda para questões de valor e conformidade: estes são os dados de que precisamos? Que uso queremos dar? Esse uso está de acordo com as regras da instituição e as regulamentações? O produto de dados abstrai a complexidade técnica e direciona o foco para a geração de valor.
6. Definição e Características de um Produto de Dados
Um produto de dados é uma forma de entregar diferentes capacidades relacionadas a dados, com foco nas possibilidades de uso e geração de valor, abstraindo questões técnicas para a pessoa consumidora final por meio de um catálogo semelhante a um marketplace. Suas características técnicas incluem completude e qualidade de metadados, monitoramento da qualidade dos dados, capacidade de adaptação às necessidades do negócio e SLAs/contratos de dados. Sob a perspectiva de negócio, destacam-se a documentação dos casos de uso, a definição clara de atores, as definições de negócio relevantes (termos, contexto, categorias) e a integração dos contratos de dados. A diferença entre um produto com e sem definições de negócio é enorme — como o rótulo de um alimento que orienta o consumo.
7. Tipos de Produtos de Dados: Agregação e Níveis de Análise
Os produtos de dados podem ser classificados por nível de agregação (quanto maior a agregação, mais específico o uso) e por tipo de análise: descritivo (mostra o que ocorreu), diagnóstico (busca causa e efeito), preditivo (prevê resultados futuros) e prescritivo (recomenda ações). Quanto mais avançado o nível, maior a complexidade técnica e a dependência de outros produtos de dados. A maturidade organizacional deve evoluir gradualmente: primeiro a boa qualidade no descritivo, depois o diagnóstico, o preditivo e, por fim, o prescritivo. O valor não está no nível de agregação em si, mas na importância do caso de uso para o qual o produto gera valor.
8. IA como Produto de Dados: Semelhanças e Cuidados Específicos
Soluções de IA podem e devem ser tratadas como produtos de dados, permitindo que sejam consumidas com abstração da complexidade técnica, atores bem definidos, controle de casos de uso e SLAs. Exemplos incluem verificação de identidade por foto e tokenização de palavras. No entanto, há cuidados específicos: explicabilidade do modelo (especialmente em setores regulados, como crédito), controle de viés, documentação dos tipos de entrada e saída, idiomas suportados e melhores práticas para evitar alucinações em IA generativa. O enfoque de produto aproveita todas as capacidades da plataforma de dados para incluir iniciativas de IA no catálogo organizacional.
9. Criando e Enriquecendo um Produto de Dados na Prática
O processo começa pela escolha dos dados de origem e pela definição do objetivo de negócio. No exemplo do curso, a equipe de vendas de uma empresa de eletrônicos criou um produto que combina a base de compras com a base mestra de produtos para analisar o peso das compras — testando hipóteses sobre limites de peso que impedem compras em lojas físicas. O enriquecimento envolve documentar responsabilidades (Data Owner), definir nome e descrição claros, mapear casos de uso pretendidos, identificar prováveis consumidores, definir filtros técnicos, palavras-chave e indicadores de qualidade. O contexto de negócio — termos relevantes, domínio, definição de “compra”, granularidade — é essencial para reduzir ambiguidades. Produtos de dados são vivos: é com o uso que o contexto evolui e o produto se aprimora.
10. Avaliação de Maturidade com o DATSYS
O DATSYS é um padrão surgido no contexto da Data Mesh para avaliar a qualidade de um produto de dados em cinco dimensões: discoverable (localizável — é fácil encontrar o produto no marketplace?), addressable (endereçável — existe um ponto de acesso único, claro e bem definido? Há contato claro em caso de necessidade?), trustworthy (confiável — podemos confiar na qualidade dos dados e dos metadados?), self-describing (autodescritivo — a documentação é suficiente para usar o produto sem depender do criador?) e interoperable (interoperável — é simples combinar esse produto com outros dados da organização, usando IDs únicos e dados mestres?). A avaliação responde a perguntas práticas sobre acesso, proteção de dados pessoais e integração, permitindo medir o quão maduro é o produto de dados criado.
