Enunciado
Com base nos problemas identificados na 1ª etapa, a diretoria pediu que você avaliasse dois artefatos adicionais: a especificação de um produto de dados lançado pela área de Marketing e o inventário de iniciativas de IA do banco, incluindo a classificação de risco atribuída a cada uma.
Artefato 4 — Especificação do produto de dados “Perfil 360 do Cliente”
| Campo | Conteúdo |
|---|---|
| Nome do produto | Perfil 360 do Cliente |
| Descrição | Visão completa do cliente para campanhas de marketing |
| Data Owner do produto | Coordenação de Marketing |
| Consumidores previstos | Marketing, Comercial |
| Fontes de dados | clientes_v3_final; transacoes_consolidadas; score_credito_modelo_v2 |
| SLA de atualização | (não definido) |
| Contrato de dados | (não existe) |
| Casos de uso documentados | Segmentação de campanhas |
| Classificação de confidencialidade | Interna |
| Dados pessoais presentes | Nome, CPF, e-mail, data de nascimento, score de crédito, flag PEP |
| Técnica de anonimização/mascaramento | (não aplicada) |
| Indicadores de qualidade | (não definidos) |
| Ponto de acesso | Servidor SQL compartilhado do Marketing |
| Interoperabilidade | Chave: id_cli |
Artefato 5 — Inventário de iniciativas de IA do Bytebank
| ID | Nome da solução | Área demandante | Tipo | Classificação de risco | Dados utilizados | Supervisão humana | Monitoramento | Status |
|---|---|---|---|---|---|---|---|---|
| IA-01 | Modelo de crédito pessoal | Crédito | ML supervisionado | Médio | Renda, histórico de pagamento, score, região, idade, estado civil | Analista revisa amostras semanais | Dashboard mensal de acurácia global (92%) | Produção |
| IA-02 | Chatbot de atendimento | Atendimento | IA generativa (LLM de fornecedor) | Baixo | Histórico de conversas, dados cadastrais do cliente | Nenhuma — respostas automáticas | Nenhum | Produção |
| IA-03 | Detecção de fraude em Pix | Segurança | ML supervisionado | Alto | Valor, horário, dispositivo, geolocalização, histórico | Analista de fraude valida alertas em tempo real | Dashboard em tempo real com alertas por limiar | Produção |
| IA-04 | Recomendação de investimentos | Investimentos | ML + regras | Médio | Perfil de risco, patrimônio, idade, objetivos | Pessoa consultora valida antes de enviar ao cliente | Relatório trimestral de aderência | Piloto |
| IA-05 | Análise de sentimento em redes sociais | Marketing | NLP | Baixo | Posts públicos coletados via API | Nenhuma | Nenhum | Produção |
Pergunta-chave: “O produto de dados ‘Perfil 360’ e o inventário de IA do Bytebank atendem aos requisitos de governança necessários para operar com segurança, conformidade e geração de valor?”
Sua missão:
- Avalie a especificação do produto de dados “Perfil 360 do Cliente” considerando os atributos que um produto de dados deve ter (localizabilidade, endereçabilidade, confiabilidade, autodescritibilidade, interoperabilidade e proteção de dados). Identifique e priorize as fragilidades mais graves.
- Analise o inventário de IA: avalie se a classificação de risco atribuída a cada solução é coerente com o impacto que ela pode causar (considere quem é afetado, que tipo de decisão é automatizada e quais dados são utilizados). Avalie também se os mecanismos de supervisão e monitoramento são proporcionais ao risco.
- Após concluir sua análise, peça a um assistente de IA que faça uma leitura independente dos dois artefatos e compare: onde a IA concordou, onde divergiu, onde foi superficial. Registre o que você ajustou na sua análise final e por quê.
Entregáveis sugeridos: Parecer com problemas priorizados e justificados para cada artefato; classificação de risco proposta para cada solução do inventário (mantida ou alterada), com justificativa; especificação corrigida do produto de dados (escrita dentro do documento de análise); registro da comparação com a IA.
O que caracteriza uma boa análise:
- A avaliação percorre cada atributo que um produto de dados deve ter e, para cada um, aponta o campo da especificação que o sustenta ou o contradiz — examinando também os campos preenchidos, e não só os vazios?
- A análise avalia se cada dado pessoal do produto é necessário para os casos de uso declarados e se os controles de proteção e de acesso são proporcionais à natureza dos dados e aos consumidores previstos?
- A classificação de risco de cada solução de IA considera o público atingido (interno vs. cliente final), o tipo de decisão (recomendação vs. decisão autônoma) e a natureza dos dados utilizados (pessoais, sensíveis ou variáveis com potencial discriminatório)?
- O monitoramento de cada solução é avaliado quanto à existência, à periodicidade, à adequação das métricas ao tipo de solução e ao risco, e à capacidade de detectar efeitos diferentes sobre grupos de pessoas afetadas?
- A análise avalia o próprio inventário como instrumento de governança: ele permite responsabilizar, auditar e reavaliar cada solução, inclusive as que dependem de fornecedor?
- Cada problema priorizado tem gravidade declarada com critério explícito (impacto em clientes, exposição regulatória, iniciativa bloqueada), e a ordem de prioridade é defensável?
Ferramentas: Assistente de IA generativa, Editor de documentos ou planilhas.
Dicas para a análise da 2ª etapa:
- Pergunte-se: se o produto de dados “Perfil 360” fosse publicado em um data marketplace, uma pessoa consumidora de outra área conseguiria entender o que ele contém, quem é responsável, qual a qualidade dos dados e como solicitar acesso?
- Para o inventário de IA, considere o princípio de proporcionalidade: soluções que afetam diretamente clientes e envolvem decisões financeiras exigem controles mais rigorosos do que soluções internas de apoio.
- Para cada solução do inventário, pergunte-se: se ela começasse a errar amanhã, quem perceberia, em quanto tempo e por qual sinal?
1. Parecer de Avaliação
A pergunta-chave é: o produto de dados “Perfil 360” e o inventário de IA do Bytebank atendem aos requisitos de governança necessários para operar com segurança, conformidade e geração de valor?
Resposta curta: não. O produto “Perfil 360” apresenta fragilidades críticas de proteção de dados (dados pessoais sensíveis sem anonimização e classificação incorreta) e de confiabilidade (sem SLA, sem contrato, sem indicadores de qualidade). O inventário de IA tem classificações de risco incoerentes (IA-01 e IA-02 subestimadas) e mecanismos de supervisão e monitoramento desproporcionais ao risco em várias soluções. Ambos os artefatos, no estado atual, não sustentam operação segura, conformidade regulatória nem geração de valor.
Abaixo, a avaliação detalhada por artefato, com priorização e justificativa conceitual.
2. Avaliação do Artefato 4 — Produto de Dados “Perfil 360 do Cliente”
2.1. Avaliação por atributo de produto de dados (DATSYS)
| Atributo | Status | Evidência na especificação | Gravidade |
|---|---|---|---|
| Localizável (discoverable) | Parcial | Nome e descrição existem, mas o produto não está publicado em catálogo/marketplace. Consumidores previstos (Marketing, Comercial) não têm como descobri-lo formalmente. | Média |
| Endereçável (addressable) | Frágil | Ponto de acesso é “servidor SQL compartilhado do Marketing” — não é um ponto único, claro e governado. Sem contrato de dados nem SLA. | Alta |
| Confiável (trustworthy) | Crítico | Sem SLA de atualização, sem contrato de dados, sem indicadores de qualidade. A fonte clientes_v3_final já foi classificada como problemática na 1ª etapa. Não há como afirmar que os dados são confiáveis. |
Crítica |
| Autodescritivo (self-describing) | Frágil | Apenas “Segmentação de campanhas” como caso de uso. Não há definição de termos de negócio, granularidade, limitações, nem exemplos de uso. Uma pessoa de outra área não entenderia o produto. | Alta |
| Interoperável (interoperable) | Parcial | Chave id_cli definida, o que é positivo. Mas não há clareza sobre a qualidade dessa chave nem sobre a integração com outros produtos. |
Média |
| Proteção de dados | Crítico | Contém Nome, CPF, e-mail, data de nascimento (dados pessoais) e flag PEP + score de crédito (dados pessoais sensíveis por implicação). Classificação “Interna” está subestimada. Nenhuma técnica de anonimização/mascaramento aplicada. Consumidores incluem Marketing e Comercial — áreas que não precisam necessariamente de CPF ou flag PEP para segmentação de campanhas. |
Crítica |
2.2. Fragilidades priorizadas do produto de dados
| Prioridade | Fragilidade | Gravidade | Justificativa conceitual |
|---|---|---|---|
| 1º | Classificação de confidencialidade incorreta + ausência de anonimização | Crítica | O produto contém CPF, e-mail, data de nascimento (pessoais) e flag PEP (sensível por implicação). Classificar como “Interna” viola a escala do Bytebank (Pública, Interna, Confidencial, Restrita) e expõe a empresa a risco direto de LGPD. A ausência de anonimização/mascaramento agrava: Marketing e Comercial não precisam de CPF ou flag PEP para segmentar campanhas. Exposição regulatória direta. |
| 2º | Ausência de SLA, contrato de dados e indicadores de qualidade | Crítica | Sem SLA, não se sabe quando o produto é atualizado. Sem contrato de dados, não há acordo entre produtor e consumidor sobre qualidade, formato e responsabilidades. Sem indicadores, não se mede a confiabilidade. O produto não atende ao atributo “confiável” — um dos pilares do DATSYS. Bloqueia o uso em decisões de negócio. |
| 3º | Ponto de acesso inadequado (servidor SQL compartilhado) | Alta | Um produto de dados deve ter ponto de acesso único, claro e governado. “Servidor SQL compartilhado do Marketing” não é um ponto de acesso de produto — é um acesso técnico bruto. Isso compromete a endereçabilidade e a segurança. |
| 4º | Autodescrição insuficiente | Alta | Apenas “Segmentação de campanhas” como caso de uso. Não há definição de termos, granularidade, limitações ou exemplos. Uma pessoa de outra área não conseguiria usar o produto com confiança. |
| 5º | Produto não publicado em catálogo/marketplace | Média | Sem publicação, o produto não é localizável formalmente. Consumidores previstos (Marketing, Comercial) não têm como descobri-lo de forma governada. |
| 6º | Data Owner = “Coordenação de Marketing” (área, não pessoa) | Média/Alta | Mesmo problema da 1ª etapa: owner deve ser pessoa nomeada, com autoridade e conhecimento. “Coordenação de Marketing” não responde a reguladores nem aprova acesso com accountability. |
2.3. Especificação corrigida do produto de dados (proposta)
| Campo | Conteúdo corrigido |
|---|---|
| Nome do produto | Perfil 360 do Cliente |
| Descrição | Visão consolidada do cliente para campanhas de marketing, com dados cadastrais, segmentação e indicadores de crédito, anonimizados/mascarados conforme a finalidade. |
| Data Owner do produto | [a levantar com Diretoria de Marketing — pessoa nomeada, com autoridade] |
| Consumidores previstos | Marketing, Comercial (com acesso segmentado por perfil) |
| Fontes de dados | clientes_v3_final (regularizada); transacoes_consolidadas; score_credito_modelo_v2 |
| SLA de atualização | Diário (D-1), com janela de carga definida [a levantar com Engenharia de Dados] |
| Contrato de dados | Definir schema, qualidade mínima, frequência de atualização e responsabilidades [a levantar com Governança de Dados] |
| Casos de uso documentados | Segmentação de campanhas; análise de perfil para personalização; [demais casos a levantar com Marketing] |
| Classificação de confidencialidade | Confidencial (dados pessoais) com campos flag PEP e score de crédito classificados como Restrito |
| Dados pessoais presentes | Nome, CPF, e-mail, data de nascimento, score de crédito, flag PEP |
| Técnica de anonimização/mascaramento | Mascaramento de CPF e e-mail para consumidores que não precisam desses dados; anonimização para análises agregadas; acesso a flag PEP apenas para Compliance. [a validar com DPO] |
| Indicadores de qualidade | Completude, acurácia, consistência e atualidade [definir metas com Governança de Dados] |
| Ponto de acesso | Camada de acesso governada (Serving Layer) do Data Marketplace, com controle de permissões por perfil |
| Interoperabilidade | Chave: id_cli (validada quanto à unicidade e qualidade) |
3. Avaliação do Artefato 5 — Inventário de Iniciativas de IA
3.1. Avaliação da classificação de risco por solução
| ID | Solução | Risco atribuído | Risco proposto | Justificativa |
|---|---|---|---|---|
| IA-01 | Modelo de crédito pessoal | Médio | Alto | Decisão financeira que afeta diretamente o cliente (concessão ou não de crédito). Usa idade, estado civil e região — variáveis com potencial discriminatório. A supervisão é apenas “amostras semanais” e o monitoramento é “acurácia global mensal (92%)”, sem métricas estratificadas por subgrupo. Risco subestimado. |
| IA-02 | Chatbot de atendimento | Baixo | Médio | Interage diretamente com o cliente final, usando LLM de fornecedor (opacidade) e dados cadastrais. Nenhuma supervisão humana e nenhum monitoramento. Um chatbot que erra pode gerar dano reputacional, informações incorretas e exposição de dados. Risco subestimado. |
| IA-03 | Detecção de fraude em Pix | Alto | Alto (mantido) | Decisão em tempo real, com impacto financeiro direto. Usa geolocalização e dispositivo. Supervisão em tempo real e monitoramento com alertas por limiar são proporcionais. Classificação adequada. |
| IA-04 | Recomendação de investimentos | Médio | Médio (mantido) | Recomendação (não decisão autônoma), com validação por pessoa consultora antes de enviar ao cliente. Usa perfil de risco, patrimônio, idade e objetivos. Supervisão humana adequada; monitoramento trimestral é razoável, mas poderia ser mais frequente em piloto. Classificação adequada. |
| IA-05 | Análise de sentimento em redes sociais | Baixo | Baixo (mantido, com ressalva) | Usa posts públicos, sem dados pessoais sensíveis. Não há supervisão nem monitoramento, mas o impacto é limitado. Ressalva: se os posts forem usados para decisões sobre clientes, o risco sobe. Classificação adequada com ressalva. |
3.2. Avaliação da proporcionalidade de supervisão e monitoramento
| ID | Supervisão | Monitoramento | Proporcional? | Problema |
|---|---|---|---|---|
| IA-01 | Amostras semanais | Acurácia global mensal (92%) | Não | Acurácia global esconde disparidades por subgrupo (idade, estado civil, região). Não há métricas de equidade nem alertas de drift. |
| IA-02 | Nenhuma | Nenhum | Não | Chatbot em produção, interagindo com clientes, sem supervisão nem monitoramento. Não há como detectar erros, alucinações ou vazamento de dados. |
| IA-03 | Tempo real | Tempo real com alertas | Sim | Proporcional ao risco alto. Mantido. |
| IA-04 | Validação por consultor | Relatório trimestral | Parcial | Supervisão adequada; monitoramento trimestral é razoável, mas em piloto poderia ser mais frequente para detectar problemas cedo. |
| IA-05 | Nenhuma | Nenhum | Parcial | Risco baixo justifica menor controle, mas a ausência total de monitoramento impede detectar mudanças de contexto que elevem o risco. |
3.3. Fragilidades priorizadas do inventário de IA
| Prioridade | Fragilidade | Gravidade | Justificativa conceitual |
|---|---|---|---|
| 1º | IA-01 (crédito) com risco subestimado e monitoramento inadequado | Crítica | Decisão financeira que afeta clientes, com variáveis potencialmente discriminatórias (idade, estado civil, região). Acurácia global de 92% não comprova equidade. Supervisão por amostras semanais e monitoramento mensal global são insuficientes. Exposição regulatória e risco de discriminação. |
| 2º | IA-02 (chatbot) com risco subestimado, sem supervisão nem monitoramento | Crítica | Interação direta com cliente final, LLM de fornecedor (opacidade) e dados cadastrais. Sem supervisão humana e sem monitoramento, não há como detectar erros, alucinações ou vazamentos. Risco de dano ao cliente e à reputação. |
| 3º | Ausência de métricas estratificadas por subgrupo em IA-01 | Alta | O monitoramento avalia apenas acurácia global. Não há métricas de equidade (paridade demográfica, igualdade de oportunidade, equalized odds) nem análise por subgrupo. Risco de discriminação indireta não detectada. |
| 4º | Inventário não permite responsabilizar nem auditar adequadamente | Alta | O inventário lista soluções, mas não indica Data Owner, Data Steward, responsável técnico nem responsável de negócio por solução. Sem isso, não se sabe a quem acionar em caso de incidente. Fragilidade de accountability. |
| 5º | IA-02 depende de fornecedor sem due diligence documentada | Alta | LLM de fornecedor sem evidência de due diligence, validação local ou cláusulas contratuais de responsabilidade. Risco de opacidade e de responsabilidade difusa. |
| 6º | IA-04 em piloto com monitoramento trimestral | Média | Em piloto, o monitoramento deveria ser mais frequente para detectar problemas cedo. Supervisão humana é adequada. |
| 7º | IA-05 sem monitoramento | Média | Risco baixo justifica menor controle, mas a ausência total de monitoramento impede detectar mudanças de contexto. Recomenda-se monitoramento mínimo periódico. |
4. Comparação com a Leitura da IA Generativa
4.1. Prompt estruturado utilizado
“Analise estes dois artefatos de governança de um banco digital: (1) a especificação do produto de dados ‘Perfil 360 do Cliente’ e (2) o inventário de iniciativas de IA. Avalie o produto de dados pelos atributos DATSYS (localizável, endereçável, confiável, autodescritivo, interoperável) e pela proteção de dados. Avalie o inventário de IA pela coerência da classificação de risco e pela proporcionalidade de supervisão e monitoramento. Aponte fragilidades, priorize por gravidade e indique correções.”
4.2. O que a IA identificou que eu não havia notado
- A IA destacou que o produto “Perfil 360” usa
score_credito_modelo_v2como fonte, o que significa que o produto de dados herda o risco do modelo de crédito (IA-01). Se o modelo tem viés, o produto propaga esse viés para as campanhas de marketing. Incorporei essa conexão. - A IA apontou que a ausência de contrato de dados no “Perfil 360” impede a responsabilização em caso de erro, pois não há acordo formal entre produtor e consumidor. Reforcei esse ponto.
- A IA sugeriu que o inventário de IA deveria incluir o “responsável de negócio” e o “responsável técnico” por solução, além do Data Owner. Incorporei como fragilidade 4º.
4.3. Onde a IA foi genérica ou imprecisa
- A IA não questionou a classificação “Baixo” do chatbot (IA-02) com a devida ênfase. Tratou como aceitável porque “não decide sobre dinheiro”. Descartei — o chatbot interage com cliente, usa LLM opaco e não tem supervisão nem monitoramento; o risco é médio, não baixo.
- A IA não destacou que
flag PEPé dado pessoal sensível por implicação no produto “Perfil 360”, apenas mencionou “dados pessoais”. Mantive e reforcei o enquadramento regulatório. - A IA tratou a acurácia global de 92% como “boa” sem questionar a ausência de métricas estratificadas. Descartei — a acurácia global é insuficiente para avaliar equidade e desempenho por subgrupo.
- A IA não mencionou a necessidade de validação local do LLM do fornecedor (IA-02). Mantive minha análise e incluí a fragilidade de due diligence.
4.4. O que mantive, incorporei e descartei
| Item | Decisão | Justificativa |
|---|---|---|
| Herança de risco do modelo de crédito no “Perfil 360” | Incorporei | Conexão correta e relevante: o produto propaga viés do modelo. |
| Ausência de contrato de dados impede responsabilização | Incorporei e reforcei | Ponto central da confiabilidade e accountability. |
| Inventário deveria ter responsável de negócio e técnico | Incorporei | Melhora a accountability e a auditabilidade. |
| Chatbot (IA-02) como risco baixo | Descartei a aceitação da IA | Interação com cliente, LLM opaco, sem supervisão nem monitoramento → risco médio. |
flag PEP como dado sensível |
Mantive e reforcei | Enquadramento regulatório correto (LGPD, art. 5º, II). |
| Acurácia global de 92% como “boa” | Descartei | Insuficiente para avaliar equidade e desempenho por subgrupo. |
| Validação local do LLM do fornecedor | Mantive | A IA não abordou; é essencial para IA-02. |
5. Conclusão do Parecer
Os artefatos NÃO atendem aos requisitos de governança para operar com segurança, conformidade e geração de valor. As fragilidades críticas são:
- “Perfil 360” com classificação de confidencialidade incorreta e sem anonimização — dados pessoais e sensíveis (CPF, flag PEP) expostos a Marketing e Comercial, com classificação “Interna”. Exposição regulatória direta (LGPD).
- “Perfil 360” sem SLA, contrato de dados nem indicadores de qualidade — o produto não é confiável e não há como responsabilizar produtor/consumidor. Bloqueia uso em decisões de negócio.
- IA-01 (crédito) com risco subestimado (Médio em vez de Alto) e monitoramento inadequado — acurácia global não comprova equidade; variáveis potencialmente discriminatórias. Risco de discriminação e exposição regulatória.
- IA-02 (chatbot) com risco subestimado (Baixo em vez de Médio), sem supervisão nem monitoramento — LLM de fornecedor opaco, interação com cliente final. Risco de dano ao cliente e à reputação.
Correções prioritárias:
- Reclassificar o “Perfil 360” como Confidencial, com
flag PEPescore de créditocomo Restrito; aplicar mascaramento/anonimização. - Definir SLA, contrato de dados e indicadores de qualidade para o “Perfil 360”.
- Reclassificar IA-01 como Alto e implementar monitoramento com métricas estratificadas por subgrupo e alertas de drift.
- Reclassificar IA-02 como Médio e implementar supervisão humana e monitoramento contínuo; exigir due diligence e validação local do fornecedor.
- Completar o inventário de IA com Data Owner, responsável de negócio e responsável técnico por solução.
- Publicar o “Perfil 360” em catálogo/marketplace com ponto de acesso governado.
6. Fluxo PlantUML — Avaliação dos Artefatos (sem acentos)
Código pronto para colar no PlantText, com acentos removidos para evitar problemas de codificação.
