antonino, Autor em Área de Trampo

Data Lake e ETL são dois conceitos fundamentais no gerenciamento de dados moderno, mas servem a propósitos diferentes e são frequentemente usados em conjunto. Vamos explorar suas características, diferenças e casos de uso.

Comparação Direta

Data Lake

Um Data Lake é um repositório que armazena uma enorme quantidade de dados brutos em seu formato nativo, incluindo structured, semi-structured e unstructured data.

Características Principais:

Armazena dados em seu formato bruto e original
Schema-on-read (esquema aplicado durante a leitura)
Altamente escalável e flexível
Ideal para big data e analytics avançado
Retém todos os dados, independentemente do valor atual

Vantagens:

Preserva todos os dados em formato original
Flexibilidade para análise futura
Economia de custos com armazenamento
Suporte a machine learning e analytics avançados

ETL

ETL (Extract, Transform, Load) é o processo de carga, onde os dados da origem são transformados em um formato adequado e são carregados no sistema de destino.

Características Principais:

Processo de transformação de dados antes do armazenamento
Schema-on-write (esquema aplicado durante a escrita)
Dados estruturados e prontos para uso
Foco em data warehouses e BI tradicional
Filtra e transforma dados para necessidades específicas

Vantagens:

Dados limpos e estruturados
Desempenho otimizado para reporting
Governança e qualidade de dados incorporadas
Mais fácil para usuários de negócio consumirem

Diferença fundamental: Enquanto o ETL é um processo de transformação e movimentação de dados, o Data Lake é um repositório de armazenamento. São conceitos complementares, não excludentes.

Quando usar cada abordagem?

Quando usar Data Lake

Armazenamento de grandes volumes de dados diversificados
Projetos de machine learning e analytics avançado
Quando não se sabe antecipadamente como os dados serão usados
Preservação de dados brutos para conformidade regulatória
Análise de dados não estruturados (logs, imagens, textos)

Quando usar ETL

Integração de dados para data warehouses tradicionais
Business Intelligence e reporting estruturado
Quando se necessita de dados limpos e consistentes
Ambientes com requisitos rigorosos de governança de dados
Processos operacionais que dependem de dados confiáveis

Como Data Lake e ETL trabalham juntos

Na prática, Data Lakes e processos ETL não são excludentes, mas complementares. Uma arquitetura moderna frequentemente utiliza ambos:

Dados brutos são ingeridos e armazenados no Data Lake
Processos ETL/ELT são usados para extrair dados do Lake, transformá-los e carregá-los em data warehouses ou outros sistemas
O Data Lake serve como camada de armazenamento cru, enquanto o ETL prepara dados para consumo específico
Analistas e cientistas de dados podem acessar tanto os dados brutos quanto os processados

Salvando os dados no Data Lake garantimos acesso aos dados brutos localmente, a partir dele, podemos adicionarmos em tabelas temporárias para nos auxiliar nos tratamentos que devem ser aplicados aos dados no processamento ETL

Conclusão

Data Lake e ETL abordam desafios diferentes no gerenciamento de dados. O Data Lake foca no armazenamento flexível de grandes volumes de dados em formato bruto, enquanto o ETL é um processo de transformação que prepara dados para uso específico.

Em vez de escolher entre um ou outro, as organizações modernas geralmente implementam ambos em uma arquitetura complementar: o Data Lake como repositório central de dados brutos e processos ETL/ELT para transformar esses dados em informações acionáveis para negócios.

Média e mediana são duas medidas de tendência central fundamentais em estatística.
Ambas fornecem informações sobre o “centro” de um conjunto de dados, contudo uma é mais sensível a dados extremos (outliers).

O que é Média?

A média aritmética é calculada somando todos os valores de um conjunto
de dados e dividindo pelo número de elementos. É representada pela fórmula:

			    \({\color{Red} \sum_{i=1}^{n} x_i} = x_{1} + x_{2} + .. + x_{n}\)

                \(\bar{x}_{n} =\frac{1}{n} \times {\color{Red} \sum_{i=1}^{n} x_i} = \frac{{\color{Red} \sum_{i=1}^{n} x_i}}{n}\)

                \({\color{Red} S_{n}} = x_{1} + x_{2} + .. + x_{n}\)

				\(\bar{x} = \frac{1}{n} \times {\color{Red} S_{n}} = \frac{{\color{Red} S_{n}}}{n}\)

Onde:

$\bar{x}$ é a média
$x_i$ são os valores individuais
$n$ é o número de elementos no conjunto
$\sum_{i=1}^{n} x_i$ ou $S_{n}$ representa o somatório
$i$ representa um indice ou contador que indica a posição de cada elemento na sequência de dados.

Exemplo com dados reais

Vamos calcular a média dos salários da planilha “media”:

Funcionários	Salários (mil R$)
1	13
2	15
3	20
4	13
5	20
6	13
7	13
8	30
9	16
10	20

Cálculo da média:

Soma = 13 + 15 + 20 + 13 + 20 + 13 + 13 + 30 + 16 + 20 = 173

Número de elementos = 10

Média = 173 ÷ 10 = 17.3 mil R$

Em R, podemos calcular assim:

# Dados da planilha "media"
salarios_media <- c(13, 15, 20, 13, 20, 13, 13, 30, 16, 20)

# Cálculo da média
media <- mean(salarios_media)
print(paste("Média dos salários:", media, "mil R$"))

# Resultado: "Média dos salários: 17.3 mil R$"

# Dados da planilha "media"

salarios_media <- c(13, 15, 20, 13, 20, 13, 13, 30, 16, 20)

# Cálculo da média

media <- mean(salarios_media)

print(paste("Média dos salários:", media, "mil R$"))

# Resultado: "Média dos salários: 17.3 mil R$"

O que é Mediana?

A mediana é o valor que divide um conjunto de dados ordenados em duas partes iguais.
Metade dos valores estão abaixo da mediana e metade estão acima.

Mediana de uma População

Para representar a mediana de uma população, é comum usar:

$\tilde{\mu}$ (mu til) – Por analogia com a média populacional $\mu$
$Med$ – Mantendo a mesma abreviatura, mas aplicada à população
$Md$ – Similar ao caso amostral

Conjunto ÍMPAR de elementos

Para um número ímpar de elementos, a mediana é o valor central quando os dados estão ordenados.

Exemplo com a planilha “mediana impar” (11 elementos):

Funcionários	Salários (mil R$)
1	13
2	15
3	20
4	13
5	20
6	13
7	13
8	30
9	16
10	20
11	250

Dados ordenados: 13, 13, 13, 13, 15, 16, 20, 20, 20, 30, 250

Mediana = 16 (o 6º elemento, que divide os 11 elementos em duas partes iguais)

# Dados da planilha "mediana impar"
salarios_impar <- c(13, 15, 20, 13, 20, 13, 13, 30, 16, 20, 250)

# Cálculo da mediana
mediana_impar <- median(salarios_impar)
print(paste("Mediana (conjunto ímpar):", mediana_impar, "mil R$"))

# Verificando o processo manualmente
salarios_ordenados <- sort(salarios_impar)
n <- length(salarios_ordenados)
posicao_mediana <- (n + 1) / 2
print(paste("Dados ordenados:", paste(salarios_ordenados, collapse = ", ")))
print(paste("Posição da mediana:", posicao_mediana))
print(paste("Valor na posição", posicao_mediana, ":", salarios_ordenados[posicao_mediana]))

# Resultado: "Mediana (conjunto ímpar): 16 mil R$"

# Dados da planilha "mediana impar"

salarios_impar <- c(13, 15, 20, 13, 20, 13, 13, 30, 16, 20, 250)

# Cálculo da mediana

mediana_impar <- median(salarios_impar)

print(paste("Mediana (conjunto ímpar):", mediana_impar, "mil R$"))

# Verificando o processo manualmente

salarios_ordenados <- sort(salarios_impar)

n <- length(salarios_ordenados)

posicao_mediana <- (n + 1) / 2

print(paste("Dados ordenados:", paste(salarios_ordenados, collapse = ", ")))

print(paste("Posição da mediana:", posicao_mediana))

print(paste("Valor na posição", posicao_mediana, ":", salarios_ordenados[posicao_mediana]))

# Resultado: "Mediana (conjunto ímpar): 16 mil R$"

Conjunto PAR de elementos

Para um número par de elementos, a mediana é a média dos dois valores centrais.

Exemplo com a planilha “mediana par” (10 elementos):

Funcionários	Salários (mil R$)
1	13
2	15
3	20
4	13
5	20
6	13
7	13
8	30
9	16
10	20

Dados ordenados: 13, 13, 13, 13, 15, 16, 20, 20, 20, 30, 250

Mediana = (15 + 16) ÷ 2 = 15.5 (média do 5º e 6º elementos)

# Dados da planilha "mediana par"
salarios_par <- c(13, 15, 20, 13, 20, 13, 13, 30, 16, 20)

# Cálculo da mediana
mediana_par <- median(salarios_par)
print(paste("Mediana (conjunto par):", mediana_par, "mil R$"))

# Verificando o processo manualmente
salarios_ordenados <- sort(salarios_par)
n <- length(salarios_ordenados)
posicao1 <- n / 2
posicao2 <- n / 2 + 1
print(paste("Dados ordenados:", paste(salarios_ordenados, collapse = ", ")))
print(paste("Posições centrais:", posicao1, "e", posicao2))
print(paste("Valores nas posições:", salarios_ordenados[posicao1], "e", salarios_ordenados[posicao2]))
print(paste("Média dos valores:", (salarios_ordenados[posicao1] + salarios_ordenados[posicao2]) / 2))

# Resultado: "Mediana (conjunto par): 15.5 mil R$"

# Dados da planilha "mediana par"

salarios_par <- c(13, 15, 20, 13, 20, 13, 13, 30, 16, 20)

# Cálculo da mediana

mediana_par <- median(salarios_par)

print(paste("Mediana (conjunto par):", mediana_par, "mil R$"))

# Verificando o processo manualmente

salarios_ordenados <- sort(salarios_par)

n <- length(salarios_ordenados)

posicao1 <- n / 2

posicao2 <- n / 2 + 1

print(paste("Dados ordenados:", paste(salarios_ordenados, collapse = ", ")))

print(paste("Posições centrais:", posicao1, "e", posicao2))

print(paste("Valores nas posições:", salarios_ordenados[posicao1], "e", salarios_ordenados[posicao2]))

print(paste("Média dos valores:", (salarios_ordenados[posicao1] + salarios_ordenados[posicao2]) / 2))

# Resultado: "Mediana (conjunto par): 15.5 mil R$"

Comparação entre Média e Mediana

Média

Vantagens:

Considera todos os valores do conjunto
Fácil de calcular e interpretar
Boa para dados com distribuição simétrica

Desvantagens:

Sensível a valores extremos (outliers)
Pode não representar bem o centro em distribuições assimétricas

Mediana

Vantagens:

Robusta a valores extremos (outliers)
Melhor representante do centro em distribuições assimétricas
Fácil de entender como “o valor do meio”

Desvantagens:

Ignora a magnitude dos outros valores
Pode não ser representativa em conjuntos muito pequenos
Mais difícil de usar em análises estatísticas avançadas

Quando usar cada medida?

Use a média quando: Os dados têm distribuição simétrica e não há valores extremos.

Use a mediana quando: Os dados têm distribuição assimétrica ou contêm valores extremos.

No exemplo dos salários, note como a média (17.3) é maior que a mediana (15.5),
indicando uma assimetria à direita causada por salários mais altos que puxam a média para cima.

Conclusão

Média e mediana são ambas medidas de tendência central importantes, mas respondem a perguntas
diferentes sobre os dados. Enquanto a média representa o “centro de gravidade” do conjunto,
a mediana representa o “valor do meio”. A escolha entre elas depende da distribuição dos dados
e da presença de valores extremos.

Em muitos casos, o ideal é reportar ambas as medidas para ter uma visão mais completa
da distribuição dos dados.