Uso do from no python

remetente

O que é a palavra reservada from?

Em Python, from é uma palavra reservada utilizada em conjunto com a palavra import
para importar módulos, funções, classes ou variáveis específicas de um módulo. Esta construção permite
que você traga para o namespace atual elementos específicos de outros módulos, tornando o código mais
legível e evitando a necessidade de referenciar o módulo a cada uso.

Sintaxe Básica

A sintaxe geral para o uso de from é:

Ou para importar todos os elementos:

Exemplos de Uso

Importando uma função específica

Importando múltiplos elementos

Importando com alias

Importando de submódulos

Vantagens e Cuidados

Vantagens:

  • Torna o código mais limpo e legível
  • Evita a repetição do nome do módulo
  • Permite importar apenas o necessário

Cuidados:

  • O uso de from módulo import * pode poluir o namespace
  • Pode causar conflitos de nomes se não usado com cuidado
  • Pode reduzir a legibilidade ao dificultar a identificação da origem das funções

Comparação: import vs from import

Usando import

Vantagem: Clareza sobre a origem do elemento.

Usando from import

Vantagem: Código mais conciso e direto.

Data Lake e ETL

lago
Data Lake e ETL são dois conceitos fundamentais no gerenciamento de dados moderno, mas servem a propósitos diferentes e são frequentemente usados em conjunto. Vamos explorar suas características, diferenças e casos de uso.

Comparação Direta

Data Lake

Um Data Lake é um repositório que armazena uma enorme quantidade de dados brutos em seu formato nativo, incluindo structured, semi-structured e unstructured data.

Características Principais:

  • Armazena dados em seu formato bruto e original
  • Schema-on-read (esquema aplicado durante a leitura)
  • Altamente escalável e flexível
  • Ideal para big data e analytics avançado
  • Retém todos os dados, independentemente do valor atual

Vantagens:

  • Preserva todos os dados em formato original
  • Flexibilidade para análise futura
  • Economia de custos com armazenamento
  • Suporte a machine learning e analytics avançados

ETL

ETL (Extract, Transform, Load) é o processo de carga, onde os dados da origem são transformados em um formato adequado e são carregados no sistema de destino.

Características Principais:

  • Processo de transformação de dados antes do armazenamento
  • Schema-on-write (esquema aplicado durante a escrita)
  • Dados estruturados e prontos para uso
  • Foco em data warehouses e BI tradicional
  • Filtra e transforma dados para necessidades específicas

Vantagens:

  • Dados limpos e estruturados
  • Desempenho otimizado para reporting
  • Governança e qualidade de dados incorporadas
  • Mais fácil para usuários de negócio consumirem

Diferença fundamental: Enquanto o ETL é um processo de transformação e movimentação de dados, o Data Lake é um repositório de armazenamento. São conceitos complementares, não excludentes.

Quando usar cada abordagem?

Quando usar Data Lake

  • Armazenamento de grandes volumes de dados diversificados
  • Projetos de machine learning e analytics avançado
  • Quando não se sabe antecipadamente como os dados serão usados
  • Preservação de dados brutos para conformidade regulatória
  • Análise de dados não estruturados (logs, imagens, textos)

Quando usar ETL

  • Integração de dados para data warehouses tradicionais
  • Business Intelligence e reporting estruturado
  • Quando se necessita de dados limpos e consistentes
  • Ambientes com requisitos rigorosos de governança de dados
  • Processos operacionais que dependem de dados confiáveis

Como Data Lake e ETL trabalham juntos

Na prática, Data Lakes e processos ETL não são excludentes, mas complementares. Uma arquitetura moderna frequentemente utiliza ambos:

  1. Dados brutos são ingeridos e armazenados no Data Lake
  2. Processos ETL/ELT são usados para extrair dados do Lake, transformá-los e carregá-los em data warehouses ou outros sistemas
  3. O Data Lake serve como camada de armazenamento cru, enquanto o ETL prepara dados para consumo específico
  4. Analistas e cientistas de dados podem acessar tanto os dados brutos quanto os processados

Salvando os dados no Data Lake garantimos acesso aos dados brutos localmente, a partir dele, podemos adicionarmos em tabelas temporárias para nos auxiliar nos tratamentos que devem ser aplicados aos dados no processamento ETL

Conclusão

Data Lake e ETL abordam desafios diferentes no gerenciamento de dados. O Data Lake foca no armazenamento flexível de grandes volumes de dados em formato bruto, enquanto o ETL é um processo de transformação que prepara dados para uso específico.

Em vez de escolher entre um ou outro, as organizações modernas geralmente implementam ambos em uma arquitetura complementar: o Data Lake como repositório central de dados brutos e processos ETL/ELT para transformar esses dados em informações acionáveis para negócios.