Carta-resumo: Um levantamento sobre Engenharia de Dados

 




Resumo sobre o levantamento de Engenharia de Dados

Resumo:

O trabalho apresenta uma visão ampla e estruturada sobre os fundamentos da Engenharia de Dados e o papel do profissional no ecossistema transacional e analítico das organizações. São mencionadas as diferenças entre o engenheiro e o cientista de dados, destacando como suas responsabilidades se complementam na construção de soluções orientadas a dados. Ao longo do texto, percorremos todo o fluxo de trabalho da engenharia, desde a captura e ingestão de dados, passando pelos processos de armazenamento, modelagem, transformação e processamento distribuído, até à disponibilização final das informações para gerar valor, insights e automações dentro das empresas. Também são abordados os principais tipos de armazenamento e arquiteturas utilizados, bem como as práticas que sustentam pipelines escaláveis, confiáveis e orientados à qualidade. Trata-se, portanto, de uma visão geral do que será explorado em maior profundidade nas seções seguintes.

O trabalho foi elaborado por iniciativa própria, em alinhamento com o conteúdo abordado no Módulo inicial do curso de pós-graduação de Engenharia de Dados e Inteligência Artificial da Faculdade Anhanguera. A proposta surgiu como forma de consolidar os fundamentos apresentados inicialmente, permitindo apenas a compreensão teórica. Dessa maneira, o desenvolvimento deste material reflete o compromisso em aprofundar os estudos e em construir uma base sólida para os temas que serão explorados ao longo da formação acadêmica.


Link de acesso ao material completo:

padlet.com/fdanielm/danix_dev

Atenciosamente;

Daniel Martins França

Comentários

Postar um comentário

Postagens mais visitadas deste blog

Projeto de Banco de Dados: Setor Varejo

Imagem
  Introdução:        A crescente dependência das organizações em relação à informação torna o correto armazenamento, organização e recuperação de dados um fator estratégico para o sucesso dos sistemas de informação. Nesse contexto, a modelagem de dados destaca-se como uma das etapas mais importantes no desenvolvimento de sistemas, pois permite compreender, estruturar e representar a realidade de um domínio de negócio de forma clara, consistente e alinhada aos seus requisitos.       Por meio de diferentes níveis de abstração, a modelagem possibilita ocultar detalhes técnicos do usuário final, ao mesmo tempo em que garante integridade, padronização e eficiência no uso das informações.O processo de modelagem de dados é tradicionalmente dividido em modelo conceitual, lógico e físico, cada um com objetivos e níveis de detalhamento específicos. Essa divisão permite uma evolução gradual do entendimento do negócio até a implementação técnica em um Si...
Leia mais

Projeto Prático de Engenharia de Dados com Python, SQL e GitHub

Imagem
  Introdução:        Este projeto apresenta uma aplicação prática de Engenharia de Dados em um cenário empresarial realista , utilizando Python, SQL, Git e GitHub , com base na arquitetura conceitual Medallion (Bronze, Silver e Gold) , amplamente adotada em pipelines modernos de dados. O contexto do projeto está inserido no domínio de geoprocessamento, GIS e sensoriamento remoto , áreas que lidam com grandes volumes de dados espaciais, metadados técnicos e necessidade de rastreabilidade, qualidade e governança da informação. Para isso, são utilizados dados realistas em formato CSV , representando produtos e serviços geoespaciais comuns em empresas de tecnologia, engenharia e análise territorial. A solução contempla todo o ciclo de um pipeline de dados: Ingestão de dados brutos (Bronze) Tratamento, padronização e validação (Silver) Modelagem analítica e consolidação para consumo (Gold)    Todo o desenvolvimento é realizado em um ambiente ...
Leia mais

Um breve conceito prático sobre Engenharia de Dados

Imagem
  Um breve conceito prático sobre Engenharia de Dados Introdução      A Engenharia de Dados tem se consolidado como uma das áreas centrais dentro do ecossistema de tecnologia da informação, sendo responsável por projetar, construir e manter infraestruturas que possibilitam a coleta, o armazenamento, o processamento e a disponibilização de dados de forma confiável e escalável. Em um cenário cada vez mais orientado por dados, organizações de diferentes setores dependem diretamente dessas estruturas para apoiar processos decisórios, produtos digitais e estratégias de negócio.      O ecossistema de Engenharia de Dados já foi previamente apresentado, contemplando suas principais camadas e fluxos. No entanto, além da compreensão conceitual do ecossistema, é fundamental conhecer quais ferramentas são utilizadas em cada etapa desse processo e como elas se integram no dia a dia de um engenheiro de dados. Nesse contexto, este módulo tem como foco o estudo da...
Leia mais