Works on

  Introdução: Este trabalho descreve o desenvolvimento e a implementação de um pipeline de Extração, Transformação e Carga (ETL) com finalidade analítica, destinado à ingestão, padronização e análise de dados econômicos relacionados ao Índice Nacional de Preços ao Consumidor Amplo (IPCA) e ao preço do Boi Gordo . A proposta tem como objetivos centrais assegurar a qualidade e a consistência dos dados , garantir a rastreabilidade das transformações aplicadas e viabilizar a extração de insights analíticos relevantes para a compreensão da dinâmica econômica analisada. A arquitetura da solução fundamenta-se no uso das tecnologias Python , Apache Spark (PySpark) e Delta Lake , adotando o paradigma da arquitetura Medallion , estruturada nas camadas Bronze, Silver e Gold . Essa organização permite o gerenciamento progressivo dos dados, desde a ingestão bruta até a consolidação analítica, promovendo controle de versionamento, preservação de histórico e evolução estruturada do pipeline...