DeliveryLens Analytics
Um pipeline que transforma dados de uma API em camadas rastreáveis e reprocessáveis.
- Categoria
- Engenharia de dados
- Nicho
- Delivery
- Ano
- 2026
- Papel
- Desenho do pipeline, código Python, orquestração e infraestrutura local.
Contexto
Estudo prático de engenharia de dados que simula o fluxo de uma empresa de delivery.
Objetivo
Levar dados de uma API REST até um banco analítico com etapas rastreáveis e reprocessáveis.
Tecnologias
- Python
- Pandas
- Apache Airflow
- PostgreSQL
- Docker
O desafio
Dados que chegam de uma API sem registro bruto nem validação ficam difíceis de auditar, corrigir e reprocessar.
Arquitetura em camadas: a bronze guarda a resposta exatamente como chegou, a silver valida cada registro sem descartá-lo (marcando is_valid e validation_errors) e a carga final vai para o PostgreSQL.
Arquitetura técnica
Uma DAG do Airflow encadeia ingestão, bronze, silver e carga. O scheduler e o banco rodam em containers com volumes persistentes.
- DAG deliverylens_pipeline: ingestão, bronze, silver e PostgreSQL
- Docker Compose com Airflow e PostgreSQL 16
- Módulos separados: ingestion, bronze, silver, pipeline, db e config
Implementação
Python com Requests na ingestão, Pandas no tratamento e psycopg2 na carga, Apache Airflow na orquestração e Docker no ambiente.
- Respostas brutas preservadas em JSON para auditoria
- Validação de id, nome e formato de e-mail
- Nenhum registro descartado na camada silver
- Configuração por variáveis de ambiente
O que este case não afirma
- Fonte de dados simulada (JSONPlaceholder).
- A camada gold, com modelo dimensional, ainda não foi implementada.
- Laboratório técnico, sem uso em produção, volume ou frequência declarados.