Skip to content

ETL Dados de Mobilidade da Prefeitura de Belo Horizonte

Projeto elaborado em 72 horas para realizar a extração, transformação e carga de dados de mobilidade urbana da prefeitura de Belo Horizonte.

pre-commit makefile pytest docker minio postgresql

Tabela de Conteúdos

Instalação

Passos para instalar e configurar o projeto localmente:

# Clone o repositório
git clone git@github.com:Robso-creator/etl_mobilidade.git

# Entre no diretório do projeto
cd etl_mobilidade

# Crie uma virtualenv
python3 -m venv venv
. venv/bin/activate

# Instale as dependências
pip install -r requirements.txt

Crie arquivo .env no diretório raiz do projeto com as seguintes variáveis de ambiente:

ENV=development

MINIO_ROOT_USER=user
MINIO_ROOT_PASSWORD=password
MINIO_BUCKET=bucket-mobilidade-local

DB_URI=postgresql://postgres:postgres@localhost:5432/mobilidade

Uso

# Faça a build da imagem
make build-img-local

# Execute o container
make enter-container

# Execute o script
python -m src.pipeline

Acesse o MinIO em http://localhost:9004 com as credenciais definidas no arquivo .env para visualizar os arquivos extraídos/tratados.

Repositório