Meu Candidato DAGs

Projeto voltado para a criação de workflow para extração e tratamento de dados de várias fontes de dados como:

• Dados do TSE (Candidatos, Legendas, etc)
• Outras fontes ainda não encontradas (sugestões são bem vindas)

Instalação

1. Faça o checkout do projeto:

$ git clone https://github.com/meucandidato/airflow-dags.git meucandidato-dags

2. Crie um ambiente virtual e faça a instalação

$ cd meucandidato-dags
$ python3 -m venv .venv
$ source .venv/bin/activate

$ python setup.py install

Caso tenha problemas na instalação do pendulum instale a versão 18.1 do pip:

$ pip install pip===18.1

3. Instale localmente o airflow e siga as instruções de configuração básicas para sua execução.
4. Execute o workflow via airflow backfill. Abaixo um exemplo de importação dos dados do TSE:

$ airflow backfill import_tse_data -s 2017-10-18