Orquestração de pipelines de dados educacionais: uma arquitetura automatizada com Apache Airflow e MinIO para integração SIGAA-ENADE

Abstract

A fragmentação e a dependência de processos manuais na integração de bases educacionais representam um desafio significativo para a governança de dados no ensino superior, aumentando o risco de falhas operacionais e inconsistências analíticas. Este trabalho propõe uma arquitetura de orquestração de pipelines de dados para automatizar a extração, transformação e carga (ETL) das bases consumidas pelo System of Academic Business Intelligence and Analytics (SABIA), plataforma institucional da Universidade Federal Rural de Pernambuco (UFRPE). A solução foi desenvolvida utilizando Apache Airflow para o gerenciamento de Grafos Acíclicos Direcionados (DAGs), Python e Pandas para o processamento, e o MinIO como repositório de objetos, estruturado em um modelo enxuto de camadas para separar dados brutos de dados processados em formato Parquet. O pipeline integra registros acadêmicos internos (sistemas SIGAA e SIGA) e o arquivo oficial de vagas da instituição com microdados públicos de avaliação (ENADE/INEP). A execução prática do projeto validou a conversão de 14 rotinas analíticas, outrora executadas manualmente, em um fluxo interdependente e concluído de forma automatizada em aproximadamente 7 minutos. Os resultados demonstram que a nova infraestrutura mitigou problemas de qualidade de dados como divergências de nomenclatura, valores ausentes e duplicidades, além de fornecer a rastreabilidade e a capacidade de recuperação de falhas exigidas por uma governança madura. Conclui-se que a padronização orquestrada não apenas tornou o abastecimento do SABIA confiável e independente de intervenção humana, como também consolidou um modelo arquitetural escalável e replicável para outras instituições que utilizam as mesmas infraestruturas de gestão acadêmica.