Airflow continua sendo nossa ferramenta de gerenciamento de fluxo de trabalho de código aberto favorita para pipelines de processamento de dados como gráficos acíclicos direcionados (DAGs). Este é um espaço em crescimento, com ferramentas de código aberto, como Luigi e Argo, e ferramentas específicas de fornecedoras, como Azure Data Factory e AWS Data Pipeline. No entanto, o Airflow se diferencia com sua definição programática de fluxos de trabalho sobre arquivos de configuração de baixo código limitados, suporte para testes automatizados, instalação multiplataforma de código aberto, um conjunto rico de pontos de integração para o ecossistema de dados e grande suporte da comunidade. Em arquiteturas de dados descentralizadas, como malha de dados, no entanto, o Airflow atualmente falha como uma orquestração de fluxo de trabalho centralizado.

Airflow is a tool to programmatically create, schedule and monitor data pipelines. By treating Directed Acyclic Graphs (DAGs) as code, it encourages maintainable, versionable and testable data pipelines. We've leveraged this configuration in our projects to create dynamic pipelines that resulted in lean and explicit data workflows. Airflow makes it easy to define your operators and executors and to extend the library so that it fits the level of abstraction that suits your environment.