Master

La información en esta página no se encuentra completamente disponible en tu idioma de preferencia. Muy pronto esperamos tenerla completamente disponible en otros idiomas. Para obtener información en tu idioma de preferencia, por favor descarga el PDF aquí.

NOT ON THE CURRENT EDITION
This blip is not on the current edition of the Radar. If it was on one of the last few editions it is likely that it is still relevant. If the blip is older it might no longer be relevant and our assessment might be different today. Unfortunately, we simply don't have the bandwidth to continuously review blips from previous editions of the RadarUnderstand more
Published: Mar 29, 2017
Last Updated: Oct 28, 2020
Oct 2020
Adoptar?

Airflow sigue siendo nuestra herramienta de código abierto favorita y más utilizada para la gestión de flujos de trabajo para pipelines de procesamiento de datos como grafos acíclicos dirigidos (DAGs). Esta es un área en crecimiento con herramientas de código abierto como Luigi, Argo y herramientas más específicas como Azure Data Factory o AWS Data Pipeline. Sin embargo, Airflow se diferencia porque su definición programática de flujos de trabajo se realiza en archivos de configuración con poco código, provee soporte para pruebas automatizadas, es de código abierto, es multiplataforma, ofrece muchas posibilidades de integración con el ecosistema de datos y tiene soporte de una gran comunidad. No obstante, en arquitecturas de datos descentralizadas, como la malla de datos, esta herramienta se puede usar como un orquestador centralizado de flujos de trabajo.

Mar 2017
Probar?

Airflow is a tool to programmatically create, schedule and monitor data pipelines. By treating Directed Acyclic Graphs (DAGs) as code, it encourages maintainable, versionable and testable data pipelines. We've leveraged this configuration in our projects to create dynamic pipelines that resulted in lean and explicit data workflows. Airflow makes it easy to define your operators and executors and to extend the library so that it fits the level of abstraction that suits your environment.