Menú
Herramientas

Azure Data Factory para orquestación

NOT ON THE CURRENT EDITION
This blip is not on the current edition of the radar. If it was on one of the last few editions it is likely that it is still relevant. If the blip is older it might no longer be relevant and our assessment might be different today. Unfortunately, we simply don't have the bandwidth to continuously review blips from previous editions of the radarUnderstand more
Nov 2019
Resistir?

Azure Data Factory (ADF) es actualmente el producto por defecto de Azure, para la orquestación de flujos de procesamiento de datos. Permite ingesta de datos, copia de datos desde y hacia diferentes tipos de almacenamiento tanto On-Prem como Azure, y la ejecución de lógica de transformación. Si bien hemos tenido algunos resultados aceptables con ADF para migraciones simples de almacenes de datos de On-Prem a la nube, desaconsejamos el uso de Azure Data Factory para la orquestación de flujos de procesamiento de datos complejos. Nuestra experiencia ha sido desafiante debido a diferentes factores, incluyendo una cobertura limitada de capacidades que pueden implementarse dando prioridad a la codificación, ya que parece que ADF está priorizando dejar disponible primero las capacidades de plataforma de baja codificación; pocas facilidades para depuración y reporte de errores; observabilidad limitada ya que las capacidades de log de ADF no se integran con otros productos como Azure Data Lake Storage o Databricks, haciendo muy complicado disponer de una observabilidad de extremo a extremo en su lugar; y la disponibilidad de mecanismos de activación de la fuente de datos limitada a algunas regiones solamente. En este momento, aconsejamos utilizar otras herramientas de orquestación de código abierto (por ejemplo, Airflow) para flujos de datos complejos, y limitar el uso de ADF a copia de datos o snapshots. Confiamos en que ADF solucionará estas deficiencias para poder abastecer adecuadamente más flujos de procesamiento de datos complejos y priorizar el acceso a capacidades que anteponen la codificación.