Menu
Ferramentas

Azure Data Factory para orquestração

NOT ON THE CURRENT EDITION
This blip is not on the current edition of the radar. If it was on one of the last few editions it is likely that it is still relevant. If the blip is older it might no longer be relevant and our assessment might be different today. Unfortunately, we simply don't have the bandwidth to continuously review blips from previous editions of the radarUnderstand more
Nov 2019
Evite?

Azure Data Factory (ADF) é atualmente o produto padrão da Azure para orquestrar pipelines de processamento de dados. Ele suporta ingestão de dados, copiar dados de e para diferentes tipos de armazenamento localmente ou no Azure e executar lógica de transformação. Embora tenhamos tido uma experiência razoável com ADF para migrações simples de armazéns de dados de local para nuvem, desencorajamos o uso de Azure Data Factory para orquestração para pipelines complexas de processamento de dados. Nossa experiência tem sido desafiadora por vários fatores, incluindo cobertura limitada de capacidades que podem ser implementadas por meio de código primeiro, pois parece que ADF está priorizando a possibilidade das capacidades de plataforma de baixo código; capacidade ruim de debug e relatar erros; observação limitada, já que as capacidades de login da ADF não se integram com outros produtos, como Azure Data Lake Storage ou Databricks, tornando difícil obter uma observação de ponta-a-ponta; e disponibilidade de mecanismos de acionamento da fonte de dados apenas para certas regiões. Nesse momento, encorajamos usar outras ferramentas de orquestração de código aberto (ex.: Airflow) para pipelines de dados complexos, e limitar ADF para cópias de dados ou snapshotting. Esperamos que a ADF aborde essas preocupações para suportar fluxos de trabalho mais complexos de processamento de dados e priorize o acesso a capacidade por meio de código primeiro.