Technology Radar
Published : May 19, 2020
NOT ON THE CURRENT EDITION
This blip is not on the current edition of the Radar. If it was on one of the last few editions, it is likely that it is still relevant. If the blip is older, it might no longer be relevant and our assessment might be different today. Unfortunately, we simply don't have the bandwidth to continuously review blips from previous editions of the Radar.
Understand more
May 2020
Assess
Aún existen algunas brechas de herramientas cuando se aplican buenas prácticas de ingeniería de software en la ingeniería de datos. Uno de nuestros equipos, al intentar automatizar las revisiones de calidad de datos entre las distintas etapas de un pipeline de datos, se sorprendió cuando apenas encontraron herramientas en este espacio. Finalmente, se decidieron por usar Deequ, una biblioteca para escribir pruebas para conjuntos de datos que se asemejan a las pruebas unitarias. Deequ está construido sobre Apache Spark, y aunque es publicado por AWS Labs puede ser usado en entornos diferentes a AWS.
