Fugue

En ingeniería de datos estamos viendo una selección desconcertante de herramientas y tecnologías. Especialmente para los ingenieros menos experimentados, puede tener sentido trabajar con una capa de abstracción para adentrarse a las herramientas, y así concentrarse en la tarea en cuestión sin tener que aprender varias API específicas de la tecnología y tener la opción de cambiar las tecnologías subyacentes sin demasiado esfuerzo. Fugue es esa capa de abstracción. Proporciona una interfaz unificada para computación distribuida, lo que permite ejecutar código en Python, pandas y SQL en Spark, Dask, Ray y DuckDB con menos sobreescritura. Sin embargo, si tu equipo ya se ha decidido por un conjunto de tecnologías, y si están familiarizados con sus API y están inmersos en ajustar y optimizar sus sistemas de backend, una capa de abstracción de este tipo proporciona menos valor en nuestra experiencia.