Technology Radar
Apache Paimon es un formato de data lake de código abierto diseñado para habilitar la arquitectura lakehouse. Se integra de forma fluida con motores de procesamiento como Flink y Spark, ofreciendo soporte tanto para operaciones en streaming como por lotes (batch). Una de las principales ventajas de la arquitectura de Paimon radica en su combinación de un formato estándar de data lake con una estructura LSM (log-structured merge-tree). Esta combinación resuelve los desafíos tradicionales de las actualizaciones de alto rendimiento y las lecturas de baja latencia en los data lakes. Paimon admite tablas con clave primaria para actualizaciones en tiempo real y de alto rendimiento, e incluye un motor de fusión personalizable para deduplicación, actualizaciones parciales y agregaciones. Este diseño hace posible una ingesta eficiente de datos en streaming y la gestión de estado mutable directamente dentro del lake. Además, Paimon también ofrece capacidades maduras de data lake, como metadatos escalables, transacciones ACID, time travel, evolución de esquemas y diseños de datos optimizados mediante compresión y Z-ordering. Recomendamos evaluar Paimon para proyectos que necesiten una capa de almacenamiento unificada capaz de manejar eficientemente datos masivos de solo anexado(append-only) a gran escala y actualizaciones complejas en streaming en tiempo real.
