Apache Paimon é um formato de data lake de código aberto projetado para viabilizar a arquitetura lakehouse. Ele se integra perfeitamente com mecanismos de processamento como Flink e Spark, suportando tanto operações de streaming quanto em lote (batch). Uma vantagem fundamental da arquitetura do Paimon está na fusão de um formato de data lake padrão com uma estrutura LSM (log-structured merge-tree). Essa combinação resolve os desafios tradicionais de atualizações de alta performance e leituras de baixa latência em data lakes. O Paimon suporta tabelas de chave primária para atualizações em tempo real e de alta vazão, e inclui um motor de merge customizável para deduplicação, atualizações parciais e agregações. Esse design permite a ingestão eficiente de dados de streaming e o gerenciamento de estado mutável diretamente no lake. O Paimon também oferece recursos maduros de data lake, como metadados escaláveis, transações ACID, time travel, evolução de schema e layouts de dados otimizados por meio de compressão e Z-ordering. Recomendamos avaliar o Paimon para projetos que precisem de uma camada de armazenamento unificada, capaz de lidar eficientemente com dados append-only em grande escala e atualizações complexas de streaming em tempo real.
