O Apache Iceberg é um formato de tabela aberta para conjuntos de dados analíticos em larga escala, que define como os arquivos de dados, metadados e esquemas são organizados em sistemas de armazenamento como o S3. Tendo evoluído significativamente nos últimos anos, ele se tornou um bloco constitutivo (building block) fundamental para arquiteturas lakehouse agnósticas em relação à tecnologia. O Iceberg agora é suportado por todos os principais provedores de plataformas de dados — incluindo AWS (Athena, EMR, Redshift), Snowflake, Databricks e Google BigQuery —, tornando-o uma opção forte para evitar a dependência de fornecedor (vendor lock-in). O que distingue o Iceberg de outros formatos de tabela aberta é sua abertura tanto em recursos quanto em governança, diferente de alternativas cujas capacidades são limitadas ou controladas por um único fornecedor. De uma perspectiva de confiabilidade, o design baseado em snapshots (cópia do estado do sistema) do Iceberg fornece isolamento serializável, escrita simultânea segura por meio de concorrência otimista e com histórico de versões e possibilidade de reversão (rollback). Essas capacidades entregam fortes garantias de estarem corretas enquanto evitam gargalos de desempenho. Embora o Apache Spark continue sendo o motor mais comum usado com o Iceberg, ele também é bem suportado pelo Trino, Flink, DuckDB e outros, tornando-o adequado para uma ampla gama de casos de uso, desde plataformas de dados corporativas até análises locais leves. Em muitos de nossos times, o Iceberg conquistou forte confiança como um formato de dados aberto e estável; recomendado como uma escolha padrão para organizações que constroem plataformas de dados modernas.
Apache Iceberg é um formato de tabela aberta para conjuntos de dados analíticos muito grandes. O Iceberg suporta operações de dados analíticos modernas, como inserção, atualização, exclusão em nível de registro, consultas de viagem no tempo, transações ACID, particionamento oculto e evolução completa de esquema. Oferece suporte a vários formatos de armazenamento de arquivos subjacentes, como Apache Parquet, Apache ORC e Apache Avro. Muitos mecanismos de processamento de dados suportam Apache Iceberg, incluindo mecanismos SQL como Dremio e Trino, bem como mecanismos de streaming (estruturado) como Apache Spark e Apache Flink.
Apache Iceberg se enquadra na mesma categoria que Delta Lake e Apache Hudi. Todos suportam recursos mais ou menos semelhantes, mas se diferem nas implementações subjacentes e nas listas detalhadas de recursos. Iceberg é um formato independente e não é nativo de nenhum mecanismo de processamento específico, portanto, é compatível com um número crescente de plataformas, incluindo AWS Athena e Snowflake. Pelo mesmo motivo, o Apache Iceberg, ao contrário de formatos nativos como Delta Lake, pode não se beneficiar das otimizações quando usado com o Spark.
