Enable javascript in your browser for better experience. Need to know to enable it? Go here.
Atualizado em : Oct 26, 2022
Oct 2022
Adote ? Acreditamos firmemente que a indústria deveria adotar esses itens. Nós os usamos quando são apropriados em nossos projetos.

Delta Lake é uma camada de armazenamento de código aberto, implementada pela Databricks, que tenta trazer transações ACID para processamento de big data. Em nossos projetos de malha de dados (data mesh) ou lago de dados habilitado por Databricks, nossos times preferem usar o armazenamento Delta Lake em vez do uso direto de tipos de armazenamento de arquivos como AWS S3 ou ADLS. Até recentemente, o Delta Lake era um produto proprietário fechado da Databricks, mas agora é código aberto e acessível a plataformas não Databricks. No entanto, nossa recomendação de Delta Lake como uma opção padrão atualmente se estende apenas a projetos Databricks que usam formatos de arquivo Parquet. O Delta Lake facilita os casos de uso de leitura/escrita de dados simultâneas em que a transacionalidade no nível do arquivo é necessária. Consideramos a fluida integração do Delta Lake com APIs de Apache Spark batch e micro-batch muito útil, principalmente recursos como time travel (acessar dados em um determinado momento ou reverter um commit), bem como suporte para gravação no schema evolution, embora haja algumas limitações nesses recursos

Apr 2021
Experimente ? Vale a pena ir atrás. É importante entender como desenvolver essa capacidade. As empresas devem experimentar esta tecnologia em um projeto que possa lidar com o risco.

Delta Lake é uma camada de armazenamento de código aberto, implementada pelo Databricks, que tenta levar transações ACID para o processamento de big data. Em nossos projetos de lago de dados ou malha de dados habilitados pelo Databricks, nossos times continuam preferindo usar o armazenamento Delta Lake em vez do uso direto de tipos de armazenamento de arquivos, como S3 ou ADLS. Claro, isso se limita a projetos que usam plataformas de armazenamento que suportam Delta Lake ao usar formatos de arquivo Parquet. O Delta Lake facilita os casos de uso simultâneos de leitura/gravação de dados em que a transacionalidade no nível de arquivo é necessária. Achamos a impecável integração do Delta Lake com a API de processamento em lote e microlote do Apache Spark muito úteis, principalmente recursos como versionamento — que possibilita acessar dados em um determinado momento ou reverter um commit — bem como suporte a evolução de esquemas, embora existam algumas limitações nesses recursos.

Nov 2019
Avalie ? Vale a pena explorar com o objetivo de compreender como isso afetará sua empresa.

Delta Lake é uma camada de armazenamento de código aberto da Databrick que tenta trazer transações para processamento de big data. Um dos problemas que frequentemente encontramos quando usamos Apache Spark, é a falta de transações ACID. Delta Lake tem integração com API Spark e resolve esse problema usando um log de transação e arquivos Parquet versionados. Seu isolamento serializável permite que leitores e gravadores concorrentes operem em arquivos Parquet. Outras funcionalidades bem-vindas incluem validação de esquema na escrita e no versionamento, o que nos permite consultar e reverter para versões antigas de dados, se necessário. Começamos a usar em alguns de nossos projetos e temos gostado bastante.

Publicado : Nov 20, 2019

Baixar o Technology Radar Volume 27

English | Español | Português | 中文

Mantenha-se por dentro das tendências de tecnologia

 

Seja assinante

Visite nosso arquivo para acessar os volumes anteriores