Enable javascript in your browser for better experience. Need to know to enable it? Go here.
Publicado : Apr 26, 2023
Apr 2023
Avalie ? Vale a pena explorar com o objetivo de compreender como isso afetará sua empresa.

O OpenLineage é um padrão aberto para coleta de metadados de linhagem para pipelines de dados, projetado para instrumentar trabalhos durante sua execução. Ele define um modelo genérico de execução, trabalho e entidades de conjunto de dados usando convenções de nomenclatura consistentes. O modelo de linhagem central é extensível ao definir facetas específicas para enriquecer essas entidades. O OpenLineage resolve o problema de interoperabilidade entre produtores e consumidores de dados de linhagem que, de outra forma, precisariam saber como se comunicar uns com os outros de várias maneiras. Embora exista o risco de ser só outro padrão sem adesão, o projeto ser da Linux Foundation AI & Data Foundation aumenta suas chances de ser adotado de maneira generalizada. Atualmente, o OpenLineage oferece suporte à coleta de dados para várias plataformas, como Spark, Airflow e dbt, embora as usuáriasprecisem configurar seus listeners. O suporte para consumidores de dados OpenLineage é mais limitado neste momento.

Baixar o Technology Radar Volume 28

English | Español | Português | 中文

Mantenha-se por dentro das tendências de tecnologia

 

Seja assinante

Visite nosso arquivo para acessar os volumes anteriores