Menu
Técnicas

Detecção de dados

NOT ON THE CURRENT EDITION
This blip is not on the current edition of the radar. If it was on one of the last few editions it is likely that it is still relevant. If the blip is older it might no longer be relevant and our assessment might be different today. Unfortunately, we simply don't have the bandwidth to continuously review blips from previous editions of the radarUnderstand more
Nov 2019
Experimente?

Um dos principais pontos de atrito para cientistas de dados e analistas em seu fluxo de trabalho é localizar os dados de que precisam, entendê-los e avaliar se são confiáveis para uso. Isso permanece um desafio devido aos metadados faltantes sobre as fontes de dados disponíveis e falta de funcionalidade adequada para pesquisar e localizar os dados. Encorajamos times que estão fornecendo conjuntos de dados analíticos ou construindo plataformas de dados a tornar a detecção de dados uma função de primeira classe de seus ambientes, para fornecer a habilidade de localizar facilmente dados disponíveis, detectar sua qualidade, entender sua estrutura e linhagem e ter acesso a eles. Tradicionalmente, essa função tem sido fornecida por soluções de catalogação de dados inchadas. Nos últimos anos, temos visto o crescimento de projetos de código aberto que estão melhorando a experiência de desenvolvimento tanto para fornecedores quanto para consumidores de dados para fazer uma coisa muito bem: tornar os dados detectáveis. O Amundsen, da Lyft, e o WhereHows, do Linkedin, estão entre essas ferramentas. O que gostaríamos de ver é uma mudança no comportamento dos fornecedores para compartilharem intencionalmente os metadados que ajudam na descoberta em favor de ferramentas de detecção que inferem informações de metadados parciais de silos de bases de dados de aplicações.