Menu
Técnicas

Malha de dados

Oct 2020
Experimente?

A malha de dados marca uma mudança bem-vinda de paradigma arquitetural e organizacional na forma como gerenciamos grandes dados analíticos. O paradigma é baseado em quatro princípios: (1) descentralização orientada a domínio da propriedade e da arquitetura de dados; (2) dados orientados a domínio e servidos como produto; (3) infraestrutura de dados de autoatendimento como uma plataforma para habilitar times autônomos de dados orientados a domínio; (4) governança federada para habilitar ecossistemas e interoperabilidade. Embora os princípios sejam intuitivos e tentem abordar muitos dos desafios conhecidos do gerenciamento centralizado de dados analíticos anterior, eles transcendem as tecnologias de dados analíticos disponíveis. Depois de construir a malha de dados para uma variedade de clientes em cima de ferramentas existentes, aprendemos duas coisas: (a) faltam ferramentas de código aberto ou comerciais para a aceleração da implementação da malha de dados (por exemplo, uma ferramenta para implementação de um modelo de acesso universal para dados poliglotas baseados em tempo, o que atualmente criamos de forma personalizada para clientes) e (b) apesar da indisponibilidade de ferramentas, é possível usar tecnologias existentes como blocos de construção básicos.

Naturalmente, a adaptação da tecnologia é um componente importante da implementação de uma estratégia de dados com base na malha de dados em sua organização. O sucesso, no entanto, exige uma reestruturação organizacional para separar o time de plataforma de dados, a criação da função de product owner de dados para cada domínio e a introdução das estruturas de incentivo necessárias para que os domínios tenham propriedade e compartilhem seus dados analíticos como produtos.

May 2020
Avalie?

A malha de dados é um paradigma arquitetural e organizacional que desafia a antiga suposição de que devemos centralizar grandes volumes de dados analíticos para usá-los, manter todos os dados em um só lugar ou gerenciá-los por meio de um time de dados centralizado para entregar valor. A noção de malha de dados afirma que, para que o big data incentive a inovação, sua propriedade deve ser compartilhada entre as partes proprietárias dos dados do domínio responsáveis pelo fornecimento de dados como produtos (com o suporte de uma plataforma de dados de autoatendimento para abstrair a complexidade técnica envolvida no fornecimento de produtos de dados). Também deve-se adotar uma nova forma de governança compartilhada por meio da automação, para permitir a interoperabilidade de produtos de dados orientados ao domínio. A descentralização, juntamente com a interoperabilidade e o foco na experiência de quem consome os dados, são essenciais para a democratização da inovação no uso de dados.

Nov 2019
Avalie?

A malha de dados é um paradigma arquitetônico que destrava dados analíticos em escala, rapidamente desbloqueando o acesso a um número cada vez maior de conjuntos de dados de domínio distribuído, para uma proliferação de cenários de uso, tais como aprendizado de máquina, analytics ou aplicações com uso intensivo de dados em toda a organização. A malha de dados aborda os modos que comumente falham no tradicional e centralizado lago de dados ou na arquitetura de plataforma de dados, com uma mudança do paradigma centralizado de um lago ou seu predecessor, o armazém de dados. A malha de dados muda para um paradigma baseado na arquitetura moderna distribuída: considerar domínios como a principal preocupação, usando mentalidade de plataformas para criar uma infraestrutura de dados de autosserviço, tratando dados como um produto e implementando a padronização padrão para permitir um ecossistema de produtos de dados distribuídos interoperáveis.