Enable javascript in your browser for better experience. Need to know to enable it? Go here.
Atualizado em : Oct 27, 2021
Oct 2021
Experimente ? Vale a pena ir atrás. É importante entender como desenvolver essa capacidade. As empresas devem experimentar esta tecnologia em um projeto que possa lidar com o risco.

Cada vez mais, observamos uma incompatibilidade entre o que as organizações orientadas por dados desejam alcançar e o que as atuais arquiteturas de dados e estruturas organizacionais permitem. As organizações desejam incorporar tomada de decisão baseada em dados, aprendizado de máquina e análise de dados em muitos aspectos de seus produtos e serviços e operações internas, essencialmente, buscando aumentar cada aspecto de seu cenário operacional com inteligência orientada por dados. No entanto, ainda temos um longo caminho a percorrer antes de incorporar dados analíticos, incluindo definições de acesso e gerenciamento, nos domínios e operações de negócios. Hoje, todos os aspectos do gerenciamento de dados analíticos são mantidos fora dos domínios operacionais de negócio, com a equipe de dados e os monólitos de gerenciamento de dados: data lakes e data warehouses. Data mesh (ou malha de dados) é uma abordagem sociotécnica descentralizada para remover a dicotomia entre dados analíticos e operação de negócio. Seu objetivo é incorporar o compartilhamento e o uso de dados analíticos em cada domínio operacional do negócio e fechar a lacuna entre os planos operacional e analítico. É baseada em quatro princípios: propriedade de dados por domínio, dados como produto, plataforma de dados self-service e governança computacional federada.

Nossos times têm implementado a arquitetura de malha de dados, criando novas abstrações arquiteturais, como quantum de produto de dados para encapsular código, dados e política como uma unidade autônoma de compartilhamento de dados analíticos incorporado em domínios operacionais. Nossos times também vem criando recursos de plataforma de dados self-service para gerenciar o ciclo de vida dos quanta de produtos de dados de maneira declarativa, conforme descrito no livro Data Mesh. Apesar de nossos avanços técnicos, ainda estamos enfrentando atritos com o uso de tecnologias existentes em uma topologia de malha de dados, sem mencionar a resistência dos domínios de negócio em abraçar o compartilhamento e o uso de dados como uma responsabilidade de primeira classe em algumas organizações.

Oct 2020
Experimente ? Vale a pena ir atrás. É importante entender como desenvolver essa capacidade. As empresas devem experimentar esta tecnologia em um projeto que possa lidar com o risco.

A malha de dados marca uma mudança bem-vinda de paradigma arquitetural e organizacional na forma como gerenciamos grandes dados analíticos. O paradigma é baseado em quatro princípios: (1) descentralização orientada a domínio da propriedade e da arquitetura de dados; (2) dados orientados a domínio e servidos como produto; (3) infraestrutura de dados de autoatendimento como uma plataforma para habilitar times autônomos de dados orientados a domínio; (4) governança federada para habilitar ecossistemas e interoperabilidade. Embora os princípios sejam intuitivos e tentem abordar muitos dos desafios conhecidos do gerenciamento centralizado de dados analíticos anterior, eles transcendem as tecnologias de dados analíticos disponíveis. Depois de construir a malha de dados para uma variedade de clientes em cima de ferramentas existentes, aprendemos duas coisas: (a) faltam ferramentas de código aberto ou comerciais para a aceleração da implementação da malha de dados (por exemplo, uma ferramenta para implementação de um modelo de acesso universal para dados poliglotas baseados em tempo, o que atualmente criamos de forma personalizada para clientes) e (b) apesar da indisponibilidade de ferramentas, é possível usar tecnologias existentes como blocos de construção básicos.

Naturalmente, a adaptação da tecnologia é um componente importante da implementação de uma estratégia de dados com base na malha de dados em sua organização. O sucesso, no entanto, exige uma reestruturação organizacional para separar o time de plataforma de dados, a criação da função de product owner de dados para cada domínio e a introdução das estruturas de incentivo necessárias para que os domínios tenham propriedade e compartilhem seus dados analíticos como produtos.

May 2020
Avalie ? Vale a pena explorar com o objetivo de compreender como isso afetará sua empresa.

A malha de dados é um paradigma arquitetural e organizacional que desafia a antiga suposição de que devemos centralizar grandes volumes de dados analíticos para usá-los, manter todos os dados em um só lugar ou gerenciá-los por meio de um time de dados centralizado para entregar valor. A noção de malha de dados afirma que, para que o big data incentive a inovação, sua propriedade deve ser compartilhada entre as partes proprietárias dos dados do domínio responsáveis pelo fornecimento de dados como produtos (com o suporte de uma plataforma de dados de autoatendimento para abstrair a complexidade técnica envolvida no fornecimento de produtos de dados). Também deve-se adotar uma nova forma de governança compartilhada por meio da automação, para permitir a interoperabilidade de produtos de dados orientados ao domínio. A descentralização, juntamente com a interoperabilidade e o foco na experiência de quem consome os dados, são essenciais para a democratização da inovação no uso de dados.

Nov 2019
Avalie ? Vale a pena explorar com o objetivo de compreender como isso afetará sua empresa.

A malha de dados é um paradigma arquitetônico que destrava dados analíticos em escala, rapidamente desbloqueando o acesso a um número cada vez maior de conjuntos de dados de domínio distribuído, para uma proliferação de cenários de uso, tais como aprendizado de máquina, analytics ou aplicações com uso intensivo de dados em toda a organização. A malha de dados aborda os modos que comumente falham no tradicional e centralizado lago de dados ou na arquitetura de plataforma de dados, com uma mudança do paradigma centralizado de um lago ou seu predecessor, o armazém de dados. A malha de dados muda para um paradigma baseado na arquitetura moderna distribuída: considerar domínios como a principal preocupação, usando mentalidade de plataformas para criar uma infraestrutura de dados de autosserviço, tratando dados como um produto e implementando a padronização padrão para permitir um ecossistema de produtos de dados distribuídos interoperáveis.

publicado : Nov 20, 2019
Radar

Baixar o Technology Radar Volume 25

English | Español | Português | 中文

Radar

Mantenha-se por dentro das tendências de tecnologia

 

Seja assinante

Visite nosso arquivo para acessar os volumes anteriores