Enable javascript in your browser for better experience. Need to know to enable it? Go here.

Refletindo sobre o valor das plataformas de dados e IA

 

Infraestrutura para crescimento e inovação

 

O acesso confiável a dados fundamentais e atualizados tornou-se crítico para praticamente tudo o que as empresas precisam fazer, impulsionado pelo rápido crescimento da inteligência artificial (IA) – incluindo a IA generativa (GenAI) – nas operações e na tomada de decisões empresariais. Mesmo que a construção de aplicações com IA generativa não esteja no planejamento de curto prazo das organizações, a disponibilidade de dados de alta qualidade é um pré-requisito para o sucesso de outras iniciativas e serviços digitais.  

 

Entretanto, apesar das oportunidades inéditas que os dados proporcionam, os desafios que os acompanham costumam ser grandes demais para serem ignorados. Muitas empresas permanecem presas a silos internos e plataformas de dados isoladas, deixando informações valiosas trancadas e difíceis de utilizar.

 

Transformar dados em ativos estratégicos exige foco para torná-los localizáveis, acessíveis, confiáveis, interoperáveis e reutilizáveis, tudo isso de forma segura e preservando a privacidade. As plataformas de dados são a única estrutura viável para essa abordagem.

 

O termo "plataforma" tem diversos significados, mas para todos os casos recomendamos uma mentalidade de produto. Ao integrar vários recursos de dados e garantir que sejam acessados e aplicados de forma integrada, elas fornecem os diferentes blocos de construção, agora necessários para formar uma estratégia digital abrangente.

 

Com a plataforma de dados implementada, você poderá extrair insights valiosos, criar sistemas de IA confiáveis, controlar riscos e muito mais. Além disso, sua plataforma de dados pode ser uma peça fundamental na criação, gerenciamento e aplicação da governança de dados, um dos maiores desafios enfrentados por muitas organizações.

 

Possuir uma plataforma de dados robusta, que facilita o compartilhamento aberto, preservando a privacidade, permite que as empresas participem com outras organizações de ecossistemas de dados avançados para gerar grandes impactos na indústria e até mesmo na sociedade. Essa é uma tendência chave que irá se expandir nos próximos anos, com potencial para impulsionar a inovação digital e criar uma mudança radical na forma como os dados são armazenados e trocados – mas apenas se houver uma mudança em direção à padronização e as empresas aprenderem a proteger seus ativos de dados com menos reserva.

Emily Gorcenski, Thoughtworks
Dados, por si só, não têm valor intrínseco. Seu valor depende de você ter um propósito - e um processo - para eles.
Emily Gorcenski
Diretora de Dados & IA, Thoughtworks Europa
Dados, por si só, não têm valor intrínseco. Seu valor depende de você ter um propósito - e um processo - para eles.
Emily Gorcenski
Diretora de Dados & IA, Thoughtworks Europa

Sinais

 

  • Ascensão de plataformas integradas de dados e IA: Esses sistemas priorizam a análise, com os dados aparecendo como recurso secundário para atingir esse objetivo. Isso representa uma mudança fundamental na mentalidade em relação a essas soluções.

     

  • Ecossistemas de dados superando o entusiasmo inicial e gerando resultados tangíveis. A consultoria Gartner prevê que os ecossistemas de dados ultrapassarão o pico do "entusiasmo" e se tornarão padrões na próxima década. Nossa experiência confirma essa tendência, com uma crescente demanda por compartilhamento e agrupamento de recursos de dados – as empresas, hoje, estão mais abertas a esse tipo de iniciativa.

     

  • Data ‘clean rooms’ estão se tornando cada vez mais populares. Empresas como Infosum, AWS, Google e Snowflake estão criando soluções para compartilhar dados confidenciais e protegidos, dentro e fora das organizações.

     

  • A criação de padrões e infraestrutura para o compartilhamento aberto de dados está ganhando força. Iniciativas como o "Open Data Standard for the Apparel Sector" (Padronização de Dados Abertos para a Indústria Têxtil, em Português) e o "OSDU™ Forum" demonstram que algumas organizações estão lutando contra os desafios de interoperabilidade perpetuados por fornecedores tradicionais. Elas defendem protocolos abertos para a troca segura de dados valiosos em cadeias de suprimentos e outras funções críticas do setor.

     

  • Mecanismos para compartilhamento responsável de dados das pessoas usuárias. A preocupação com a privacidade de dados está crescendo entre as usuárias. É por isso que desenvolvemos o Anonymesh, uma solução para ajudar a enfrentar esse desafio. Organizações também estão construindo lojas de dados pessoais, como os Solid Pods, que centralizam o armazenamento de dados em torno das clientes, e não mais nas empresas que os coletam.

     

  • Governos ao redor do mundo estão abraçando a onda dos dados abertos, promovendo o acesso gratuito e o uso de informações coletadas para aprimorar serviços públicos e gerar oportunidades econômicas. O governo do Reino Unido, por exemplo, está construindo o "Integrated Data Service" (Serviço de dados integrados, em Português - IDS) para facilitar a troca de dados entre departamentos. Já Singapura permite que as pessoas desenvolvedoras utilizem conjuntos de dados em tempo real de agências governamentais para a criação de aplicativos.

Oportunidades

 

Ao antecipar essas tendências, as organizações podem

 

  • Impulsionar iniciativas de IA e GenAI. Dados de alta qualidade são o combustível para qualquer iniciativa de inteligência artificial. A Forbes chamou a qualidade dos dados de "o verdadeiro gargalo para a adoção de IA".

     

  • Aprimorar a conformidade e reduzir riscos. Com políticas de governança incorporadas e automatizadas pela plataforma de dados, você preenche a lacuna entre o que é escrito e o que realmente acontece na prática.

     

  • Reduzir custos ao eliminar a redundância. Melhorar o compartilhamento de dados e criar uma plataforma centralizada de acesso permite desativar infraestrutura tecnológica duplicada em diferentes áreas da empresa, reduzindo significativamente os custos de manutenção e aquisição.

     

  • Alcançar vantagem competitiva por meio de informações avançadas. Integrar dados de qualidade em toda a empresa pode revelar ineficiências e atritos antes ocultos, além de fornecer uma visão holística de processos complexos, como a cadeia de suprimentos ou a jornada do cliente. Contexto e descobertas resultantes podem ajudar a entender melhor o funcionamento interno e a base de clientes, dando à organização uma vantagem sobre concorrentes com dados fragmentados e isolados.

     

  • Desenvolver novas fontes de valor. Conforme as capacidades para interoperabilidade amadurecem e os padrões abertos ganham espaço, novas oportunidades surgirão para capitalizar ativos de dados na forma de marketplaces e redes de dados. Enquanto grandes empresas e setores já criaram seus próprios ecossistemas de dados – como os do Open Banking e compartilhamento de dados em seguros –, ainda há espaço para expansão em outros setores e à comunidade em geral.

     

  • Reduzir o tempo de introdução ao mercado. A disponibilidade de dados de alta qualidade, especialmente como base para a IA generativa, promete acelerar e aprimorar vários aspectos complexos do processo de desenvolvimento de produtos. Um exemplo é como a capacidade de filtrar e resumir grandes volumes de informações e criar dados sintéticos de clientes ajuda a reduzir substancialmente o tempo necessário para pesquisas de mercado. Acreditamos que grandes empresas terão vantagem sobre as startups na conquista dessas oportunidades se utilizarem seus extensos reservatórios de dados de forma efetiva.

O que fizemos

Como ajudamos a ITV a impulsionar os dados com uma plataforma de data mesh

 

Em resposta à mudança de paradigma provocada pelo streaming digital, a ITV estabeleceu uma nova visão: se tornar uma empresa líder em mídia e entretenimento digital, que cria e entrega conteúdos excepcionais a sua audiência, onde, quando e como quiser. Uma equipe especializada da Thoughtworks começou a co-desenvolver uma plataforma de data mesh em nuvem baseada em AWS e Databricks. Esse processo permitiria à ITV dar vida à sua nova estratégia de dados e incorporar formas ágeis de trabalho em suas diversas unidades de negócios.



A plataforma de data mesh da ITV permite que as equipes integrem seus dados rapidamente e os tornem acessíveis e facilmente descobríveis em toda a empresa. O tempo necessário para abastecer produtos de dados usando a plataforma passou de três semanas para apenas algumas horas, impulsionando a adoção e expansão da mesh nas operações da ITV.

 

Recomendações práticas

 

O que fazer (Adote)

 

  • Implemente tecnologias para o aprimoramento de privacidade (privacy-enhancing technologies - PET, em inglês). Essas tecnologias aumentam a privacidade e sigilo de pessoas cujos dados são processados, armazenados e/ou coletados por softwares e sistemas. Muitas vezes usadas durante o processamento, elas modificam como normalmente lidamos (e frequentemente acumulamos) dados brutos ou em texto simples, diretamente de pessoas usuárias e participantes internas, como funcionárias. Ao aumentar a privacidade, você reduz riscos internos e oferece as pessoas usuárias mais controle sobre como seus dados são tratados.

 

  • Intensifique a governança de dados e políticas de privacidade. Se os dados não estiverem suficientemente protegidos e governados internamente, com princípios claros sobre privacidade e consentimento, será muito arriscado expor quaisquer informações externamente. Antes de considerar um compartilhamento e colaboração mais amplos, as empresas precisam definir claramente o escopo de acesso e influência sobre os dados que vários cargos possuem, além de incorporar a conformidade com políticas por código em suas plataformas de dados.

 

  • Agilize os processos de dados e o caminho para produção. Práticas como DataOps e MLOps oferecem técnicas para acelerar aspectos-chave do ciclo de produção e melhorar a experiência da pessoa desenvolvedora, com loops de feedback menores e limites que garantem a mitigação de riscos.

 

 

  • Adote a Data Mesh para entregar insights em escala. Experimentar com a arquitetura de data mesh pode fornecer a integração e acessibilidade necessárias para que várias equipes aproveitem ao máximo os dados em seus domínios. Isso irá permitir melhorias na visibilidade dos processos e dará às equipes a capacidade de direcionar rapidamente o desenvolvimento para atender às necessidades de negócios, ajudando a preparar a empresa para o futuro.
 
 
 

O que considerar (Analise)

 

  • Alternativas para o armazenamento de dados. Tendências emergentes como data clean rooms e privacidade diferencial, que protegem a anonimidade de elementos individuais em conjuntos de dados adicionando "ruído" controlado, permitem que as empresas armazenem dados com confiança e em conformidade, extraindo insights valiosos sem comprometer a privacidade.

 

  • Participação em marketplaces de dados. A medida que mercados abertos de dados compartilhados surgem, como o proposto pelo governo do Reino Unido, as organizações devem avaliar a necessidade de participação e qual é expectativa ao envolver-se nessas iniciativas. É importante questionar: onde esses ecossistemas permitiriam à sua empresa criar mais valor? Qual é, e se existe, capacidade para monetizar dados sem sacrificar segurança e privacidade do cliente?

     

  • Utilizando especificações para produtos de dados e contratos de dados.  Especificações abertas que regulamentam e padronizam como os dados são compartilhados e consumidos por diferentes partes estão ganhando força, e por isso, é pode ser necessário integrá-las a plataforma de dados e estratégia geral da organização.

 

 

O que observar (Antecipe)

 

Leia o Looking Glass 2024 completo