Menú

Entrevista: Ken Collier, pioneiro do Agile Analytics


Com respostas rápidas para empresas inteligentes, o Agile Analytics mudou a forma de fazer projetos de software


Oferecer soluções cada vez mais inteligentes – e adaptáveis – em um contexto no qual Big Data tem se tornado onipresente. Nessa missão complexa, que exige destreza para interpretar grandes volumes de dados e responder a eles de forma eficiente, Ken Collier passou a se dedicar a uma abordagem baseada na metodologia ágil, que é uma maneira de deixar para trás o tempo em que projetos levavam anos até ver a luz do dia e, com frequência, chegavam defasados às pessoas usuárias finais. Hoje as necessidades emergem com rapidez e precisam ser resolvidas no mesmo ritmo.

 

Com mais de 25 anos de experiência no mercado, Ken Collier é doutor em Engenharia e Ciência da Computação pela Arizona State University, onde trabalhou com Engenharia de Software, Teoria de Bases de Dados e Inteligência Artificial. Hoje, atuando como diretor de Data Science & Engineering da ThoughtWorks, reuniu as suas ideias no livro Agile Analytics: A Value-driven Approach to Business Intelligence and Data Warehousing, e é considerado um pioneiro em combinar métodos ágeis com armazenamento, ciência e engenharia de dados.

 

Segundo Ken, é fundamental entender que a base do chamado Agile Analytics é a capacidade de superar os antigos moldes de desenvolvimento de projetos que consumiam enormes recursos – sem, no entanto, entregar um resultado concreto para clientes até que anos de trabalho tivessem se passado. Os métodos ágeis possibilitam a construção gradual dos projetos, com entregas parciais menores e mais frequentes, o que permite adaptações e aperfeiçoamentos constantes do plano incial.

 

“Cada cliente pode então ver se aquilo é o que precisa ou não. Se vale a pena adotar e incorporar aquilo ou concluir que não é o lado para onde gostaria de ir”, argumenta Ken. “Isso vale tanto para software quanto para análises. O Agile Analytics me dá uma maneira de medir o valor real que está sendo obtido com o projeto. E, se não vale a pena, podemos redirecionar o investimento para o caminho certo, em vez de esperar anos para chegar a essa conclusão. O Agile Analytics é uma resposta a todo o dinheiro que vinha sendo desperdiçado no passado”, reitera.

 

Isso não significa que se trate de um projeto sem horizonte: o objetivo final existe e permanece, mas melhorias podem aparecer ao longo do caminho. É como musicistas que começam uma banda e já sabem o que pretendem tocar, mas ainda não consolidaram seu estilo ou escreveram o hit que dominará as paradas. “Pouco a pouco, o repertório cresce de uma canção para um número mais completo de músicas, talvez um álbum ou vários álbuns. Assim, as próprias músicas, e a forma de fazê-las, amadurecem: a banda se torna capaz de fazer mais e melhor em cada vez menos tempo, de forma cada vez mais eficiente”, compara Ken. “Eu penso no Agile Analytics como sendo o fluxo e o estilo de trabalho que permite a uma equipe interdisciplinar construir os produtos certos para as pessoas usuárias finais. É uma questão de como organizar suas equipes e como essas equipes executam o projeto de forma interativa e incremental”, afirma.

 

Ken lembra de um projeto em que esteve envolvido, alguns anos atrás, no qual precisava desenvolver um software para uma empresa de logística norte-americana. Uma equipe de quatro pessoas foi montada para, ao longo de três meses, apresentar resultados. Tratava-se, no entanto, de uma área nova para a maioria das pessoas envolvidas. Para compreender melhor as demandas da cliente, foram agendadas reuniões periódicas de alinhamento e discussão das necessidades mais presentes na indústria – como, por exemplo, maneiras de reduzir os gastos com combustível consumido pela frota de veículos. A abordagem foi um sucesso. No curto período originalmente disponibilizados pela cliente, os resultados foram tão impressionantes que o projeto ganhou luz verde para ser prorrogado em busca de novas soluções criativas.

 

“A cliente nos deu mais três meses e entregamos cada vez mais resultados. No fim, o que começou com prazo de três meses virou uma missão de quatro anos”, recorda Ken. “Nós fizemos várias entregas ao longo da produção, mas o que acabamos desenvolvendo no fim foi algo que nenhuma das pessoas envolvidas poderia ter imaginado no início. Não havia orçamento para manter uma equipe de oito pessoas por quatro anos. Mas, conforme fomos entregando, esse orçamento foi sendo criado para que pudéssemos ir cada vez mais longe”, descreve.

 

Para Ken, ele próprio músico nas horas vagas, experiências como essa têm tudo a ver com a agilidade dos grandes nomes do jazz, que constroem sua música a partir do que o ambiente vai ditando ao longo de um show. “Quando musicistas começam a tocar em conjunto, concordam com algumas notas, talvez determinadas sétimas ali no meio, e conversam sobre algumas nuances nos acordes”, resume. “Mas, na improvisação do jazz, é preciso sempre escutar o que outras pessoas estão tocando. É preciso capacidade de escutar e responder de forma adequada. Para isso, é necessária uma tremenda disciplina”, diz.

 

O diretor de Data Science & Engineering da ThoughtWorks enfatiza a importância, tanto no jazz quanto no desenvolvimento de projetos, dessa atenção constante ao som ao redor. “Se você conversar com pessoas que tocam jazz, elas vão falar sobre a importância da disciplina mesmo quando estão improvisando: o que elas tocam no show de hoje à noite pode ser diferente do que vão tocar amanhã, mas elas têm uma disciplina e um entendimento mútuo sobre para onde a música vai”, detalha. 


Da mesma forma, não se pode confundir uma flexibilidade positiva e construtiva com um projeto desenvolvido na base da sorte e da improvisação. “Já vi muitos projetos caóticos porque não tinham essa disciplina: você não pode simplesmente tocar qualquer nota que queira. 

É preciso tocar as notas que se encaixam naquele contexto”, define Ken.

 

Ken Collier define: glossário em um tweet

 

Data lake: o “lago de dados” é um local onde dados são armazenados em sua totalidade – sem uma análise prévia mais aprofundada – para uso posterior, quando for conveniente.

 

Data warehouse: é muitas vezes confundido com o data lake. O principal traço em comum é a função de administrar uma grande quantidade dados. Mas, no “armazém”, as informações armazenadas já passaram por uma filtragem e um processamento pensando em seu uso futuro.

 

Intelligent enterprise: pode-se pensar em três dimensões para medir a "inteligência" de uma empresa – (1) a habilidade da empresa em criar insights; (2) a habilidade de produzir esses insights para uso corporativo e (3) a capacidade de consumir essa inteligência e tomar as decisões corretas.


Ken Collier responde:

 

Como fazer um data lake?

Diferentemente do data warehouse, esse modelo prevê o armazenamento dos dados sem um processamento prévio, para uso futuro e muitas vezes indefinido. Essa proposta menos estruturada é importante porque, atualmente, nem sempre se sabe quais dados serão úteis no início de um projeto. Mas, como não há um filtro prévio, é importante mapear e ter na manga especialistas que saibam lidar com o volume de informações contidas no “lago”: “não comece a migrar todos os seus dados para um data lake sem um entendimento claro do que isso implica”, diz Ken.

 

Quando contratar uma pessoa cientista de dados e quando contratar uma pessoa engenheira de dados?

“Os dois têm ‘dados’ no título do cargo, mas suas habilidades são completamente diferentes”, alerta Ken. As pessoas que trabalham com engenharia de dados têm como foco principal o desenvolvimento de uma infraestrutura para a informação. “Mas você ainda precisa se relacionar com clientes, ainda precisa do marketing”, explica. É aí que entram cientistas de dados: seu foco é analisar e interpretar a informação antes de ela chegar às pessoas usuárias finais.



Conecte-se

Inscreva-se para receber a Perspectives, nossa publicação bimestral de tecnologia e negócios para líderes digitais.