O trabalho diário de aprendizado de máquina geralmente se resume a uma série de experimentos na seleção de uma abordagem de modelagem e topologia de rede, treinamento de dados e otimização ou aprimoramento do modelo. Cientistas de dados devem usar a experiência e a intuição para criar hipóteses de mudanças e depois medir o impacto dessas mudanças no desempenho geral do modelo. À medida que essa prática amadureceu, nossos times descobriram uma demanda crescente de ferramentas de rastreamento de experimentos para aprendizado de máquina. Essas ferramentas ajudam as pessoas investigadoras a acompanhar os experimentos e trabalhar com eles de forma metódica. Embora nenhuma vencedora incontestável tenha surgido, ferramentas como MLflow e plataformas como Comet ou Neptune introduziram rigor e repetibilidade em todo o fluxo de trabalho de aprendizado de máquina.
O trabalho diário em aprendizado de máquina frequentemente inclui uma série de experimentos na seleção de uma abordagem de modelagem, topologia de rede, treinamento de dados e várias otimizações ou ajustes no modelo. Pelo fato de muitos desses modelos serem ainda difíceis de interpretar ou explicar, cientistas de dados devem usar sua experiência e intuição para criar hipóteses de mudanças e então medir o impacto que essas mudanças têm no desempenho global do modelo. Conforme esses modelos se tornam cada vez mais comuns nos sistemas de negócios, várias ferramentas de rastreamento experimentais para aprendizado de máquina surgiram para ajudar investigadores a monitorar esses experimentos e trabalhar neles metodicamente. Embora não tenha surgido uma vencedora, ferramentas como MLflow ou Weights & Biases e plataformas como Comet ou Neptune introduziram rigor e repetibilidade em todo o fluxo de trabalho do aprendizado de máquina. Elas também facilitam a colaboração e ajudam a ciência de dados a se transformar de uma empreitada solitária em um esporte coletivo.
