El trabajo diario del aprendizaje automático a menudo se reduce a una serie de experimentos para seleccionar un enfoque de modelamiento y de la topología de la red, datos para el entrenamiento y la optimización o ajuste de dicho modelo. Los científicos de datos deben usar la experiencia y la intuición para hipotetizar cambios, y luego medir el impacto de los mismos en el rendimiento general del modelo. A medida que esta práctica ha madurado, nuestros equipos han visto la creciente necesidad de adoptar herramientas para el seguimiento de experimentos de aprendizaje automático. Estas herramientas ayudan a los investigadores a mantener una continuidad de los experimentos y trabajarlos metódicamente. A pesar de que no ha surgido una clara herramienta ganadora, existen alternativas como MLflow y plataformas como Comet o Neptune que han introducido rigor y repetibilidad en todo el flujo de trabajo de aprendizaje automático.
El trabajo cotidiano de machine learning implica una serie de experimentos al seleccionar el enfoque del modelado, la topología de red, datos de entrenamiento y varias optimizaciones y ajustes al modelo. Ya que varios de estos modelos aún son difíciles de interpretar o explicar, los científicos de datos deben usar su experiencia e intuición para hipotetizar cambios y medir el impacto de los mismos en el rendimiento general del modelo. Dado que estos modelos se han vuelto cada vez más comunes en sistemas de negocio, varias herramientas de seguimiento para experimentación con machine learning han surgido para ayudar a los investigadores a llevar registro de estos experimentos y su trabajo metódicamente. Aunque no hay una ganadora, herramientas como MLflow o Weights & Biases y plataformas como Comet o Neptune han introducido rigor y reproductibilidad en todo el flujo de trabajo de machine learning. También facilitan la colaboración y ayudan a convertir la ciencia de datos de un esfuerzo solitario a un esfuerzo de equipo.
