Metaflow é uma biblioteca Python fácil de usar e um serviço de back-end que ajuda pessoas engenheiras e cientistas de dados a criar e gerenciar processamento de dados pronto para produção, treinamento de ML e fluxos de trabalho de inferência. O Metaflow fornece APIs Python que estruturam o código como um grafo direcionado de etapas. Cada etapa pode ser decorada com configurações flexíveis, como os recursos de computação e armazenamento necessários. Os artefatos de código e dados para a execução de cada etapa são armazenados e podem ser recuperados para execuções futuras ou para as próximas etapas do fluxo, permitindo que você recupere erros, repita execuções e rastreie versões de modelos e suas dependências em várias execuções.
A proposta de valor do Metaflow é a simplicidade de sua biblioteca Python idiomática: integra-se totalmente à infraestrutura de compilação e tempo de execução para permitir a execução de tarefas de engenharia e ciência de dados em ambientes de produção locais e em escala. Neste momento, o Metaflow está fortemente integrado aos serviços da AWS, como o S3, para seu serviço de armazenamento de dados e funções de etapas para orquestração. Metaflow suporta R, além de Python. Seus principais recursos são de código aberto.
Se você estiver criando e implantando pipelines de processamento de dados e ML em produção na AWS, Metaflow é uma alternativa de framework leve e completo para plataformas mais complexas, como MLflow.
