No paradigma de IA centrada em dados, melhorar a qualidade do conjunto de dados muitas vezes proporciona maiores ganhos de performance do que fazer o ajuste (tuning) do próprio modelo. Cleanlab é uma biblioteca Python de código aberto projetada para lidar com esse desafio, identificando automaticamente problemas comuns de dados — como rotulagem incorreta, outliers e duplicatas — em conjuntos de dados de texto, imagem, tabulares e de áudio. Construída com base no princípio confident learning, o Cleanlab utiliza as probabilidades previstas pelo modelo para estimar o ruído nos rótulos e quantificar a qualidade dos dados. Essa abordagem independente de modelo permite que pessoas desenvolvedoras diagnostiquem e corrijam erros no conjunto de dados e, em seguida, treinem novamente os modelos para melhorar a robustez e a acurácia. Nossos times têm usado o Cleanlab com sucesso em produção, confirmando sua eficácia em cenários do mundo real. Nós o recomendamos como uma ferramenta valiosa para promover a padronização de dados e melhorar a qualidade de conjuntos de dados em projetos de engenharia de IA.
