Fairseq é um conjunto de ferramentas de modelagem Seq2Seq do time de Pesquisa de IA do Facebook, que permite que pesquisadores e desenvolvedores treinem modelos personalizados para tradução, sumarização, modelagem de linguagem e outras tarefas de NLP (processamento de linguagem natural). Para usuários de PyTorch, é uma boa escolha. Ele fornece implementações de referência de vários modelos Seq2Seq, suporta treinamento distribuído por múltiplos GPUs e máquinas, é bastante extensível e tem vários modelos pré-treinados, incluindo RoBERTa, que é uma otimização em cima do BERT.