Menu
NOT ON THE CURRENT EDITION
This blip is not on the current edition of the radar. If it was on one of the last few editions it is likely that it is still relevant. If the blip is older it might no longer be relevant and our assessment might be different today. Unfortunately, we simply don't have the bandwidth to continuously review blips from previous editions of the radarUnderstand more
Published: May 19, 2020
May 2020
Avalie?

Na edição anterior do Radar, incluímos o BERT — que é um marco importante no cenário de PLN. No ano passado, a Baidu lançou o ERNIE 2.0 (representação aprimorada pela integração do conhecimento, ou Enhanced Representation through kNowledge IntEgration), que superou o BERT em sete tarefas GLUE de compreensão de linguagem e em todas as nove tarefas de PLN chinesas. O ERNIE, assim como o BERT, fornece modelos de linguagem pré-treinados não-supervisionados, que podem ser ajustados com a adição de camadas de saída para criar modelos de ponta para uma variedade de tarefas de PLN. O ERNIE difere dos métodos tradicionais de pré-treinamento, pois é uma estrutura de pré-treinamento contínuo. Em vez de treinar com um pequeno número de objetivos de pré-treinamento, ele pode introduzir constantemente uma grande variedade de tarefas de pré-treinamento para ajudar o modelo a aprender com eficiência as representações da linguagem. Estamos muito otimistas com os avanços em PLN e esperamos experimentar o ERNIE em nossos projetos.