Na edição anterior do Radar, incluímos o BERT — que é um marco importante no cenário de PLN. No ano passado, a Baidu lançou o ERNIE 2.0 (representação aprimorada pela integração do conhecimento, ou Enhanced Representation through kNowledge IntEgration), que superou o BERT em sete tarefas GLUE de compreensão de linguagem e em todas as nove tarefas de PLN chinesas. O ERNIE, assim como o BERT, fornece modelos de linguagem pré-treinados não-supervisionados, que podem ser ajustados com a adição de camadas de saída para criar modelos de ponta para uma variedade de tarefas de PLN. O ERNIE difere dos métodos tradicionais de pré-treinamento, pois é uma estrutura de pré-treinamento contínuo. Em vez de treinar com um pequeno número de objetivos de pré-treinamento, ele pode introduzir constantemente uma grande variedade de tarefas de pré-treinamento para ajudar o modelo a aprender com eficiência as representações da linguagem. Estamos muito otimistas com os avanços em PLN e esperamos experimentar o ERNIE em nossos projetos.
