BERT

自我们上次在技术雷达中谈到 BERT （来自变换器的双向编码器表征量）之后, 我们团队已经成功地在一些自然语言处理 (NLP) 项目中使用了它。在其中一个项目里，当我们把默认的 BERT 分词器换成一个经过领域训练的词块 (word-piece) 分词器，再去处理那些含有品牌名称或者维度之类名词的查询任务时，我们看到了显著的改进。虽然 NLP 有一些新的转换模型，但 BERT 凭借优秀的文档以及活跃的社区支持，更加通俗易懂，而且我们也一直发现它在企业级 NLP 背景下非常有效。

BERT代表来自变换器的双向编码器表征量。它是Google在2018年十月份提出的一种新的预训练表示方法。BERT通过获得各种自然语言处理（NLP）任务的最高水平结果，极大地改变了自然语言处理（NLP）的格局。基于转换器架构，它在训练期间从令牌的左右预警中学习。Google还发布了经过预训练的通用BERT模型，该模型已针对包括Wikipedia在内的大量未标记文本进行了训练。开发人员可以在其特定于任务的数据上，使用和微调这些经过预训练的模型，并获得出色的结果。我们已经在2019年四月份的技术雷达上讨论过NLP的迁移学习；BERT以及它的后继者会继续使NLP的迁移学习成为一个令人兴奋的领域，NLP的迁移学习可以大大减少处理文本分类的用户工作量。