开源项目 NEZHA&TinyBERT模型

NEZHA&TinyBERT模型(发布于2019年12月3日)
地址:https://github.com/huawei-noah/Pretrained-Language-Model
    华为诺亚方舟实验室NLP团队开源的两个重要预训练语言模型——哪吒和TinyBERT,性能更好、使用更方便。
    NEZHA(NEural contextualiZed representation for Chinese|Anguage understanding),是华为诺亚方舟实验室紫艳德预训练语言模型,在一些NLP任务上取得了SOTA的表现。这一模型基于BERT,可以在普通GPU集群上进行训练,同时融合了英伟达和谷歌代码的早期版本。NEZHA中文语料库除了谷歌BERT使用的Wikipedia还包括Baike和News,英文采用的与BERT一样是Wikipedia和BookCorpus。NEHZA还采用了英伟达的混合精度训练方法。
    TinyBERT的使用方法和哪吒项目有所不同,它分为三个步骤:蒸馏、数据增强以及特定任务蒸馏。第一阶段的蒸馏,使用原版的BERT-base作为教师模型,通过Transformer蒸馏方法,获得一个泛化的TinyBERT模型;数据增强阶段结合BERT和Glove的方法进行词级别的替换,以此增强数据,通过学习更多任务相关的样本,提升学习模型的泛化能力;特定任务的蒸馏主要对Transformer先进行中间层蒸馏再进行预测层蒸馏,以提升在特定任务上的性能。

参与评论

热门资讯