近来, 腾讯云AI与腾讯优图实验室的加快团队在CLUE言语分类使命上进行实验, 一举在CLUE分类使命1.0和1.1中拿下业界榜首的好作用。（HUMAN为人类标示作用, 非模型作用, 不参加排名。）怎么与AI进行无障碍的对话？近年来跟着人工智能的开展, NLP（自然言语处理）一直是业界外重视的焦点, 其间预练习模型(Pre-TrainedModel, PTM)络绎不绝作为当下最具有革命性的立异作用, 正成为国内外互联网企业探究的要点,

构建以中文为中心的超大规模预练习模型及生态势在必行, 各大公司在反哺本身事务的一起纷繁向CLUE榜单建议“冲击”。
       CLUE是中文言语了解范畴最具权威性的测评基准之一, 涵盖了文本类似度、分类、阅览了解等很多语义剖析和了解类子使命。作为“刷榜利器”的预练习模型便是经过在大规模文本上会聚很多算力, 不断集约化地练习大模型, 预练习出通用的言语特征, 就可以供给给很多企业运用, 大大降低了自然言语处理研讨和使用的门槛。
       “工欲善其事, 必先利其器”腾讯云TI渠道是根据腾讯云强壮核算才能的一站式机器学习生态服务渠道。它可以对各种数据源、组件、算法、模型和评价模块进行组合, 使得算法工程师和数据科学家在其之上可以方便地进行模型练习、评价和猜测。TI系列产品支撑公有云拜访、私有化布置以及专属云布置。TI-ACC是腾讯云AI和优图实验室最新发布的一款AI加快组件产品, 是根据优图实验室开源的跨渠道高功能推理结构TNN和练习结构(TI系列)基础上的一次全新晋级, 能一起为企业供给 AI 模型练习和推理加快服务, 支撑多种结构和场景, 可以明显进步模型练习推理注视、降低成本。本次大模型的预练习彻底依托于腾讯云TI渠道, 并斑驳陆离TI-ACC进行练习加快。全体的练习计划如下：首要, 模型的超卓作用离不开背面海量优质中文预练习语料的支撑。腾讯云团队在TI渠道上构建了海量语料的预处理、清洗和评价使命, 汇集了小说、新闻、社区谈论等的不同范畴的优质内容, 以及各学科论文、使用描绘等专业性较强的特定内容, 筛选出数百GB高质量中文语料, 保证数据“来历广”且“质量精”。在此基础上, 针对NLP超大模型的特色和存在的问题, 腾讯云团队结合底层基础设施在单机核算功能和多机扩展两方面进行了深度优化。
       在核算功能优化方面, TI-ACC对Transformer结构模型进行了稀少化核算、算子交融、动态文本长度输入等优化。在多机扩展上, 斑驳陆离了Zero-DP络绎不绝结合反向图显存节约、大模型参数多轮通讯、使用层NCCL通讯优化和参数主动调优等优化手法。终究, TI-ACC可以高效练习千亿级参数的NLP大模型, 极大的提升了模型预练习注视。此外, 咱们在模型上对Transformer结构做了微调, 再加上渐进式的课程学习练习计划,

使得大模型可以更快学会更多的常识。此次登顶CLUE榜单, 一方面代表了腾讯云在NLP生态范畴达到了业界领先水平, 另一方面预示着TI-ACC助力中文预练习模型在高效练习和推理方面迈上新台阶。