正文内容 评论(0

夸克App探索预训练技术新应用 让搜索结果更准、更快
2021-10-21 17:40:24  作者:cookiequ 编辑:cookiequ     评论(0)点击可以复制本篇文章的标题和链接

10月21日,在2021云栖大会“预训练与对话前沿论坛”上,夸克App资深算法专家王筱钊发表演讲,分享了预训练技术在搜索引擎中的最新应用进展,通过持续升级夸克语义模型,为用户提供更精准、更高效的搜索体验。

夸克App探索预训练技术新应用 让搜索结果更准、更快

(图:夸克App资深算法专家、夸克通用搜索技术团队负责人 王筱钊)

作为阿里智能信息事业群旗下一款智能搜索App,夸克主打轻、简、快捷的产品体验,内置了AI相机、网盘等丰富的智能工具,聚合了海量内容,受到了年轻用户的青睐。阿里智能信息事业群总裁吴嘉曾表示,技术是业务的翅膀,产品因技术而不同,要通过技术创新给用户提供最佳体验。

据介绍,搜索引擎中,语义匹配具体应用在用户查询词和文章标题的匹配,是保证用户搜索结果精准、高效的核心技术能力。传统的语义匹配实现方式是通过设定规则来区分,如果面对表达多样化的冷门查询词,则很难设计统一的规则。

随着技术解决方案的升级,语义匹配经历了从规则到大规模深度语义模型的变革。其中,预训练语义模型的优势,首先是基于大规模非监督数据预训练,其次是模型结构复杂,学习能力很强,能够学习到一些很难的语义表示。

王筱钊介绍,夸克选择的技术实现方式是在一个标准预训练语言模型之上,基于搜索领域文本的特征,设计了二次预训练,然后用少量的人工标注样本做微调。考虑到性能,夸克会基于teacher模型对大量自动样本进行“知识蒸馏”。

创新预训练在搜索引擎中的应用,夸克有三方面的技术亮点:一是把通用语言模型升级为领域语言模型,大大提升了语义匹配的效果。二是通过微调处理复杂匹配,得到teacher模型结合知识蒸馏技术,同时解决了具体场景下提升模型效果和落地性能两个难点。第三是针对整个搜索链路的不同场景,设计了差异化的蒸馏技术方案。

展望预训练技术的应用远景,王筱钊认为,在新的变革技术到来之前,预训练技术仍将是语义匹配的关键技术,更大参数、更多数据的预训练技术将保持主航道,多模技术快速发展和新硬件出现值得期待。

“未来,夸克将展开新硬件与软件性能优化,上线更大规模模型;融合向量召回与关键词召回技术,实现更高效的召回等技术探索,落地更多预训练在搜索引擎中的创新应用。”王筱钊表示。

【本文结束】如需转载请务必注明出处:快科技

责任编辑:cookiequ

文章内容举报

  • 支持打赏
  • 支持0

  • 反对

  • 打赏

文章价值打分

当前文章打分0 分,共有0人打分
  • 分享好友:
  • |
本文收录在
#夸克

  • 热门文章
  • 换一波

  • 好物推荐
  • 换一波

  • 关注我们

  • 微博

    微博:快科技官方

    快科技官方微博
  • 今日头条

    今日头条:快科技

    带来硬件软件、手机数码最快资讯!
  • 抖音

    抖音:kkjcn

    科技快讯、手机开箱、产品体验、应用推荐...