人脸作为最重要的生物特征，蕴含了大量的属性信息，如性别、种族、年龄、表情、颜值等，而如何对这些属性信息进行预测，则是人脸分析领域的研究热点之一。

近两年，随着人脸识别技术的快速发展，“刷脸”逐渐成为新时期生物识别技术应用的主要领域。甚至有人将2017年定义成“刷脸”元年，人脸识别迎来了井喷式的爆发。在手机娱乐、零售、金融、支付、电信、交通、楼宇、社区等领域迎来广泛的应用，影响着人类生活的方方面面。

京东AI人脸属性识别系统实现多任务人脸属性识别

目前，现有的人脸属性识别方法主要是针对单一任务，如限制于年龄判断、性别识别等某一单项任务预测。对于多个属性的识别需求，现有单任务的人脸属性算法很难扩展至多任务的属性识别。若同时对多个单一任务进行集成，则算法复杂度和耗时则会大大增加，不利于系统的部署。因此，设计多任务的人脸属性算法，同时预测出人脸的多个属性，并开发出相应的多任务人脸属性识别实时系统，仍然是研究的难点。

针对这种情况，京东AI研究院推出一种新型的人脸属性识别系统，在实时多任务人脸属性识别上取得重大进展。经过大量研究投入，该人脸属性识别系统通过采用深度学习卷积神经网络进行分类或回归的方式、模型基于多任务学习，使得不同属性之间可辅助进行预测，实现实时人脸属性预测。

该系统主要流程包括人脸检测，关键点定位，人脸校正和属性识别四个部分。首先检测图片中的人脸，对于检测到的每张人脸，识别各项人脸属性，包括性别，种族，年龄，笑脸、颜值等信息。

人脸检测。检测图片上是否出现人脸，它的位置及大小。基于深度学习的人脸检测算法采用多个网络分支进行多尺度的人脸检测，从而融合了多层的信息，使得保证高精度的前提下，实现快速实时的人脸检测。

关键点定位。在检测到人脸之后，算法继续确定出鼻子、眼睛、嘴巴等位置以及人脸轮廓，实现人脸关键点的定位。京东AI平台与研究部的人脸关键点定位采用25-106个关键点回归算法，设计专门的网络架构并根据关键点的输出与真实值不断调整回归的参数。针对姿态较大的人脸，采用3D拟合算法，生成出相应地大姿态训练集，使得整体算法对于大姿态的人脸关键点定位更为鲁棒，并据此设计出半自动人脸关键点标注算法。训练得到的模型可精确确定出鼻子，嘴巴，眼睛，眉毛，轮廓等位置。

人脸属性的识别。用户感兴趣的人脸属性包含很多，比如人脸的年龄，性别，表情，种族，胡子，是否佩戴饰品等等类型。该阶段通常采用深度学习卷积神经网络进行分类或回归，模型基于多任务学习，使得不同属性之间可辅助进行预测。

作为无界零售的基础设施之一，以及依托京东广阔的应用场景，该人脸属性识别系统将很快在不同项目上开花结果，这也意味着京东AI在感知用户需求的“鹰眼”上取得了很大的进展。

重构“人、货、场” 提升零售业的交互体验

零售业正在经历最深的变革，其中很重要的一项就是门店的数字化。

传统商家往往通过会员的方式留存客户，例如收集会员的消费记录、品牌偏好、消费金额、消费频率、姓名、手机号等结构化数据，然而这些宽泛的数据维度依然相对粗放，收集起来后并没有良好的运转起来，而是静静的“躺着”。对商家在进一步制定相关运营决策时所能起到的参考作用十分有限。

人脸属性识别技术则能从源头上实现实体门店的用户数据采集，解决这个问题。通过智能摄像头识别进店用户属性，进行目标顾客群体分析，获得消费者群体分布、活动轨迹、到访记录、消费行为或喜好等诸多详细信息，进行精细化管理。同时，再结合传统的会员体系、ERP等数据，通过深度学习对融合后数据进行建模，智能解决门店需要进什么货、什么时候进货、进多少货的选品问题。

用户端的体验也不断提升。人脸属性识别技术可以识别到顾客的年龄、性别、历时记录等信息来向顾客提出个性化建议，使用户免受其它因素带来的干扰直奔目的地，协助找到完全符合用户独特需求与风格的产品。同时，在线下营销互动也有广阔的应用前景。以往线下场景的营销存在流量“浪费”、不对称的情况，降低了购物体验。例如线下门店的广告电子屏，现在可根据用户画像推荐顾客可能感兴趣产品，与用户产生良性互动。

下面这张图是在京东618启动大会上，JDAI-Face京东人脸属性识别系统现场与观众进行互动，效果图如下：

从效果分析可知，现场的男女性别比例大概是6：4，年龄分布主要集中在18-30岁之间的青年，颜值较高的参会人员比例较大。从这些属性的分布情况，再基于人脸属性值信息，匹配预先设定好的业务内容，就可精准的进行推送。

京东人脸属性识别系统作为无界零售的“鹰眼”，将助力传统零售业转型升级，在未来的零售变革中发挥出巨大的价值，在消费升级的背景下，真正的去感知用户的需求。