当前,A/B 测试日渐成为驱动企业高增长的重要手段,其价值已被诸多企业看见并验证。借助 A/B 测试,通过观察关键效果指标的差异,选出更有效的方案,从而降低行动成本和风险,帮助企业择优选取策略,实现业绩增长。

随着证券行业由增量市场转变为存量市场,券商的互联网获客成本逐渐攀升,加之证券行业的强监管属性,运营逐渐从大刀阔斧的变革转向精细化运作,如何借助 A/B 测试工具调优日常运营动作,提升客户体验,成为证券行业业务优化的重要选择。本文聚焦 A/B 测试在证券业务场景中的应用与价值,为更多从业者开展实际应用提供参考和借鉴。

成立于 2002 年的中银证券,在全国 80 多个城市设有 110 余家分支机构,旗下有 「中银证券」 APP 等,其曾获评《证券时报》“年轻用户喜爱的券商 APP”。在实际业务开展中,中银证券与神策数据深入合作,共同探索如何利用 A/B 测试完成 APP 功能改版测试、用户流量分流运营、新功能上线发版等工作,提升效率的同时带给客户更优质的体验和服务,驱动业绩增长。

关注神策数据公众号,了解神策在 30+ 细分领域的更多数字化实践。

场景一:高效助力 APP 首页九宫格改版,提升整体功能使用度

中银证券业务人员计划对 APP 首页九宫格功能区进行改版,旨在提升首页整体功能使用率。为了更科学地评估改版前后的效果,通常需要进行对照试验,以往的试验中银证券比较依赖于研发人员,诸如圈选人群、建立试验层、获取结果数据等都需要等待研发排期。

现在借助神策数据 A/B 测试工具,可以便捷创建试验,具体步骤如下:设置试验名称等基本信息——选取受众用户——配置关注指标(核心指标 & 留存指标)——设置试验分组——进行代码调试。此外可以实时生成试验报告,业务人员可以方便快速地查看试验结果,同时内置的统计学检验,可以助力业务人员更科学地决策,如此以来减少了研发的工作量,提升了试验效率,业务人员可以做更多的试验进行改版方案的验证。

为更好地验证方案的表现效果,业务人员选取每日访问手机 APP 的随机流量作为试验人群,试验分层区使用根据业务特点定义的自带代码进行人群圈选。

在最终效果观测对比时,将「核心功能区域的人均点击次数」作为重点关注指标,通过神策分析工具的接入,可以及时查看和监控指标的变化趋势和情况。经过试验结果观察和数据校验,业务人员发现进入实验组(新版本)人群人均点击数优于对照组(老版本),且控制组与对照组无显著差异。

之后,再通过对首页 UI 设计、核心功能布局、活动页面文案、核心流程引导等点位设计不同试验版本,业务人员不断验证出更有效的方案,有效推动了核心指标的增长。

关注神策数据公众号,了解神策在 30+ 细分领域的更多数字化实践。

场景二:借助 A/B 模块分流,优化 Banner位推荐算法

为了持续提升运营效果,中银证券大数据团队针对首页 Banner 坑位进行算法策略迭代,为了及时验证不同算法调整的有效性,大数据团队希望可以借助 A/B 试验的实时分流能力,有效评估不同展示策略对用户的吸引力和效果。

借助神策数据 A/B 测试工具,通过资金账号圈定客户人群后,将设备ID同步到神策数据用户分群,再进行用户分群试验,采用不同算法策略对客户进行轮播图运营,神策数据 A/B 试验可以支持全端实施试验,覆盖用户完整操作触点,这意味着试验结果可以实现用户跨端识别,从而全面观察算法策略对 Banner 坑位的流量影响和结果指标情况。

同时还会对所有进入试验的用户创建「试验标签」 ,该标签可用于神策系统的所有分析模型,完成全场景数据模型打通,全面掌握用户行为,持续追踪试验效果。

神策数据 A/B 试验这种支持选取随机流量进行多版本试验的能力,高效地助力算法权重方案调优,通过逐步放量的方式进行推广,提升了人均坑位点击次数。

场景三:A/B 测试助力灰度发布新功能,加快产品迭代优化

A/B测试同样可以有力支持新功能灰度发布,及时管理潜在风险。中银证券产品团队计划上线某项新功能,借助神策数据 A/B 测试工具可以控制流量,实现先圈定部分特定人群体验新功能,观察客户反馈及投诉情况,根据数据表现进一步扩大试验人群范围,逐步培养用户习惯和接受程度,从而平滑完成新功能的上线发布。

业务人员可以控制整个过程,发布过程逐级扩量,如果发现指标异常或功能 Bug,可以快速回滚切换版本,较大程度地降低业务损失。

未来,中银证券还将与神策数据合力深挖 A/B 测试的价值,进一步助力 APP 功能运营与营销弹窗触达,以及优化产品、内容及服务的推荐算法,寻找全局收益最大化,持续赋能业务团队,全面提升产品的用户体验。

关注神策数据公众号,了解神策在 30+ 细分领域的更多数字化实践。