|
编辑导语:作为一名产品经理,互联网产品是否能够迭代成功,是需要一定的量化指标来衡量的。作者分享了从单目标优化到多目标优化的方法,看看是如何用它来衡量产品迭代的。
大数据时代,互联网产品迭代是否成功,产品经理往往采用一定的量化指标来验证,比如产品的点击率、转化率、活跃度、GMV等,上述指标也有宽口径和窄口径之分,宽窄区别在于数据统计的周期、数据归因的不同。
比如搜索引导GMV的宽口径是指在统计周期内,用户下单的商品被用户在搜索结果页点击过就算,而窄口径是指当天用户下单,而且下单的前置页面是搜索结果页,并且在搜索结果页点击了该商品,可见窄口径比宽口径要严格得多。
一、单目标优化及多目标优化
作为互联网这类大数据产品,比如电商、本地生活、互联网医疗等,在很长时期内对于产品是否成功,达到上线标准,主要采用单目标的AB实验是否显著(p值<0.05)提升这样的标准。这样的产品上线验证标准,在国内从互联网诞生一直持续到现在。
但是单目标优化有自身固有缺陷,由于单目标往往不是针对最终目标的优化,只是最终目标的链路漏斗的某个前序环节的优化,导致局部的提升有可能牺牲后续漏斗环节的表现,最终整条链路总体效果并不是最佳。
这样的表述可能比较难以理解,我们以实际例子给大家更加直观的印象。电商业务中如果单纯优化GMV,CTR往往牺牲较大(此优化目标导致系统倾向于让用户购买单价高的商品),从长远来看会使平台的活跃用户减少。
但是如果单纯优化CTR,GMV不一定同步会得到提升,甚至同比是下降的(此优化目标系统倾向于让用户看决策成本低的低单价商品)。
现在工业界几乎都在做多目标优化,如果不做多目标优化,那产品就会在一个极端下越走越远,最终用户体验很差。所以在常见的搜索推荐场景中,大厂就进化到同时优化多个业务目标。
比如电商场景中,希望能够在优化GMV的基础上提高点击率,从而提高用户的粘性;在信息流场景中,希望提高用户点击率的基础上提高用户关注、点赞、评论等行为,营造更好的社区氛围从而提高留存。
多目标优化问题在工程应用中非常普遍且处于非常重要的地位,自20世纪60年代以来,就吸引了越来越多的不同背景研究人员的注意力。
而多目标优化目标又是比较困难的事情,一般情况下,多目标优化问题的各个子目标之间可能是矛盾的,一个子目标的改善可能会引起另外一个或者几个子目标的性能降低,也就是同时使得多个子目标一起达到最优是不可能的。
而只能在它们中间进行协调和折中处理,使各个子目标尽可能达成到最优解,在保障主要目标提升的同时,次要目标不要受损太多。对于多目标优化问题,当前研究和工业界应用主要集中在:
模型结构,比如MMoE、ESMM;各目标间的权重分配,比如帕累托积累,具体的算法机制就不赘述了,大家只要知道工业界用大量的探索并且取得一定的研究进展即可。
在互联网领域,最近的业界成果是阿里和Google提出的多目标优化算法,Google是youtube上视频推荐,同时优化视频的点击率和好评率(MMoE),阿里是电商上采用帕累托优化,同时提升电商GMV和CTR(https://blog.csdn.net/weixin_39778400/article/details/111161071),找到帕累托有效解,阿里在真实的电商推荐系统上进行了大量的实验,并将结果与单目标最佳方法进行了比较。
在线和离线实验结果都表明:
PE-LTR(CTR和GMV同时优化的方法)在四个度量上优于其他基线。这与离线实验的结果基本吻合。请注意,PE-LTR 在较高的 CTR 下实现了 GMV 的显著提升。
这说明帕累托有效推荐的优势,完整的算法推到在:https://haiping.vip/2020/05/04/%E5%B8%95%E7%B4%AF%E6%89%98%E6%9C%80%E4%BC%98/
完整代码在:github.com/weberrr/PE-LTR
以电商联想词产品为例,探究互联网产品优化目标选择迭代思路。
二、电商搜索联想词产品
用户输入部分信息就推荐出用户搜索想用的关键词,降低用户输入成本,降低费力度。
比如下图中,用户输入“连”一个字,下面推出10个词条,用户可以直接选择其中任何一个词条,也可以选择右边位置的属性词,选择右边位置的属性词,这时候相当于搜索词是词条+属性。
联想词优化目标如何选择呢?
优化点击率:优化链路最短,仅仅涉及联想词页面,只要将用户最愿意点击的词条召回并排在前面即可
优化引导GMV:优化链路最长,涉及到联想词页面-搜索结果页-详情页-下单
这时不仅要考虑联想词页面推荐的词条和排序,用户是否愿意点击,也要考虑点击词条后的搜索结果页的后续用户商品选择和下单行为。
采用点击率作为优化目标:最佳阶段是产品的中初级阶段,用户体验较差,后端链路数据积累还不够,点击率有很大提升空间,这个阶段实际是优化用户体验,提升产品粘性,促进产品活跃,某种角度上是平台通过超预期体验实现用户增长。
如果点击率提升到高位,在后端链路也积累了比较充足的数据,这个时候适合进入第二阶段,在维持高水平点击率不下降的基础上,延长优化链路,将经营目标GMV作为优化目标,这实际是将两个目标同时优化,互为约束。
经过了第二阶段,经营目标提升到高水平,进入第三阶段,同时优化用户体验和GMV,但是这个第三阶段与第一阶段的意义完全不同。
第一阶段因为产品处于中初级阶段,解决的是产品可用性和好用性问题,第三阶段追求的是长期目标,用户的长期忠诚和复购的养成,要求实现公司的经营目标,实现用户价值变现,尤其是互联网到了下半场,增量用户挖掘殆尽,平台主要目标是提升用户价值。
这种优化目标的迭代不限于联想词产品形态,适用于大多数产品形态,就像头部电商搜索结果的优化目标,从最初的CTR优化到现在的GMV优化(或者人均搜索GMV产出优化)。
所以互联网产品的优化目标迭代,主要看当前互联网产品发展到哪个阶段?如果是处于中初级阶段,就选择优化更短的优化链路,注重用户体验为主,如果到了第二阶段,就应该选择优化引导GMV,如果过了第二阶段,就应该进入第三阶段,同时优化两个目标。
同时要考虑自己用户增长潜力,在用户增长潜力较大的阶段,用户体验第一位,提供超预期的用户体验实现用户增长,等到用户规模瓶颈,需要用户变现,要进化到兼顾用户体验和用户价值挖掘。
#专栏作家#
毛新年,公众号:资深电商专家毛新年,人人都是产品经理专栏作家。起点学院讲师,2021年B端产品经理大会演讲嘉宾。主导搭建主流电商平台搜索推荐商品三大体系,熟悉电商平台策略-产品-运营-数据及研发各环节。
本文原创发布于人人都是产品经理,未经许可,禁止转载
题图来自Unsplash,基于CC0协议。
声明:以上内容来源于网络,如有侵权请联系我们(123@shiyan.com)删除! |
|