跳到正文 →

走进橘子娱乐——如何做出CTR35%的推荐系统

嘉宾介绍

陈伟灿:橘子娱乐大数据研发负责人,资深算法研发工程师。曾任百度、360高级研发工程师。对用户行为挖掘分析、标签化,话题分类学习和预测,大数据计算性能优化有丰富经验。

 

推荐系统,可以说是工业界和学术界里很常见的系统。对于阅读类平台来说,可以说是核心部分。但是,一个多好的推荐系统是好的呢?特别是在创业公司的环境里,怎样做才能够发挥到最大的效果呢?论如何打造一个CTR 35%的推荐系统,

看看橘子娱乐大数据研发负责人陈伟灿怎么说。

 

走进橘子娱乐——如何做出CTR35%的推荐系统内容大纲:

本次的主题主要是在创业公司中,如何去打造一个推荐系统,怎么去在有限时间内最大化我们的收益。

1. 推荐的入门

2. 工程上的推荐系统

3. 创业公司里的推荐系统

4. 基础的推荐效果怎么来

5. 35%的推荐效果怎么来

6. 推荐的本质与未来

走进橘子娱乐——如何做出CTR35%的推荐系统
首先,我们来介绍一下什么是推荐系统。在这里,简单选择了几个代表:

百度:首页推荐新闻;

今日头条:推荐适合用户的Feed流;

快手:『发现』栏目下的feed流。

从以上的形式可以看到,『推荐系统』更多的是指一种产品形态,一种以技术驱动的产品形态。

走进橘子娱乐——如何做出CTR35%的推荐系统因此,我们可以从以上这几个技术入手点,进行推荐内容的计算。

上面的各有优缺点:

协同过滤:要求有基础的用户或者内容数据,冷启动不方便

基于内容:要求内容可结构化描述,方便冷启动,但是忽略了互动的相似性

关联规则:需要是强规则可描述和一定量的标注数据

效用函数:要求效用可评估、可预测的

基于知识:专家级知识建模,用的较少

混合推荐:常见,合并以上的类型

还有很多可以使用的模型进行计算,这里就不介绍太多。本次主要用到的是基于内容的。

 

走进橘子娱乐——如何做出CTR35%的推荐系统在这里,简单提一下工程上常见的需求。

 

走进橘子娱乐——如何做出CTR35%的推荐系统接下来,我们看看橘子的推荐系统的需求。很清晰。

 

走进橘子娱乐——如何做出CTR35%的推荐系统对需求进行抽象,基于已有条件,进行问题抽象。

最终抽象为阅读后推荐文章的相似度的最大化的计算过程。

 

走进橘子娱乐——如何做出CTR35%的推荐系统计算文章的相似度,对文章结构化,从内容角度看,标题的结构化是最有收益的。而正文,由于格式的复杂性和语义的分散性,进行结构化的收益可见是不稳定的,可以暂时放下。

 

走进橘子娱乐——如何做出CTR35%的推荐系统因此问题可以进一步简化为title和keyword的相似度计算。这时候就是业界的成熟问题了。

 

走进橘子娱乐——如何做出CTR35%的推荐系统先看看有哪些可以选择的方式。

从计算效果上来看,必须选用能够充分表达语义的,所以2,3就放弃

因为橘子上的文章没有明确定义主题这个概念,所以引入一个新的抽象概念,会增加问题的深度,从而增加不确定性。从风险的角度,不考虑4

 

走进橘子娱乐——如何做出CTR35%的推荐系统再看看相似度怎么计算合适。

考虑现有的模型特性,因为只有0,1描述,所以Jaccard更符合这种特性,能够最大化0,1的区分度

 

走进橘子娱乐——如何做出CTR35%的推荐系统简单举个例子。

 

走进橘子娱乐——如何做出CTR35%的推荐系统
到这里,我们发现,这一版的效果太粗糙——没有足够的效果,上线是没有意义的。创业公司,就需要有足够大的效果,形成突破力,验证方向的效果。

所以我们往相似度优化上深入,根据以前搜索引擎的rank经验,引入了新的特征IDF和新的权重模型。

 

走进橘子娱乐——如何做出CTR35%的推荐系统
简单的,base_weight引入,作为语义含义部分的代表。

引入adjust_weight,作为NLP特征的代表,让人工经验产生明显效果。

 

走进橘子娱乐——如何做出CTR35%的推荐系统对IDF做bad case处理。

因为IDF只是在统计特征,统计必然会遇上偏差。偏差带来区分度的下降或者称之为噪音。所以这里使用均值进行两类处理。

 

走进橘子娱乐——如何做出CTR35%的推荐系统
到目前为止,我们已经达到一个业内平均水平的推荐效果了。上线后贡献了比较大的流量增长。

收益决定项目是否深挖,根据当前的bad case情况,我们发现只有词命中才能得到推荐,因此决定进行进一步优化。

 

走进橘子娱乐——如何做出CTR35%的推荐系统
对比可以发现,word2vec是个好选择。

走进橘子娱乐——如何做出CTR35%的推荐系统

走进橘子娱乐——如何做出CTR35%的推荐系统

走进橘子娱乐——如何做出CTR35%的推荐系统

走进橘子娱乐——如何做出CTR35%的推荐系统

走进橘子娱乐——如何做出CTR35%的推荐系统

应用上,我们进行模型的改进,保留了词性和位置的影响因子。

最后,我们看看还能做些什么

走进橘子娱乐——如何做出CTR35%的推荐系统

走进橘子娱乐——如何做出CTR35%的推荐系统

关于橘子娱乐

北京橘子文化传媒有限公司开发的两款的移动产品——橘子娱乐和槽厂,深受年轻人喜爱。橘子娱乐追求有趣而有价值的生活,快乐而颠覆的创造。从2014年10月橘子娱乐获得真格基金、经纬中国、洪泰基金1000万人民币天使投资,到2016年1月已经完成1500万美元B轮融资。

 

归类 技术分享