我的小流量“转正”心得 --- 下载下方深度语义重排的实践

目录

一、背景

二、通过数据分析找到的问题

三、迭代流程

迭代一：

迭代二：

迭代三：

迭代成功的原因：

知识扩展

四、hnswlib调优过程

五、附录

5.1 hnsw 超参选择

---

一、背景

1. 在分发中下载带来的收入占比排列仅次于搜索。
2. 下载资源的分发占比在一半以上。
3. 下载资源是重要的收入来源之一。
4. 下载相关推荐现有的策略大部分无法满足用户的需求。

二、通过数据分析找到的问题

1. 下载资源中一半以上的资源都是曝光搜索词的。
2. 在所有的下载资源中，有曝光搜索词的资源占比面积小。
3. 博客和下载的曝光搜索词得分存在不准确性。
4. 下载资源推荐结果存在无序的情况。

三、迭代流程

迭代一：

迭代方式：下载相关推荐下通过用户点击和下单行为进行重排

迭代失败原因：

1. 用户在下载相关推荐下产生的点击过少，二级排序是针对于用户点击行为进行的加权处理。经统计，有曝光无点击的占比较高，导致二级排序的影响面很少，最终实验效果不明显。
2. 为了避免整体收入波动大，实验上线后将策略安排在了2、3槽位，从不同实验相同槽位来看，新策略的收入和用户行为不如老策略，新策略落败。

总结：

1. 下载相关推荐下无法做到像博客相关推荐一样的策略，下载推荐的点击量过少，而新策略是基于用户点击进行的排序。
2. 在从槽位上对比发现，老策略召回的结果比较优，下一步打算从老策略调优入手。

迭代二：

迭代方式：下载相关推荐老策略通过ADA语义相似度计算距离，能将相似度最高的进行计算

迭代失败的原因：

1. 词库中有曝光搜索词的资源只有百万资源，占比33%，覆盖面积较小，再加上实验只是小流量，导致在实验组中看到的召回率非常低。
2. 老策略内部做排序是会把相同的曝光搜索词计算得分，但会出现结果全是新策略的资源，会把相关的资源挤到后面，导致结果不相关。

总结：

1. 在现有的资源中做扩覆盖处理不是最优的选择，首先成本较大，并且覆盖面积较小，从实验数据中看出，召回率和收入微乎其微。
2. 从扩覆盖中得知，扩覆盖是相当于把推荐结果进行了扩充并重排，何必不把原来的推荐结果重排，这是下一个实验的导火索。

迭代三：

迭代方式：下载相关推荐曝光搜索词通过ADA语义进行相似度计算，并根据相似度进行重排

全量上线原因：

1. 这次挑选实验组时，挑选了一个在空跑期间收入较弱的一组，如果收入落败的组在新策略上线后能跟对照组拉平，则胜出。
2. 从实验期开始，实验组的收入只有1天落败，在其他的同一天时间不同实验来看，实验组的收入大范围胜出。
3. 扩量后，实验组的整体收入也高于对照组，并且点击率也有所上涨。

迭代成功的原因：

1. 经统计下载资源中，推荐结果列表无排序的结果占比较大，下载资源中曝光搜索词得分一半以上较低，说明在现有的推荐结果中，部分推荐结果都是无排序结果。
2. 首条结果是用户的首要选择，所以排序结果会对收入产生影响，通过语义排序，会提高用户体验。
3. 吸取了前两个实验失败的原因，总结出对推荐结果进行重排才是重要原因。

知识扩展

语义计算：我们使用的是OpenAI第二代嵌入模型 text-embedding-ada-002将 SA资源的标题进行向量化，借助 hnswlib 完成向量索引库构建，通过余弦距离衡量两段文本之间的相关性。

GPT3采用Transformer的解码器：

text-embedding-ada-002在文本搜索、代码搜索和句子相似性任务上优于所有旧的嵌入模型，并在文本分类上获得相当好的性能，文本检索领域的评测结果： 

GOOD CASE：

 

四、hnswlib调优过程

1. hnsw超参调整，增加连接数量，召回从75.16%提升至80.21% ；详见附录5.1 hnsw超参选择
2. 前五十万样本建索引库召回率在96%，后四十多万建立索引库召回率只有 53%，分析发现24.7w 不同的 title向量存在重复，去除后召回率在96.7%；定位到原因：使用多线程批量访问OpenAI 向量化接口，hnswlib 对文本向量化存储时出现较多异常数据；
3. 重建向量索引库后，跟第一版相比top1 差异率:47.19%，自评 GSB=45:48:7；标注团队GSB=30：68：2；线上小流量实验落败，分析原因可能：query embedding 和 title embedding 分布存在差异，用于召回效果可能不太理想，尝试用于title to title的相似度重排，故尝试在下载下方相关推荐重排实验;
4. 对下载相关推荐中曝光搜索词召回结果使用文本向量相似度重排，胜出；

五、附录

5.1 hnsw 超参选择

1. 选择 l2 距离还是 cosine 距离对召回率影响不大，但是cosine距离会更好一点；
2. 扩大 候选list 大小ef 和 连接数M召回率会有提升，对应的创建索引库的时间和检索时间会增加； 

ef - the size of the dynamic list for the nearest neighbors (used during the search).

M - the number of bi-directional links created for every new element during construction.

第一版向量召回优化，recall 对比

# m = 64

# ef = 500: 10min25s 0.8021080499165129

# ef = 600: 30min27s 0.8021146410053608

# m = 100

# ef = 200: 11min36s 0.8021124439757448

# ef = 600: 28min09s 0.8021157395201687

文章作者：李震 & 卫亮亮 & 李长皓 & 王品