面对日益竞争激烈的移动金融服务场景,如何快速且准确地将合适的产品、服务触达合适的用户成为营销运营的一个核心课题。

　　在蚂蚁的投放营销活动过程中,一方面期望产品服务能够触达更多用户,另一方面希望触达的用户有较高的点击率和转化率。面对成千上万业务场景的竞争,需要有一套系统来辅助每个业务找到它们各自潜在的高价值用户,以提高流量的使用效率。

　　基于上述问题,蚂蚁智能引擎团队和流量运营技术团队共同打造了哈勃智能人群平台,现已包含六大功能:标签圈人、算法圈人、实时标签能力、人群管理能力以及后期的人群洞察能力和效果分析。通过算法赋能,哈勃智能人群平台已具备事前用户偏好理解、事中人群定向、事后归因分析等全链路辅助功能,本文将介绍哈勃后台算法的三代体系更迭。其中,相关工作现已发表在KDD 2020 Applied Data Science(Hubble: an Industrial System for Audience Expansion in Mobile Marketing)与CIKM 2020 Applied Research(Two-Stage Audience Expansion for Financial Targeting in Marketing)。

　　问题定义

　　对于精准定向场景,问题描述如下图所示,给定一个营销投放活动(campaign)、种子用户(seeds)和当前业务的准入人群(candidates),人群定向目标是从准入人群中找到当前营销投放活动的目标人群(audiences),使得人群投放之后的点击率/转化率等指标 大化。解决这类问题的技术称之为audience expansion,又名lookalike。

　　从算法视角,我们既要确保平台有较高的定向效率(人群产出速度),又要确保人群定向效果(业务指标提升)。在调研了Pinterests[1]、Yahoo![2]、腾讯微信[3] 等公司公开的人群定向技术之后,我们发现现有的技术不能完美适配蚂蚁场景双效的保障。因此我们对哈勃后台的人群定向算法进行了3次升级:

　　 一代双塔模型是基于微软DSSM[4]开发的end-to-end模型。从 二代开始,我们重点考虑模型运行效率,将end-to-end算法结构解耦成异步的离线graph neural network(GNN)+在线轻量学习的结构。而在 三代中,为进一步提升圈人的时效性,我们额外引入投放中的实时反馈数据,并基于增量学习的方式 种子用户和反馈数据的信息。

　　 一代:基于DSSM的audience expansion

　　这里采用微软提出的DSSM[4]模型是为了在常规二分类的基础上拆分user和scene/campaign各自的特征,核心是希望在每次营销活动投放的训练过程中能够更好地捕捉用户和该活动投放的关系。下图是我们使用的模型结构图:

　　DSSM是一个经典的双塔结构,这里的正样本为种子用户,而负样本由随机采样非种子用户得到。模型训练收敛之后,对准入人群(candidates)进行打分,分数越高表示用户对当前投放的兴趣越大。基于偏好分排序,我们就能找到当前投放的潜在用户。

　　在实际活动投放中,对比传统的GBDT,上述方法在点击率和转化率均有不错的提升。 但缺陷也很明显:(1)单次营销活动训练时间过长;(2)资源消耗高,从机器资源角度衡量,ROI并不理想。

　　考虑到上述缺陷,我们开始尝试2-stage的架构来取代end-to-end的方式,从效率和效果的双向角度考虑架构优化。

　　 二代:基于异步GNN+轻量学习的audience expansion

　　上图展示了哈勃平台算法的调用流程,整个算法流程分为“离线”和“在线”两部分:

　　· 离线AD-GNN(Adaptive and Disentangled Graph Neural Network)模型:基于时间顺序,我们将用户历史点击行为数据分成两部分, 一部分用于构建user-campaign的二部图,捕捉用户对不同营销活动的偏好,生成用户以及营销活动的抽象embeddings。对于 二部分数据,我们将用户点击的行为作为正样本,而曝光未点击的行为作为负样本。 后通过构建link prediction任务的方式来训练AD-GNN模型,从而得到campaign embedding和user embedding;

　　· 在线KD-AE(Knowledge Distillation based Audience Expansion)模型:一旦接收到一个人群定向的请求,系统会实例化一个轻量级KD-AE模型,用于找到当前活动的目标人群。类似上面提到的DSSM模型,该模型将用于学习用户(user)和当前投放(campaign)之间的偏好。

　　上述offline/online异步更新的方式很好地解决了算法执行效率的问题,下面我们主要介绍模型的具体实现是如何提高定向任务的效果。

　　离线AD-GNN模型