深度学习与特征交叉：揭秘FNN与SNN在点击率预测中的应用

今天，给大家分享一篇关于基于深度神经网络（DNNs）的特征交叉方法——FNN（Factorization-machine supported Neural Network）和SNN（Sampling-based Neural Network）的研究。随着广告点击率预估等领域对海量多维稀疏离散特征的需求不断增长，如何高效地捕捉特征之间的高阶交互关系成为提升模型性能的关键。本文通过结合因子分解机（FM）与深度神经网络的优势，提出了两种创新的架构和预训练策略，既解决了高维稀疏特征的计算复杂度问题，又显著提升了CTR预测的准确度。

接下来，我将深入对这篇论文展开全面解读。和以往一样，我会严格依照论文的结构框架，从研究背景、核心论点、实验设计到最终结论，逐一对文章的各个关键部分进行细致剖析 ，力求为大家呈现这篇时间序列预测论文的全貌，挖掘其中的研究价值与创新点。

1. Abstract

预测用户响应，如点击率和转化率，在许多网页应用中至关重要，包括网页搜索、个性化推荐和在线广告。与通常在图像和音频领域中看到的连续原始特征不同，网络空间中的输入特征始终是多字段的，并且大多数是离散和类别型的，而它们之间的依赖关系却鲜为人知。主要的用户响应预测模型要么局限于线性模型，要么需要手动构建高阶组合特征。前者失去了探索特征交互的能力，而后者在庞大的特征空间中带来了沉重的计算负担。为了解决这个问题，本文提出了两个使用深度神经网络（DNNs）的新颖模型，用于自动学习类别特征之间的有效模式，并预测用户的广告点击行为。为了使本文 DNNs 高效运行，提出利用三种特征转换方法，即因子分解机（FMs）、受限玻尔兹曼机（RBMs）和去噪自编码器（DAEs）。本文介绍了提出模型的结构及其高效的训练算法。通过真实世界数据的大规模实验表明，本文的方法优于主流的最先进模型。

2. Introduction

用户响应（例如点击率或转化率）预测在许多网页应用中扮演着关键角色，包括网页搜索、推荐系统、赞助搜索和展示广告。例如，在在线广告中，相较于传统的线下广告，能够针对个人用户进行定向是其主要优势。所有这些定向技术本质上都依赖于系统预测特定用户是否会认为某个潜在广告“相关”的功能，即预测在特定上下文中用户点击某个广告的概率。赞助搜索、上下文广告以及近年来兴起的实时竞价（RTB）展示广告都高度依赖于学习模型预测广告点击率（CTR）的能力。目前应用的CTR估计模型大多是线性的，涵盖从逻辑回归和朴素贝叶斯到FTRL逻辑回归和贝叶斯概率回归，这些模型都是基于大量使用独热编码的一维稀疏特征。线性模型具有实现简单、学习高效的优势，但由于无法学习非平凡模式以捕捉假定的（条件）独立原始特征之间的交互，因此性能相对较低。另一方面，非线性模型能够利用不同的特征组合，从而可能提升估计性能。例如，因子分解机（FMs）将用户和物品的二值特征映射到一个低维连续空间，并通过向量内积自动探索特征交互。

 完整文章链接：深度学习与特征交叉：揭秘FNN与SNN在点击率预测中的应用