【 CVPR2025】计算机视觉|CEM : 模型逆向工程？条件熵最大化来啦！
论文地址：https://arxiv.org/pdf/2503.00383v2
代码地址： https://github.com/xiasong0501/CEM
关注UP CV缝合怪，分享最计算机视觉新即插即用模块，并提供配套的论文资料与代码。
摘要
本研究首先从理论上证明，在任何模型反演攻击（MIA）下，给定中间特征的输入的条件熵为重建均方误差（MSE）提供了一个有保证的下界。然后，本研究基于高斯混合估计，推导出一个可微且可解的度量来限制这种条件熵，并提出了一种条件熵最大化（CEM）算法来增强反演鲁棒性。在四个数据集上的实验结果表明了所提出的CEM的有效性和适应性；在不影响特征效用和计算效率的情况下，将所提出的CEM插入到基于混淆的防御机制中，可以持续提高其反演鲁棒性，实现平均**12.9%到48.2%**的增益。
引言
本研究关注于协同推断系统中模型反演的鲁棒性问题。协同推断通过在本地将原始数据编码为中间特征，使得终端用户能够利用强大的深度学习模型，而无需将敏感原始数据暴露给云服务器。然而，最近的研究表明，这些中间特征可能无法充分保护隐私，因为信息可能会泄露，并且原始数据可以通过**模型反演攻击（MIAs）**进行重建。
现有的防御MIAs方法大致可以分为基于密码学的方法和基于混淆的方法。基于密码学的方法，如同态加密和安全多方计算，通过对加密数据进行计算，提供了针对MIAs的可靠理论保证。然而，固有的计算开销对其在大规模数据集上的可扩展性构成了重大挑战。基于混淆的防御旨在通过学习一个保护隐私的特征编码器来混淆与任务无关的冗余信息。这些方法主要依赖于经验性的启发式方法，例如假设一个代理反演攻击者，以在编码器优化过程中估计与任务无关的冗余。然而，目前缺乏对这种冗余进行评估的严格量化方法。现有的研究表明，这种经验性的度量标准并不完全可靠，因此不足以充分探索训练后的特征编码器的反演鲁棒性。一些方法采用信息论框架来约束冗余。然而，它们都没有建立信息冗余与针对最坏情况反演攻击者的鲁棒性之间的正式数学关系，这使得对冗余最小化和鲁棒性增强之间的相互作用的充分理解存在差距。
为了解决上述问题，本研究旨在建立一种系统的量化方法，以衡量中间特征中与任务无关但对隐私至关重要的冗余。此外，本研究致力于建立量化的冗余与最坏情况模型反演鲁棒性之间的理论关系，从而为增强现有模型对抗MIAs的反演鲁棒性提供一种易于处理的方法。本研究首先证明，给定中间特征z的输入x的条件熵与信息泄露密切相关，这保证了在任何反演攻击下，原始输入和重建输入之间的重建均方误差（MSE）的理论下界。此外，本研究开发了一种可微且易于处理的度量方法，用于基于高斯混合估计来限制该条件熵。利用这种可微的度量方法，本研究提出了一种通用的条件熵最大化（CEM）算法，该算法可以无缝地插入到现有的基于经验混淆的方法中，以持续增强其对抗MIAs的鲁棒性。
论文创新点
本研究在协同推理系统中，针对模型反演攻击（MIAs）的鲁棒性问题，提出了新的理论见解和解决方案。现有的混淆防御方法通过经验性地消除特征冗余来保护隐私，但缺乏对冗余的精确量化和对冗余最小化与鲁棒性增强之间关系的严格数学分析。
-
💡 输入条件熵与重建均方误差（MSE）下界的证明： 💡
- 本研究证明了给定中间特征的输入条件熵为重建均方误差（MSE）提供了一个保证的下界。
- 这一理论结果揭示了条件熵与模型反演鲁棒性之间的直接联系，为防御MIAs提供了一个新的视角。
- 该发现为理解和提升模型抗模型反演攻击能力提供了理论基础。
-
📐 可微且可解的条件熵度量推导： 📐
- 本研究基于高斯混合估计，推导出一个可微且可解的度量，用于约束条件熵。
- 由于神经网络的复杂性，直接计算条件熵非常困难，本研究提出的可微界限使得通过反向传播优化条件熵成为可能，从而提高了模型的抗反演能力。
- 该度量使得优化过程可行，并能够在实际应用中提升防御效果。
-
🛡️ 条件熵最大化（CEM）算法的提出： 🛡️
- 本研究提出了一个通用的条件熵最大化（CEM）算法，该算法可以无缝地集成到现有的基于混淆的防御机制中。
- CEM算法通过最大化条件熵的下界来增强模型对MIAs的鲁棒性，而不会牺牲特征的效用或增加计算开销。
- 该算法具有良好的通用性和效率，易于与其他防御方法结合使用。
-
📊 实验验证CEM算法的有效性与适应性： 📊
- 本研究在四个数据集上进行了广泛的实验，验证了所提出的CEM算法的有效性和适应性。
- 实验结果表明，将CEM集成到现有的基于混淆的防御中，可以显著提高反演鲁棒性，平均增益范围从12.9%到48.2%。
- 实验结果充分证明了CEM算法在提升模型抗模型反演攻击能力方面的优越性。
论文实验
