【论文阅读】A Survey on Differential Privacy for Unstructured Data Content (2022 ACM)
4 受 DP 保护的非结构化数据内容的可用性和隐私性分析
DP及其变体为非结构化数据提供了严格的隐私保证，以对抗具有任意背景信息的对手。虽然隐私损失是用 值来量化的，但效用损失是在实验评估中在真实数据与其混淆版本之间进行测量的。不同的数据类型会采用不同的效用损失度量来量化效用。
4.1 DP 保护图像中的分析
与原始图像内容相比，混淆版本主要由于矢量化和 DP 噪声注入而失去了效用。这里主要讨论矢量化带来的效用损失。众所周知，图像通常表示为具有像素值元素的 n × m 矩阵。对于 PixDP 方法，像素化在较大的块中呈现具有平均像素值的图像，相当于具有较少元素的矩阵。块越大，人类感知的视觉质量越弱。关于欧几里德隐私方法[27]，SVD技术从矩阵中提取关键奇异值来展示图像的几何结构和特征。它失去了截断整个向量值并保留一些关键奇异值的一些效用。更多奇异值可用于在更近的视觉感知中重建图像。在[59]和[13]中，GAN 用于学习特征空间中的图像潜在表示。潜在向量的准确度由合成图像和真实图像的接近程度决定。总体而言，[13, 59]中的高级特征空间中捕获的图像质量比[27]中的中级几何空间和[26]低级像素空间中的图像质量更好。
通常，采用两种效用指标来量化真实图像与其混淆图像之间的差异，包括均方误差（MSE）和结构相似指数（SSIM）[106]。 MSE 最常用于比较数据差异，而 SSIM 由亮度、对比度和结构比较组成，以更复杂的方式评估图像差异。另外还采用另一个实用指标 Fréchet Inception Distance (FID) 指标来衡量 GAN 中的图像质量。感知不可区分性方法 [13] 显示出比 [27] 中的 SVD-Privacy 更高的 SSIM 和更低的 FID 指标，其次是 pix DP [26]。这是因为在应用 DP 混淆之前，GAN 比图像内容的奇异值和像素化捕获更多的人类感知信息和图像语义。其他提取关键特征的方法，例如离散余弦变换（DCT）和离散小波变换（DWT）可以代替 SVD 来表示图像，并且像 SVD-Privacy 一样工作。基于像素、奇异值和 DCT 等数字图像信号定义的 DP 方法可以直接生成模糊图像，但感知质量较低。尽管在神经网络上定义的DP方法可以合成高水平的图像质量，但它们面临着昂贵且耗时的超参数调整困难。
由于马赛克和模糊的流行混淆方法已经过测试，失去了针对卷积神经网络（CNN）攻击的功能，并且原始图像以高达 96% 的极高准确率恢复[63]，因此通过对它们进行基准测试来评估 DP 混淆，假设对手在训练集中拥有受 DP 保护的图像及其标签。结果表明，对手可以使用 CNN 以较低的精度识别测试集中相同级别 DP 保护图像的标签。由于较低的重识别精度表明较高的隐私级别，因此 pix DP 模型 [26] 提供比 SVD-Privacy [27] 更强的保护。目前尚不清楚人工智能攻击是否会对[13, 59]中基于 GAN 的隐私方法造成重大隐私风险。
4.2 DP 保护音频中的分析
在语音不可区分性方案 [44] 中，x 向量系统 [88] 从声纹中提取特征，并使用 DNN 嵌入用 512 维向量表示它们。它可以进一步节省一些实用程序来开发更复杂的语音嵌入来量化声纹。为了评估效用，采用概率线性判别分析（PLDA）分类器[100]中的说话人验证准确性（ACC）以及MSE。 MSE计算原始声纹与其混淆在向量空间中的差异，PLDA度量中的ACC衡量有多少由混淆声纹和原始内容组成的混淆语音可以被验证。较低的 MSE 意味着较高的效用，而较高的 ACC 则具有相同的效果。除了前面提到的机器计算的效用指标之外，原始语音和混淆语音之间的差异是根据人类的感知通过人类意见得分的指标来测量的。另一个有趣的指标，自然度，也被用来评估效用，它只能由人类捕获。对于模糊语音的重新识别（也称为语音识别），三层双向长短期记忆（BLSTM）神经网络[40]使用连接时间分类目标和字符标签进行训练。语音识别中的标签分类结果与字符错误率 (CER) 指标进行比较。 CER 的整体识别率较低，表明即使在低隐私制度下，语音不可区分性对于基于 RNN 的攻击也具有很强的鲁棒性。
4.3 DP 保护视频中的分析
在视频 DP [104] 和对象不可区分性 [103] 中，对象要么使用 RGB 颜色像素模型提取，要么以视频中的存在 (1)/不存在 (0) 状态表示，其中在模型表示期间不会丢失额外的效用过程。此外，在DP噪声添加之前采用像素采样或帧采样，以便为关键组件获得更多效用。样本的最优选择受到效用损失最小化的约束。为了测量视频DP中的效用损失，采用KL散度和MSE这两个指标分别计算原始视频与其扰动之间的RGB计数分布差异和RGB值差异。精确度和召回率还通过使用最先进的轮廓检测算法来评估原始对象在所有检测到的对象中的比例以及检测到的原始对象在所有原始对象中的比例[118]。精确率结果显示出稳定的较高准确率，而召回率结果则随着 ε 值的增加而呈现出增加的趋势。对于一些统计查询，例如对象的密度和在某些地方的停留时间，视频DP方案与传统的隐私集成查询系统[65]进行比较，并表现出更好的实用性。经测试，配备 DNN 深度学习方法的对手相对较弱，与马赛克模糊方法相比，适应视频 DP 混淆的成功率约为 20%。对象不可区分性方案中的效用损失是通过原始视频与其随机化之间的不同对象计数和对象轨迹的比较来指定的。轨迹偏差测量在 0.1 到 0.2 之间，而计数差异估计为数十。视觉感知的差异也可以用原始帧和合成帧来描述，其中合成帧由随机出现的对象和插值的背景信息组成。总体而言，与 LDP [20] 中的聚合统计数据中较大规模的数据集可以减少效用损失这一事实相一致，采样对象较多的视频将遭受较少的效用损失。由于该方案处理对象存在/不存在事件而不是对象特征，因此这里不检查深度学习攻击。
4.4 DP 保护文本中的分析
word2vector、Glove和FastText等词嵌入模型用于将离散词表示为连续空间中的实数向量，其中词之间的语义相似性通过它们的向量距离来反映[67]。单词之间更多的结构关系被用来学习更有效的单词向量。例如，庞加莱嵌入[72]利用单词之间的分层语义关系来获得广义的单词向量及其子集。随着双曲隐私中庞加莱嵌入的采用[35]，文本混淆中的效用损失减少了。因此，提高文本学习表示领域中词向量的质量以实现更实用的文本隐私模型是一个挑战。在基于 Metric DP 的文本隐私模型 [31, 34–36, 114–116, 120] 中，实值向量在连续空间中受到扰动，然后转换回离散空间中的单词。扰动会带来一些实用性损失，以换取隐私收益，而离散化过程不可避免地会丢失一些信息。
基本隐私方法 [31, 109] 分别通过 DP 和度量 DP 保证实现有效的隐私和效用权衡。工作[109]采用F1分数度量来评估分类准确性。它采用JStylo作者归属算法对AI攻击进行建模，并显示了其对该攻击的鲁棒性。另一种[31]是基于欧氏距离的基线度量DP方法。它将正确预测的计数作为效用测量。更准确地说，作者采用作者识别和主题分类任务，包括用于作者识别的 1-NN 和 Koppel 算法 [55]，以及用于主题分类的 5-NN 和 fastText。
包括[34, 35]在内的工作通过利用度量空间中文本嵌入的结构距离属性来研究效用的增加。作品[34]采用Earth Mover的距离来增强实用性。它使用二元分类、多类分类和问答任务来演示效用损失。为了量化效用损失，需要分类精度、平均精度和平均倒数排名。至于隐私评估，这项工作采用查询加扰方法[89]来评估现实的隐私损失。另一项工作[35]在词嵌入中使用层次关系来保持扰动词的层次效用。作者执行机器学习和自然语言任务，通过与完全随机的基线和无隐私词嵌入（包括 InferSent、SkipThought 和 FastText）进行比较来评估预测准确性分数。为了确认其针对作者归属攻击的隐私保证，他们使用传统的 Koppel 算法来适应混淆。
在基于欧几里得距离的隐私模型中，研究[114]和[120]的目标是增强文本实用性。 [114] 中的作者在噪声注入之前减少了替代候选的范围。与基线拉普拉斯扰动相比，显示了对抗性攻击的鲁棒性表现。 [120] 中的作者指定了文本敏感度级别，并且仅扰乱高度敏感的级别。特别是，他们使用 BERT 嵌入，因为它比传统嵌入具有优越性。他们还测量模型对掩码令牌推理攻击的鲁棒性。
研究人员 [115] 和 [116] 专注于当文本被混淆为文本本身时的隐私改进。在[115]中，由于关键贡献是增强了稀疏区域中单词的隐私，因此将马哈拉诺比斯机制保证的隐私与[31, 34]中多元拉普拉斯机制保证的隐私进行了比较。更准确地说，计算稀疏区域中的单词受到其他单词而不是自身的干扰的概率。至于效用，在比较多元拉普拉斯、正则化马哈拉诺比斯和纯马哈拉诺比斯机制时，采用了常见的分类指标，包括准确度、精确度和召回率。在[116]中，改善文本隐私的见解是当 DP 噪声很小时，将私有嵌入离散化到前 k 个最接近的单词。关于效用测量，推理误差与另一种隐私增强方法（即马哈拉诺比斯方法）和基线多变量拉普拉斯方法进行了比较。
该研究[36]可以应用于任何基于距离度量的文本隐私模型。它的根本贡献是降低初始文本嵌入的高维性以提高实用性。一些效用损失是随机预测造成的；然而，由于较少的 DP 噪声添加带来的效用增益，它的权重过大。一方面，对嵌入模型进行实证研究。这里，效用误差是通过实向量对的欧几里得距离（分别为内积）和私有向量对的欧几里得距离（分别为内积）之间的差异来衡量的。实用性还通过 SVM 线性分类任务中的准确性和 AUC 指标进行评估。另一方面，在NLP数据库上应用实证研究，训练和测试精度构成评估指标。
