我们介绍了关于多个受保护属性的算法和数据公平性的度量。我们提出的差别公平的定义是基于交叉性的框架，这个框架分析了权力和压迫的联锁系统是如何在重叠的维度上影响个体的，这些维度包括种族、性别、性取向、阶级和残疾。我们展示了我们的标准对于受保护属性集合的任何子集都表现得很明智，并且我们还展示了到差分隐私的链接。一个关于人口普查数据的个案研究证明了我们方法的有效性。
1 介绍随着机器学习算法对我们日常生活中许多重要方面的影响越来越大，人们越来越担心数据中固有的偏差会导致这些算法的行为对某些特定人群产生歧视。近年来，大量的研究工作致力于在算法和数据中发展偏差的数学定义，或其相反的公平性。
在这项工作中，我们关注的是有多个受保护的属性（这些属性可能彼此重叠，如性别、种族和性取向）的公平场景，旨在确保公平。我们的指导原则是交叉性，也是第三波女性解放运动的核心理论框架。交叉性原则指出，种族主义、性别歧视和其他社会制度伤害了边缘化群体，它们的影响是相互联系的，例如，黑人妇女的生活经历，与白人妇女的生活经历非常不同。
受到交叉性理论的启发，我们的主要贡献是一个公平的数学定义，我们称之为差异公平，目的是在一组受保护属性的交叉点实现公平。虽然其他作者已经考虑了多重保护属性，据我们所知，我们是第一个提供可量化的公平性度量的，当条件满足时，可证明每个保护属性集合满足程度相似。例如，如果我们的差别公平标准满足关于由性别、种族、国籍组成的保护属性集的算法，它同样满足性别和种族组成的受保护属性的子集，或种族单独，等等。这一特性在交叉公平环境中很重要:如果我们的目标是确保一个算法在黑人女性和白人男性之间的行为公平，我们通常也会希望确保女性在整体上与男性一样受到公平对待，以及不同种族在整体上受到公平对待。
2 公平算法及其与交叉理论的关系公平性是一种涉及政治和法律层面的种种原因的复杂社会技术，可能导致互相矛盾或者与算法的原始目的（如预测准确率）矛盾。部分挑战在于，我们希望防止偏见的性别或种族等保护属性不是孤立存在的，而是存在于其他被观察和潜在属性的背景中，而且这些属性可能彼此相关，并与系统的输出相关。即使不允许使用保护属性，也可能存在其他相关的代理变量，导致分类器无意识地歧视。例如，邮政编码与种族高度相关。另一方面，对算法很重要的属性可能根据保护属性有不同的分布，这种现象被称为次边际现象。因此，正如被所定义的那样，公正并不总是对应于公平。
从交叉的角度来看，在许多公平的背景下，算法应该被设计来抵消这些压迫系统的影响。在某些情况下，这可能以牺牲预测准确性为代价。然而，我们必须谨慎地区分分类的统计问题和基于分类将结果分配给个人的经济问题。交叉性与后者有关，后者具有真正的个人和经济后果，并且可以合理地以前者的一些费用来实现。请注意，在特定情况下，公平应该调和受保护群体之间的差异，还是应该抵消这些差异，这种决定可能涉及政治判断。总而言之，我们认为算法公平性的交叉定义应该具有以下属性:
- 应该同时考虑多个保护属性。
- 保护属性的所有交叉值（比如黑人女性）都应该在定义下被保护。同时我们要确保个体受保护属性被全面保护，比如女性需要被保护。
- 定义的目的是确保由于结构压迫而导致的算法行为的系统差异被纠正而不是编纂。
我们考虑将结果分配给个人的任务，例如为贷款申请者做出贷款决策，这在机器学习环境中通常是通过分类算法来完成的。我们的目标是在防止一系列保护属性(如性别、种族和残疾状态)的歧视性(或其他)偏见的同时实现这一目标。具体来说，根据我们上面提到的交叉公平标准，我们的目标是确保在每个受保护属性的交叉值上的个体，例如白人、男性和残疾人，都会受到该算法的相似对待。在许多情况下，通常不是数据所有者的分类用户(供应商)也可能是不可信的，不应该访问输入数据。
我们通过定义一个公平标准来解决这个问题，该标准确保分类不会提供保护属性的交集的信息。假设M(x)是一个(可能是随机的)机制，它以一个实例x为参数，并为相应的个体生成一个结果y，S1，...，Sp是离散的受保护的属性，A=S1xS2x…xSP，Θ ，它是一组分布θ ，可以合理地生成每个实例X。例如，机制M(x)可以是一个贷款决策的深度学习模型，A可以是申请者可能的性别和种族，Θ可能是保护属性的每个值的信用评分的高斯分布集，其平均值和标准偏差在一定范围内。这些保护属性包括属性向量x，尽管M(x)可以随意忽略它。参见图1中的设置图。
我们提出差异公平的标准，是一种可以衡量机制公平性程度的方法。它适用于人口水平，但特定个人还不适用，如，提供贷款，基于他们的数据xi。差异公平用参数ε表示度量M(x)的公平性成本:
定义3.1
在定义3.1中，si，sj ∈ A是所有受保护属性值的元组，例如性别、种族和国籍。这是一个关于公平的直观的交叉定义:当ε很小时，无论受保护属性的组合如何，结果的概率都是相似的，用这些变量的比率和其他可能的值来衡量。例如，获得贷款的概率是相似的，不管受保护的群体的性别、种族和国籍的如何交叉组合，在x的剩余属性上边缘化。如果概率总是相等的，那么ε=0。
为了在实际中评估机制的差异公平，我们必须得到x上的貌似合理分布的类。通过在观测数据集上训练一个贝叶斯概率模型，并将Θ设置为MAP估计、一组MCMC样本退火、后验预测分布或一个可信区域。或者，我们可以简单地插入经验数据分布，在这种情况下，我们称之为经验差分公平性(EDF)的标准。
定义3.2
3.1差异公平和交叉性
在交叉设置中，A包含多个受保护属性，差异公平性意味着每个受保护属性单独的公平性:
例如，如果贷款批准机制M(x)在A=性别x种族x国籍上是ε-DF，它在性别本身，或者性别x国籍上是2ε-DF，换句话说，在我们的标准下，可以确保性别、种族和国籍交叉公平，同时也确保了性别之间，性别/国籍对之间等在总体上的类似程度公平。注意，2ε是最坏的情况，而DF也可能保持ε较低的值。
定理3.2
3.2贝叶斯隐私解释
如果贷款给个人，卖主或对手关于他们的种族和性别的贝叶斯后验信念不会发生实质性的改变。因此，对手将无法做出这样的推论:“这个人贷了款，所以他们可能是白人和男性。”因此，当M(x)的用户不可信时，我们的定义可以提供公平性保证。这可以防止随后的歧视，例如，对应用于算法的任何维护公平的更正进行报复。还要注意，虽然差别公平是一个群体层面的定义，但它为个人提供了隐私保障。
公式4中的隐私属性暗示了与算法隐私定义的紧密联系，例如差分隐私公式。事实上，差分隐私和我们差别公平的定义都是一个通用的隐私框架。然而，差异公平机制每次应用于一个个体，必须隐藏个体的受保护属性，而差异隐私机制一次应用于整个数据集，并且必须隐藏任何个人数据的存在。还要注意的是，差分隐私公平性通常强制用于学习算法的每个步骤的计算，而差分公平性则与最终模型的行为有关。
3.3 解释ε
我们可以理解的程度ε-差异公平机制是公平的，对于一个特定值ε，其相应的隐私保证，这是测量同一规模的差分隐私。特别是，ε-差分隐私(因此,微分公平)提供的隐私级别可以通过相应的经济担保被解释。在微分隐私的情况下,如果用户贡献他们的数据,他们的源于机制的结果的期望效用最多被因素exp(ε)≈1 + ε (ε为小值)伤害。这与它们的效用函数无关。如果ε < 1(左右)，隐私保证通常被认为是坚强，在这种情况下，机制通常被描述为处于高度私人化的政权。如果ε显著大于1，例如ε= 20，隐私保障被认为是几乎毫无意义。
作为一个用来校准关于ε的直觉的例子，我们可以考虑在设计带有敏感问题的调查时经常使用的随机化回答方法。参与者被要求抛出一个没有偏见的硬币，如果硬币正面朝上，则如实回答是/否。否则，参与者再次掷硬币，并根据掷硬币的结果随机回答。随机化回答是ε=ln(3) ≈1.0986-差分隐私，略高于ε=1附近的“高隐私”界限点。
4 说明性的工作例子
图2给出了差异公平性的一个简单示例。在这个例子中，假设一个求职者在考试上得到x分，如果他的测试分数x>=t，t=10.5，机制M(x)=x>=t就会批准雇佣这个求职者。这些分数是按照θ分布的，它对应于以下过程。有两组应聘者保护组为1和2，概率都为0.5。第一组的考试成绩为正态分布为N(x; μ1 = 10, σ = 1)，第二组的考试成绩为正态分布的N(x; μ2 = 12, σ = 1)。在这个图中，群体条件密度被绘制在顶部，同时是雇佣结果为“是”的阈值（M(x)=1）。阴影区域表示每个群体做出“是”雇用决定的可能性(在紫色)。底部的计算表明M(x)对于ε=2.337是ε-差分公平的。这意味着概率比率在范围(e−ε, eε) = (0.0966, 10.35)
，也就是说，一个群体的某一特定招聘结果的概率大约是另一个群体(y=”否“)的10倍。假定这两个群体在总体工作方面的能力大致相当，这显然不能令人满意。
5 差异公平的案例研究
为了说明差别公平性的实际应用，我们使用UCI数据库中的成人数据对1994年美国人口普查收入数据进行了个案研究。这个数据集由14个属性组成，包括工作、人际关系和个人的人口统计学特征，这些特征是根据他们的收入是否超过50,000美元的阈值来标记的。这些数据被预先分解成32,561个实例的训练集和16,281个实例的测试集。为了进行公平性分析，我们选择种族、性别和国籍作为受保护的属性。由于大多数情况下都有美国国籍，我们将国籍视为美国和其他国家之间的二元对立。性别被编码为二进制。种族属性有5个值，但是为了公平性分析，我们将当地美国人类别与“other”类别汇总，因为这两个类别都包含非常少的实例。在表2中，在训练集中，我们对于受保护属性的每一个子集都通过公式6报告了ε对于经验微分公平性的影响。我们的分析发现，用ε-EDF衡量的不平等，与其说是因为国籍，不如说是因为种族或性别。种族和性别交叉点的不平等程度大大高于任何一个属性单独的不平等程度(ε=1.76，相对于0.93和1.03)，而其他两个属性交叉点的不平等程度较小。
我们还计算了回归模型的差异公平性，使用所有3个保护属性来计算测试集上的ε。我们评估了从分类器中扣留这些属性的人工特征选择预处理步骤对准确性和公平性的影响。有趣的是，当分类器不使用任何敏感属性时，测试误差最小，同时也获得了接近最小的ε。特别是，允许分类器使用种族作为特征增加了错误率和不公平性。一种解释是，包括种族引入了特征冗余，随之而来的过度拟合导致了准确性和公平性问题。虽然我们可以同时提高公平性和准确性，但情况可能并不总是这样。在这种情况下，一个折衷方案必须由分析师决定，权衡ε和准确性。
在表3的第三列中，我们进一步报告算法和数据的公平性的ε值差异，经验计算的测试集(ε=2.06-DF)。这是一个学习算法放大原始数据中的偏差的扩展方法，这种现象称为偏差放大。在大多数情况下，学习算法增加了数据的偏差。有趣的是，当分类器被赋予国籍属性时，偏差略小于原始训练数据的偏差。我们假设这又是由于过度拟合，但在这种情况下，分类器学习了一种“逆向歧视”，与其他偏差的方向相反。
6 总结
我们提出了差异公平，这是一种基于交叉理论的公平性的数学测量方法，它与差分隐私公平有关。我们的实证结果表明，差分公平性可以测量多个受保护属性的（不）公平性，以确定算法和数据中的不公平，以及工程选择的影响，如特征选择。在未来，我们计划开发使用我们的标准作为一个正则化器的学习算法，自动平衡公平性和准确性之间的平衡，并且贝叶斯模型是估计数据分布的差异公平的数据有效方式。
引用Foulds J, Pan S. An Intersectional Definition of Fairness[J]. arXiv preprint arXiv:1807.08362, 2018.
致谢本文由南京大学软件工程系2019硕士生张朱佩田翻译转述。
/3 
