现在定期使用算法来确定候审的被告是否太危险而不能被释放回社区。在某些情况下，黑人被告比白人被告被错误分类为高风险的可能性要大得多。为了减小这种差异，最近已经提出了几种技术来实现算法公平性。在这里，我们将算法公平性重新定义为约束优化：目标是在满足减少种族差异的形式公平性约束的同时，最大化公共安全。我们证明了对于过去的几种公平性定义，得出的最佳算法要求拘留在种族特定风险阈值以上的被告。我们进一步证明了最佳的无约束算法要求对所有被告采用一个单一的、统一的阈值。因此，不受约束的算法可以最大程度地提高公共安全性，同时还可以满足人们对平等的一项重要理解：所有个人都遵循相同的标准，而与种族无关。由于最佳约束算法和非约束算法通常有所不同，因此在提高公共安全性和满足算法公平性的主流概念之间存在紧张的排斥关系。通过研究来自佛罗里达州布劳沃德县的数据，我们发现这种排斥在实践中可能很明显。我们专注研究审前发布决策的算法，但是我们讨论的原理适用于其他领域，也适用于执行结构化决策规则的人类决策者。

1.介绍

全国法官使用算法来帮助决定被告在候审期间是应该被拘留还是应该被释放。一种名为COMPAS的算法，将被告的风险分数分配在1到10之间，该分数表明他们基于年龄，性别和犯罪记录等100多种因素来犯下暴力犯罪的可能性。例如，得分为7的被告的再犯罪率是得分为3的被告的两倍。因此，被分类为高风险的被告在等待审判时比被分类为低风险的被告更有可能被拘留。这些算法未明确使用种族作为输入。尽管如此，对佛罗里达州布罗沃县被告的分析显示，黑人被告人更有可能被归类为高风险。此外，在最终没有再犯罪的被告中，黑人被标记为有风险的可能性是白人的两倍以上。即使这些被告没有继续犯罪，但被归类为高风险意味着他们将受到法院的更严厉对待。为了减少这种种族差异，最近有几位作者提出了各种公平决策算法。在这里，我们将算法公平性重新表述为约束优化：目标是在满足形式公平性约束的同时最大化公共安全。我们证明，对于过去的几种公平性定义，得出的最佳算法需要对个人的风险评分应用多个针对种族的阈值。例如，可能会拘留得分高于4的白人被告，但黑人被告只有得分高于6才被拘留。我们进一步证明，最佳的无约束算法要求对所有被告采用统一的统一阈值。因此这个最大限度地提高安全性的规则满足了对平等的一个重要理解：所有个体，不论种族，都必须遵守相同的标准。坚持过去的公平定义会大大降低公共安全；相反，仅针对公共安全进行优化会产生明显的种族差异。我们专注研究审前发布决策的算法，但是我们讨论的原理适用于其他领域，也适用于执行结构化决策规则的人类决策者。首先，我们强调算法决策并不排除额外的或替代性的政策干预措施。例如，可以为释放的被告提供强有力的社会服务，以减少再犯的发生，或者得出结论，用非拘禁监督代替审前拘留更为有效和公平。此外，不管使用哪种算法，在个别情况下都可能需要人工判断。

2.背景

算法公平定义

现有的算法公平性方法通常分两步进行。首先，定义公平的正式标准； 然后，制定决策规则以完全或近似地满足该标准。为了正式定义过去的公平性措施，我们引入了（随机）决策规则的一般概念。假设我们有一个向量xi∈Rp，我们将其解释为个体i的可见属性。例如，x可能代表被告的年龄，性别，种族和犯罪记录。我们考虑二元决策（例如a0=释放和a1=拘留），并且将决策算法或决策规则定义为指定每个人采取哪种行动的任意函数d。为了做出概率决定，我们只要求d（x）∈[0,1]。

定义2.1（决策规则）。一个决策规则是任意可测量的函数

d（x）为对具有可见属性x的个体采取行动a1的概率。

在定义算法公平性之前，我们需要另外三个概念。首先，我们定义每个人的同组成员从集合{g1,…,gk}中获取一个值。在大多数情况下，我们可以想象这些组表明一个人的种族，但它们也可能代表性别或其他受保护的属性。我们假设可以从可观察属性xi的向量推断出一个人的种族群体，因此用g(xi)表示i的种族群体。例如，如果我们将种族编码为向量x中的坐标，则g只是对该坐标的投影。其次，对于每个人，我们假设有一个数量y，该数量指定采取行动a1相对于采取行动a0的收益。为简单起见，我们假设y是二元的，并被归一化为值0和1，但是我们的许多结果可以扩展到更一般的情况。例如，在预审阶段，拘留那些如果被释放就会犯下暴力罪行的被告是有益的。因此，对于那些如果被释放会犯下暴力罪行的被告，我们有yi=1，否则，yi=0。

在这样的设定下，我们现在描述算法公平性的三个流行定义。

(1)统计均等意思是在每个种族群体中都有相等比例的被告被拘留。 例如，白人和黑人被告以同样的比例被拘留。从形式上讲，统计均等意思是：

(1)

(2)条件统计均等意思是在控制有限的“合法”风险因素集合的情况下，每个种族组中被拘留者的比例相同。例如，在先前被定罪次数相同的被告中，黑人和白人被告人的犯罪率相同。假设

是x到合法的因子的投影。那么，条件统计均等，就是：

(3)预测平等是指各个种族群体的决策准确性相同，用误报率衡量。 这种情况意味着，如果释放后就不会继续犯下暴力罪行的被告中，各个种族的拘留率是相等的。 从形式上讲，预测平等意味着：

如上所述，对COMPAS的主要评价是:黑人的误报率高于白人。

3.最佳决策规则

希望满足特定的公平定义的决策者必须受到他们可以应用的一系列决策规则的限制。在预审阶段，必须平衡两个因素：一方面是防止被释放的被告犯下的暴力犯罪的收益，另一方面是拘留被告带来的的社会和经济成本。为了捕获这些成本和收益，我们定义决策规则的即时效用如下。

(6)

其中

. 后来的表述证明，当

时，准确地拘留一个人是有益的，并为下面的推导提供了方便的公式。

在实践中，通常很难估算出个人拘留的成本和收益，因此我们着手解决这个问题。在满足选定公平性标准的规则中，我们假设政策制定者会更喜欢能够立即发挥效用的规则。例如，如果政策制定者希望确保统计均等，则他们可能首先考虑所有保证满足统计均等的决策规则，然后在此子集中采用效用最大化规则。对于我们考虑的三个公平性定义（统计均等，条件统计均等和预测平等），我们接下来表明，得出的最佳算法是基于

的简单确定性阈值规则。对于统计均等和预测平等，当

超过特定组的阈值时，最佳算法会扣留被告。例如，如果

，则可能会拘留黑人被告，如果

，则可能会拘留白人被告. 统计均等的确切阈值与预测平等的阈值不同。对于条件统计均等，最佳决策规则中的阈值取决于组成员资格和“合法”因子l(X)。最后，我们证明了不受约束的效用最大化算法将单个统一阈值应用于所有个体，而与组成员身份无关。重要的是，由于最佳约束算法不同于最佳无约束算法，因此公平性是有代价的。

4.公平的代价

如上所示，过去公平概念下的最佳算法与无约束解不同。因此，满足公平的通用定义意味着在理论上必须牺牲某种程度的公共安全。我们接下来讨论这个公共安全损失在实践中可能有多大的问题。我们使用的是ProPublica最初从佛罗里达洲布劳沃德县收集的数据。 根据他们的分析，我们仅考虑在被捕后30天内获得COMPAS风险评分的黑人和白人被告，并且未因普通交通犯罪而被捕。我们还进一步限制了仅在惩教设施外度过了至少两年时间（通过COMPAS评估）的被告，但未因暴力犯罪而被捕，或在两年内因暴力犯罪而被捕。按照标准做法，我们使用此两年暴力累犯度量标准来近似地考虑拘留的收益yi：我们为再次犯罪的人设置yi = 1，对于没有犯罪的人设置yi = 0。对于满足这些条件的3377名被告，数据集包括种族，年龄，性别，先前的定罪次数和COMPAS暴力犯罪风险评分（介于1到10之间的离散评分）。COMPAS评分可能不是最准确的风险估计值，这是因为该评分是离散的，也因为它们没有为布劳沃德县专门培训。因此，为了估计

，我们使用L 1-正则化回归和Plat标度重新训练了一个风险评估模型，该模型预测了两年的暴力犯罪。该模型基于每个被告（种族除外）的所有可用特征。我们的风险评分在未获批准的一组被告上获得的AUC高于COMPAS评分（0.75vs。0.73）。我们注意到，根据AUC在测试集上的测量，向该模型添加种族并不能提高性能。

对于每个决策规则，我们估计两个数量：相对于仅针对公共安全进行优化（忽略形式公平性要求）的规则而言，获释被告犯下的暴力犯罪的增加； 以及被拘留的低风险被告的比例（即如果我们再次仅考虑公共安全将被释放）。我们对数据进行100次随机训练测试，计算出这些数字。 在每次迭代中，我们训练风险评分模型并使用70％的数据找到最佳阈值，然后在剩余的30％上计算两个统计量。关系是随机打破的，我们报告所有运行结果的平均值。

表1：根据布劳沃德县的数据，满足共同的公平定义会导致拘留低风险的被告，同时降低公共安全。对于每个公平性约束，相对于仅针对公共安全进行优化的规则，我们估计释放的被告所犯的暴力犯罪的增加；以及被拘留的低风险被告的比例（即如果我们再次仅考虑公共安全将被释放）。

对于每个公平性约束，表1显示，暴力犯罪增加而低风险被告被拘留。例如，当我们强制执行统计均等时，被拘留的被告中有17％的风险相对较低。因此，释放了相同数量的高风险被告（因为我们固定了被拘留者的人数），会导致释放的被告中的暴力累犯率估计增加了9％。 因此，为了满足流行的算法公平性概念需要付出明显的代价。

5.公共安全的代价

受制于满足统计均等，条件统计均等或预测平等的决策规则会降低公共安全。但是，最大化公共安全的单一阈值规则通常会违反这些公平性的定义。例如，在布劳沃德县的数据中，使用单一阈值规则最佳地拘留30％的被告意味着，有40％的黑人被告被拘留，相比于18％的白人被告，这违反了统计均等。 在最终没有继续犯下暴力罪行的被告中，有14％的白人被拘留，而32％的黑人被拘留，这违反了预测平等。

这些差异的原因是，布劳沃德县的白人和黑人被告人的风险分布

不同，如图1所示。特别是，大部分黑人被告的风险评分较高，部分原因是黑人被告更有可能事先被捕，这是重新犯罪的有力指标。重要的是，尽管算法设计人员可以根据这些风险评分选择不同的决策规则，但该算法本身无法更改风险评分，从而影响布劳沃德县人口的基本特征。

当总体风险Pr（Y = 1 |g(X) = gi）在gi组之间不同时，Kleinberg等人建立了不同公平措施的不相容性。 但是，即使各群体的总体风险相同，我们在最大程度提高公共安全与满足各种算法公平性概念之间所确定的张力仍然持续存在。

6.检测歧视

到目前为止，我们已经考虑过的算法为每个个体输出决策d（x）。 但是实际上，像COMPAS这样的算法通常会输出分数s（x），称该分数表示被告的风险

；然后，决策者使用这些风险估算来选择一项行动（例如，释放或拘留）。

在某些情况下，用于生成这些分数的过程和数据不会公开，这引发了人们对分数本身具有歧视性的担忧。为了解决这一问题，研究人员经常检查分数是否如等式4所定义的那样被校准。由于必须对真实概率

进行校准，因此可以合理地预期近似于这些概率的风险估计也需要进行校准。图2显示COMPAS分数确实满足此属性。例如，在COMPAS评分表得分为7的被告中，有60％的白人再次犯案，这与黑人被告的61％几乎一致。

图2

但是，仅给出分数s（x）和结果y，就无法确定这些分数是对

的准确估计，还是已被策略性地设计为产生种族差异。Hardt等人在讨论“遗忘”措施时也有类似的观察。 考虑一个假想的情况，即恶意决策者想要释放所有白人被告，即使他们的风险很高。为了保护自己免受歧视的侵害，他对被告不论种族如何都采用了中性的30％门槛。假设20％的黑人会再犯，并且决策者的算法使用其他信息（例如先前的逮捕）将黑人划分为三个风险类别：低风险（重新犯罪的机会为10％），平均风险（机会为20％）和 高风险（40％的机会）。进一步假设白人的风险总体上与黑人相同（其中20％的罪犯再次犯罪），但是决策者忽略了个人特征，并标记了每个白人被告的平均风险。该算法已过校准，因为白人和黑人所标记的平均风险率都在20％左右。但是，所有白人被告都低于决策阈值，因此没有人被拘留。通过系统地忽略可用于区分白人被告的信息，决策者成功地进行了区分，同时使用了适用于校准分数的单个阈值。

为确保算法公平，重要的是检查算法本身，而不仅仅是检查它产生的决策。

7.讨论

最大限度地提高公共安全性要求拘留所有被认为有可能犯下暴力罪行的个人，无论其种族如何。但是，为了满足公平的通用标准，必须设置多个种族特定的阈值。因此，在最大程度地减少预期的暴力犯罪与满足普遍的公平观念之间存在着内在的排斥。这种排斥是真实的：通过分析来自布劳沃德县的数据，我们发现为公共安全进行优化会产生明显的种族差异；相反，满足过去的公正性意味着释放更多的高风险被告，对公共安全产生不利影响。

政策制定者面临艰难而必然的选择，最终尚不清楚在任何给定情况下哪种行动方案是最佳的。但是，我们注意到一个重要的考虑因素：按照种族特定的阈值，黑人被告可能会被释放，而同等危险的白人被告会被拘留。这种种族分类可能会引发严格的审查，这是美国法院根据第十四条修正案的平等保护条款所采用的最严格的司法审查标准。因此，单门槛规则在满足核心宪法法则的同时，最大限度地提高了公共安全，从而有利于该案。

在评估政策方案时，重要的是要考虑风险评分如何很好地反映了显着的成本和决策的益处。例如，尽管我们可能希望最大程度地减少等待审判的被告人所犯的暴力犯罪，但我们通常只会观察到导致逮捕的犯罪。但是逮捕是不完善的代理。少数民族社区的警务工作较重，可能导致黑人被告被逮捕的人数比白人犯下同样罪行的人数更多。结果数据不佳可能会导致人们系统地低估白人被告所构成的风险。当结果y是严重犯罪而不是轻微罪行时，这种担忧得到缓解，因为此类事件不易受到偏见的影响。Skeem和Lowencamp特别指出，因暴力犯罪被捕的人的种族分布与从受害者报告推断出的犯罪人的种族分布相符，也与自我报告的犯罪数据相符。

最后，我们注意到，有些决定被认为是集体选择，而不是个人选择，这限制了我们一直在考虑的框架的适用性。例如，当大学录取学生时，他们通常旨在选择最佳群体，而不仅仅是最佳个体候选人，因此可能决定偏离单一门槛规则，以创建具有不同层次和背景的多元化社区。

专家越来越多地在各种场合（包括执法，教育，就业和医学）中依靠算法决策辅助工具。算法有可能提高决策的效率和公平性，但是算法的设计和应用给研究人员和决策者带来了复杂的问题。通过阐明算法公平性竞争概念的含义，我们希望我们的分析能够促进讨论并为政策提供依据。