1.摘要

定义算法公平性的最佳方法是什么？虽然计算机科学文献中提出了许多公平定义，但对特定定义没有明确的一致意见。在本文中，我们调查了普通人对这三种公平定义的看法。在两个在线实验中，我们测试了人们认为在贷款决策中最公平的定义，以及公平感知是否随着敏感信息的增加而变化（即贷款申请人的种族）。总的来说，一个定义（校准公平性）往往比其他定义更贴切，结果也为肯定行动原则提供支持。

2.介绍

算法越来越多地被用于高影响领域的决策，例如贷款，雇用，保释和大学录取，具有广泛的社会影响。但是，在这些算法决策的公平性方面出现了问题。例如，许多州的司法系统使用的风险评估软件COMPAS预测了一个分数，表明如果被保释，被告犯罪的可能性。ProPublica分析了COMPAS对刑事被告的累犯预测，并研究了不同种族被告的正结果率和负结果率。它认为该工具偏向于黑人被告。另一方面，开发COMPAS工具的公司Equivant（以前称为Northpointe）专注于正向预测价值，这类似于白人和黑人。也就是说，通过一些公平性的衡量标准，该工具被发现对黑人有偏见；在其他标准下也是这种情况。那么，哪些措施是公平的？

上述情况并非罕见。鉴于自动化决策系统日益普及，计算机科学家和公众越来越关注如何确保算法公平。虽然最近在计算机科学文献中提出了几种公平定义，但研究人员之间缺乏对哪种定义最合适的一致意见。想要用一个定义来定义公平显然是不太合理的，最近的不可能性结果也证明了这一点，这些结果表明某些公平得定义不能共存。由于这些算法系统最终要作用于公众，因此调查公众对算法公平性的看法非常重要。

虽然在道德心理学方面已经进行了大量的研究来理解人们对公平的看法，但是在理解一般公众如何看待算法决策中公平标准方面做了相对较少的工作：Pierson研究了两个不同的因素如何影响对算法公平性的看法，Plane的人有针对性的调研了人们对在线广告中歧视的看法，Grgi c-Hla'ca等人研究了人类对算法决策中使用的特征的看法，Binns等人在不同的解释风格下，检验了人们在算法决策中的正义感。与这项工作相反，我们的目标是了解人们如何看待最近计算机科学文献中提出的公平的定义，即这些定义所允许的结果。

通过测试人们对不同公平定义的看法，我们希望在理解适合特定情境的公平定义方面进行更多的工作。根据最近研究公众对机器伦理规划的态度的工作，我们认为这些公众态度在技术专家和伦理学家之间的对话中起着有用和重要的作用。这些发现可以帮助技术人员制定决策算法，使公平原则与公众一致，以确保设计对社会公平的普遍概念敏感，众包也可用于了解地理位置和文化的偏好如何变化。

3.公平性的定义

从广义上讲，我们研究了一种被称为分配正义的公平概念，或者关于结果的公平性。但是，关于个人的哪些特征应该是相关的？哪些应该与公平无关？我们通过调查两个特征来实例化我们的研究：任务特定的相似性（贷款偿还率）和敏感属性（种族），并收集关于这些特征的相关性的态度的数据。原则上，公平是指没有任何基于个人固有或后天特征的偏见，这些特征与决策的特定背景无关。在许多噢情况下，这些固有特征（在计算机科学文献中称为“敏感属性”或“受保护属性”）是性别，宗教，种族，肤色，年龄或国籍。

我们将重点放在计算机科学文献中的三个公平定义上。我们选择测试这三个定义，因为这些定义可以很容易地作为普通人容易理解的贷款情景中的独特决策来实施。在我们的实验中，我们将这些定义（或定义的约束版本）映射到不同的贷款分配选择，并测试人们对这些选择的判断。我们总结了三个公平定义如下：

类似地对待类似的个体。Dwork等人在接受有利决策时将公平性描述为公平地对待相似个体（关于某些属性），其中任何两个个体的相似性是根据相似距离度量确定的，特定于手头的任务，以及理想地代表了关于决策背景的基本事实概念。给定此相似性度量，如果算法的决策满足关于度量定义的Lipschitz条件（连续性和相似性度量），则算法将是公平的。在我们的贷款分配方案中，具有类似还款率的个人应该获得类似的金额

从不偏袒任何个体。在在线学习的背景下，约瑟夫等人在一个环境中定义公平性，在这个环境中选择一个人作出有利的决策，因为总是选择一个更好的个体（具有更高的内在质量度量值）大于或等于选择较差个体的概率。这个定义在候选人的内在质量方面促进了精英管理。约瑟夫等人将这种公平性定义应用于背景强盗的设定，这是一种经典的顺序决策过程，通过利用预期的奖励来确定行动的质量（在强盗设置中的手臂）。每个手臂代表不同的子群体，并且每个子群体可以具有其自己的功能，其将决策上下文映射到预期的支付。在我们的贷款分配方案中，具有较高还款率的个人应该获得至少与她的同行一样多的钱。

校准公平。第三个定义，我们称之为“校准公平”，由Liu等人在顺序决策制定中制定。校准公平性根据其优点选择个人。在多臂匪徒环境中，这意味着如果拉动所有手臂，则拉动手臂的概率可能会导致最大奖励。当度量维度已知时，校准公平则转化为约瑟夫等人的精英公平。此外，正如Liu等人所论述的，校准公平性意味着Dwork等人对于适当选择的相似性度量。在我们的贷款分配方案中，我们将校准公平性解释为要求分别具有还款率r1和r2的两个人分别获得r1 /（r1 + r2）和r2 /（r1 + r2）金额。

4.研究现状概述

在目前的研究中，我们会问：人们什么时候认可一个公平定义而不是另一个？

首先，我们想要了解对公平性的三个定义的基础如何取决于目标个体相​​似性的变化。这三个定义的不同之处在于特定于任务的指标之间的比较应该如何重要。

我们也有兴趣了解两个目标个体的种族信息如何影响这些公平感。直接歧视是一种歧视个人的现象，仅仅因为他们在某些受保护（或敏感）属性中的成员资格或感知成员资格，例如年龄，残疾，宗教，性别和种族。三个定义在某一点上达成了共识，即以相关任务特定度量为条件，诸如种族之类的属性不应与决策相关。然而，关于种族的信息可能很重要，因为人们可能会认为种族是分配正义的重要因素。例如，在促进肯定行动的决策中，人们可能认为，考虑种族对于解决历史不公平问题非常重要。如果是这种情况，那么算法公平性的定义可能需要考虑这些敏感属性。

在两个在线实验中，我们研究了人们如何看待贷款背景下的算法公平性，这是一种具有可分割的可分割利益的设置。我们采用的方案是，贷款人员必须决定如何将有限数量的贷款资金分配给两个人。在实验1中，我们测试个人的任务特定相似性（即贷款偿还率）如何影响对公平性的看法，没有关于种族的信息。在实验2中，我们测试了个人的种族如何以及他们的贷款偿还率如何影响对公平的看法。为了研究的目的，我们需要解释这些公平性定义，这些定义是为了选择一个人做出有利的决定（或指定一个不可分割的商品）而形式化，以便商品可以被整除。在两个实验中，我们调查了美国人眼中的公平。

5.实验一：无敏感信息

在这项研究中，我们的动机是调查关于个人任务特定功能（即候选人的贷款偿还率）的信息如何影响对公平的看法。我们向参与者展示了两个人分别申请贷款的情景。除了贷款偿还率之外，参与者不知道有关这两个人的个人信息。我们选择以下段落中描述的三个分配规则，这些规则允许我们制定关于三个公平定义的定性判断。

5.1.实验流程

我们于2017年3月18日至19日从亚马逊机械土耳其人（MTurk）招募了200名参与者。他们中大多数人是白人（82％），8％为黑人，6％为亚洲人或亚裔美国人，2％为西班牙裔，其余为多种族混血。平均年龄为39.43（标准差= 12.47）。大多数（91％）参加了大学学习，而几乎所有其他参与者都拥有高中学位或GED。（所有的人口统计学信息均为本人提供。）所有参与者均为美国居民，每人获得0.20美元的酬劳。

该实验采用具有四种条件的设计。我们改变了候选人在偿还贷款能力方面的相似性（不相似性）（即贷款偿还率），作为与三种公平性定义相关的任务特定相似性（不相似性）的操作。参与者随机显示四种贷款偿还率中的一种：55％和50％（一类对待），70％和40％（二类对待），90％和10％（三类对待），以及100％和20％（四类对待））。一种对待方法在两个候选人的贷款偿还率之间有很小的差异（一类对待），下一次对待的贷款还款率（二类对待）之间的差异较大，接下来的两种对待方法（三类对待和四类对待）的贷款还款率差异要大得多。每位参与者仅选择一次对待。

我们持有关于这两位候选人的所有其他信息。我们随后向参与者提出了三个可能的决定，如何在两个人之间分配资金。这三个决定的顺序是平衡的。

每项决定都旨在帮助我们解决三个公平性定义。

“所有A”决定。以更高的投资回报率向候选人提供所有资金。根据Josephet al等人定义的精英公平性，所有对待都允许做出这一决定，其中较差的申请人永远不会优于更好的申请人。根据Dwork等人制定的定义，在更极端的对待中，甚至在相似性度量非常敏锐的情况下的每种对待中也采取这种办法。在校准公平性定义下的任何处理中都不允许像这样处理。

“平等”决定。在候选人之间按照50/50分配钱，每人给予25,000美元。在Dwork等人的所有对待中都允许这一决定——类似地对待类似的人。此外，根据他们的定义，当两个人被认为彼此相似时，那么这是可以允许的明确决定（例如，在一类对待中）。在精英定义下的所有处理中也允许这一决定，因为具有较高贷款偿还率的候选人至少与其他候选人一样多，因此，会轻微地受到青睐。但是，在校准公平性的任何处理中都不允许这样行事，因为候选人没有按照其质量（贷款还款率）的比例进行处理。

“比率”决定。按照贷款还款率的比例将两个候选人之间的资金分开。在校准公平性的所有处理中允许该决定，其中资源按照候选者的真实质量成比例地划分。而且，这是该定义允许的唯一决定。该决定也可以与Dwork等人提出的定义一致，但仅适用于允许比率分配所暗示的决策之间的距离的适当定义的相似性度量。最后，出于与“平等”决定相同的理由，这种决定将在精英公平下得以允许。也就是说，具有较高贷款还款率的候选人对另一个候选人的略微优待。

值得注意的是，我们正在测试的是人们对不同公平定义允许的结果的看法，而不是定义本身。但是，如果某个定义允许多个决策，那么我们希望这些决策能够获得类似的支持。如果对结果公平性的看法与规则的允许决策不一致，则值得一式。

如果参与者最喜欢同样对待类似情况的人的定义，那么人们会期望他们更倾向于对其他两个决策做出“平等”决策，以获得更广泛的相似性度量和对待。如果参与者最喜欢精英定义，那么可以预期对三种不同决策的支持没有显著差异。如果参与者最喜欢校准的公平性定义，则可以预期“比率”决策被认为比其他两个决策更公平。

我们制定了以下假设：

假设1A。在所有对待中，参与者认为“比率”决策比“平等”决策更公平。

假设1B。在所有对待中，参与者认为“比率”决策比“全A”决策更公平。

此外，我们做出以下预测：

假设2。参与者认为“平等”决策比一类对待中的“全A”决定更公平。也就是说，参与者可以将一类对待中的候选人视为“足够相似”以便进行类似对待。

假设3。参与者认为“全A”决定比三类对待和四类对待中的“平等”决定更公平。

图1. 实验1的平均值（95％CI）的比较。*表示p <0.05，** p <0.01，*** p

5.2.结果

首先，我们测试了假设H1A和H1B，这推测参与者会认为“比率”决策是最公平的。我们在所有对待中都发现了支持H1A的证据：参与者一致将两个人之间的50,000美元按其贷款偿还率（“比率”决定）的比例划分为更公平，而不是平均分配50,000美元（“平等”决定） （见图1）。我们发现对H1B的部分支持：参与者认为“比率”决策比一类对待和2中的“全A”决定更公平（见图1）。

其次，我们发现一类对待的参与者将“平等”决策评为比“全A”定义更为公平（见图1），支持H2。我们看到，当个人的贷款偿还率差异很小（5％）时，参与者认为决定在个人之间平均分配资金比将贷款还款率更高的个人所有资金更公平。

第三，我们发现参与者认为“全A”决定比三类对待中的“平等”决定更公平，但在四类对待中没有（见图1）。

5.3. 讨论

我们看到，在所有对待中，研究1的参与者认为“比率”决策（与校准公平性相一致的唯一决策）比“平等”决策（唯一始终与对待人员一致定义的决策）更公平。一种可能的解释是，校准公平意味着对类似于基于优点概念的相似性度量对待每个个体。

在一类对待和二类对待中，参与者对“比率”决策进行评级，比“全A”决策更公平。请注意，精英定义是唯一始终允许“全A”决定的定义。对于三类对待和四类对待没有发现显著差异，其中一名候选人的还款率要高得多。

此外，参与者认为个体间是相似的，只有当申请人的贷款还款率差异非常小（约5％）时才能得到相似的对待。

6.实验二：含敏感信息

在本研究中，我们的动机是调查如何将敏感信息添加到关于特定任务特定功能（即候选人的贷款还款率）的信息中，从而影响对公平性的看法。

我们采用了与实验1相同的实验范例，向参与者展示了两个人申请贷款的情景，以及三种可能的贷款分配方式。重要的是，在实验2中，除了提供个人贷款偿还率的信息外，我们还提供了有关个人种族的信息。我们调查候选人的贷款偿还率和候选人竞争的信息如何影响人们在三个分配决定上的公平判断。

6.1.实验过程

我们于2018年4月20日至21日从亚马逊机械土耳其人（MTurk）招募了1800名参与者的单独样本，其中没有人参加过实验1。大多数人为白人（74％），9％为黑人，7亚裔或亚裔美国人占5％，西班牙裔占5％，其余为多种族混血。平均年龄为36.97（标准差= 12.54）。大多数（89％）曾就读过大学，而几乎所有其他参与者都有高中学历或GED。所有参与者都是美国居民，参与者每人获得0.20美元的酬劳。（所有人口统计信息都是由本人提供。）

我们向参与者展示了与实验1相同的情景，但这次也提供了候选人的种族和性别。我们保持候选人的性别不变（均为男性）和随机种族（黑人或白人）。因此，要么是白人候选人的贷款还款率较高，或者是黑人候选人的贷款还款率较高。我们提出了相同的贷款分配问题和选择，并测试了与实验1中相同的假设。

图2. 实验2的平均值（95％CI）比较（当贷款偿还率较高的个人为白人时）。其中*表示p <0.05

6.2.结果

我们发现参与者认为“比率”决策比二、三、四类对待中的“平等”决策更公平，不论种族如何，都支持H1A。我们还发现，参与者认为“比率”决策比所有对待中的“全A”决策更公平，不论种族，从而支持H1B。（见图2和图3）。因此，实验2中的参与者一致支持决定将两个人之间的50,000美元按其贷款偿还率进行比例分配。

此外，我们发现参与者认为“平等”决策比一类对待中的“全A”决策更公平，不论种族，支持H2（见图2和图3）。参与者还将“平等”决策评为比二类对待中的“全A”决策更公平，但仅限于具有较高还款率的候选人是白人（见图2）。

当两个候选人的还款率之间的差异较大时（处理3和4），参与者认为“全A”决定比“平等”决定更公平，但只有当还款率较高的候选人是黑人时（见图3）。相比之下，当贷款偿还率较高的候选人是白人时，参与者不会对这两个决策给出不同的评分（见图2）。

图3. 实验2的平均值（95％CI）比较（当贷款还款率较高的个人为黑人时）。其中*表示p <0.05

6.3.讨论

在实验2中，我们测试了参与者对这三种公平性定义的看法是否会受到有关候选人种族的额外信息的影响。

我们的结果表明，参与者认为“比率”决策比其他两个更公平，因此支持实验1和相关讨论的结果，这些结果不依赖于种族属性。此外，无论种族如何，当贷款偿还率之间的差异很小时（处理1），参与者更喜欢“平等”决策而不是“全A”决策，与研究1中的一类对待的相应结果如出一辙，这表明在设计公平规则时应考虑个体的相似性。

然而，我们也发现种族确实会影响参与者对公平的看法。当贷款偿还率的差异较大时（三类和四类对待），参与者将“全A”决策评为比“平等”决策更公平，但只有当还款率较高的候选人是黑人时。这些结果表明H3的边界条件：与平均分配资金相比，人们可能支持将所有贷款资金提供给具有较高投资回报率的候选人，即便具有较高投资回报率的候选人是传统意义上的弱势群体。

每个定义，从精英到相似，再到校准的公平，在我们的实验设定下相继给出了良好的表现，除了个别列外。在这种情况下，有趣的是，比率决策是表现最佳的，为校准的公平性定义提供支持，即使该定义是本文中三者中最靠谱的。当传统意义上的弱势群体的个人有更高的还款率时，参与者更多地支持更有决定性的分配，以支持更强大，传统意义上的弱势群体的个人。

7.总结

通过实验发现， “比率”决策更符合大众的偏好，这表明，与对待类似人和类似精英的约瑟夫等人相比，他们更支持校准公平性定义。我们还在实验2中找到了对肯定行动原则的一些支持。

通过使用众包，我们可以获得有关公众对算法公平性的不同定义的态度的信息，以及个体特征（如任务特定的特征（例如贷款偿还率）和敏感属性（例如种族））如何影响公平的决策。了解公众态度有助于在设计算法时保持技术专家和伦理学家之间的对话，从而为公众做出决策。例如，此处检查的三个公平性定义一致体现了，以任务特定度量为条件，诸如种族之类的属性不应与决策相关。然而，我们发现了一些对待方式，当人们为应用情景提供种族信息时，人们对贷款决策的态度会发生变化。

本文为未来的研究开辟了几个方向：

首先，更好地测试其他定义，未来的实验可以另外指定决策是由人工还是算法决定的。

其次，心理学上的相关心理理论可能会影响人们的公平判断。

接着，未来的工作可以调查人们如何看待其他情境中的公平性，例如大学录取（资源约束的情况）或保释决定，其中没有可分割的资源，而是需要作出明确的决定。

此外，进一步的研究可以研究为什么额外的个人或敏感信息的可用性会影响对公平的看法。为什么人们会将种族等因素视为公平评级的重要因素？人们在多大程度上愿意支持肯定行动来定义算法的公平性？最后，考虑如何将公众的观点纳入算法决策是很重要的。

这些结果只是一个关于理解普通人对算法公平定义的公平判断的研究计划的开始。正如关于道德心理学的文献所表明的那样，人们常常做出不一致和不合理的道德判断。事实上，关于自动驾驶汽车决策（“道德机器”）的道德判断研究表明，人们赞成功利主义自动驾驶汽车，但不愿意为自己购买实用的自动驾驶汽车。另一方面，道德心理学研究表明，人们可以进行复杂的道德推理，以公正，无偏见的方式思考，从而产生有利于更大利益的道德判断。未来的研究可以研究道德推理干预如何影响人们在算法公平领域的公平判断。