原创 公平性度量指标:基于矩阵分解的协同过滤方法

2019-11-14 10:28 563 2 2 分类: 机器人/ AI 文集: 人工智能

提出了新的推荐算法公平性度量指标,并阐明了对其进行优化以解决各类不公平性问题。推荐系统基于用户的历史行为而产生支持决策的结果推荐,其在电影、商品、求职和课程推荐中都被广泛采用。但推荐系统是基于可观测的数据进行预测,因而来自数据样本的偏差必然也会导致推荐结果的误差。因而作者先对推荐算法中的不公平性问题公理化,并提出了5个可供优化的公平性目标,每个目标都可通过惩罚因子对其进行正则化。实验证明该方法能够更好地评估不公平性,并且不降低预测模型准确性,而只是需要权衡不同的公平性。

该文章主要关注与广泛用于推荐系统中的协同过滤算法,该算法通过对系统中的其他用户对对象的评分及行为从而作出推荐。换句话说,系统过滤通过聚合用户的喜好和选择,以此作为参考依据,向当前用户推荐具有类似喜好用户的产品。协同过滤算法通过使用人与物的共现统计特征作出预测,即UI(User-Item)矩阵。大部分协同过滤算法都假设未评分的用户随机的,但相反有研究表明,抽样的结果与用户的真实偏好有明显差异。因此采样受到社会偏见影响,导致采样并不随机。正如此,研究如何减小这类不公平性问题是未来的一大研究方向。

基于矩阵分解的协同过滤方法:

超越平等:协同过滤算法的公平性目标

新不公平性度量指标:

value unfairness:

超越平等:协同过滤算法的公平性目标

超越平等:协同过滤算法的公平性目标

超越平等:协同过滤算法的公平性目标

实验结果:

作者在模拟数据及真实数据上对上述指标进行了验证,其结果如下图:

超越平等:协同过滤算法的公平性目标

图 1 模拟数据上的误差及不公平性度量

超越平等:协同过滤算法的公平性目标

图 2 真实数据上的误差及不公平性度量

实验结果表明,每种数据缺陷都将导致推荐结果的不公平,并且由于用户的不平衡即观测结果的差异都将导致该不公平性。

结论:

该文章讨论了推荐系统中存在的各类不公平现象,以及其可能出现的原因,并利用实验证明了两方面原因的正确性:用户不平衡和观测值误差。并且作者发现,即便对于准确的观测数据,仍可能出现推荐不公平现象,其还受用户偏好的影响。基于此,作者提出了4大不公平性指标:value unfairness、absolute unfairness、underestimation unfairness和overestimation unfairness,并尝试在目标函数中加入公平性因子,用以惩罚高估和低估的场景。

文章评论1条评论)

登录后参与讨论

curton 2019-11-17 15:17

学习了
相关推荐阅读
红旗不倒 2020-07-07 14:27
LAMP:通过导数计算的基于图的机器学习算法的数据来源
1 摘要数据来源跟踪确定与给定输出相关的一组输入。它使数据工程中的质量控制和问题诊断成为可能。大多数现有技术通过跟踪程序依赖性来工作。他们无法从数量上评估相关输入的重要性,这对于机器学习算法至关重要,...
红旗不倒 2020-07-07 14:25
从华强北热卖二手苹果手机对国产品牌手机引发的思考
在华强北从事二手手机销售也有10几年了,从当初巅峰时刻的HTC再到巅峰时刻的三星,然后到一直很火爆的苹果。随着HTC,三星在国内市场的陨落,国产机品牌 的崛起。很多人开始选择国产品牌,但是还有相当大的...
红旗不倒 2020-07-03 17:54
DRAM、NAND Flash芯片怎样在美光网站输入FBGA Code查询Part numbering
numbering是什么意思我们经常可以看到DRAM和NAND Flash芯片上有很多字符,我们可以通过以下方式获取更多的信息,比如生产日期,芯片编码、生产地,容量等信息。第一行:3PB11前两个字符...
红旗不倒 2020-06-23 14:56
模拟基础知识:SAR ADC模数转换器输入/出详细信息
总结:从过程控制到医疗和消费类应用,SAR ADC 凭借获取信号快照的能力及不断提高的分辨率和速度,持续证明其价值。目前的 SAR ADC 具有 8 到 20 位的分辨率,吞吐率高达 15 MSPS。...
红旗不倒 2020-06-23 14:44
“脑洞大开”的案例,还有什么是树莓派不能搭建的?
树莓派基金会(Raspberry Pi Foundation)负责人Eben Upton日前在推特上发文称,树莓派三月份的销量达到了640,000套,成为有史以来销售量第二高的时期。 他认为...
红旗不倒 2020-06-19 11:19
测试工具DeepTest : 深度神经网络驱动的 DNN自动驾驶汽车自动化
总结本文实现了一个系统化的测试工具 DeepTest,可以自动检测出 DNN 自动驾驶系统可能导致事故发生的错误决策,主要是分析摄像头捕获到的图像致使自动驾驶汽车转向的行为。首先,DeepTest 系...
广告
EE直播间
更多
我要评论
1
2
广告
关闭 热点推荐上一条 /5 下一条