原创 公平性度量指标:基于矩阵分解的协同过滤方法

2019-11-14 10:28 588 2 2 分类: 机器人/ AI 文集: 人工智能

提出了新的推荐算法公平性度量指标,并阐明了对其进行优化以解决各类不公平性问题。推荐系统基于用户的历史行为而产生支持决策的结果推荐,其在电影、商品、求职和课程推荐中都被广泛采用。但推荐系统是基于可观测的数据进行预测,因而来自数据样本的偏差必然也会导致推荐结果的误差。因而作者先对推荐算法中的不公平性问题公理化,并提出了5个可供优化的公平性目标,每个目标都可通过惩罚因子对其进行正则化。实验证明该方法能够更好地评估不公平性,并且不降低预测模型准确性,而只是需要权衡不同的公平性。

该文章主要关注与广泛用于推荐系统中的协同过滤算法,该算法通过对系统中的其他用户对对象的评分及行为从而作出推荐。换句话说,系统过滤通过聚合用户的喜好和选择,以此作为参考依据,向当前用户推荐具有类似喜好用户的产品。协同过滤算法通过使用人与物的共现统计特征作出预测,即UI(User-Item)矩阵。大部分协同过滤算法都假设未评分的用户随机的,但相反有研究表明,抽样的结果与用户的真实偏好有明显差异。因此采样受到社会偏见影响,导致采样并不随机。正如此,研究如何减小这类不公平性问题是未来的一大研究方向。

基于矩阵分解的协同过滤方法:

超越平等:协同过滤算法的公平性目标

新不公平性度量指标:

value unfairness:

超越平等:协同过滤算法的公平性目标

超越平等:协同过滤算法的公平性目标

超越平等:协同过滤算法的公平性目标

实验结果:

作者在模拟数据及真实数据上对上述指标进行了验证,其结果如下图:

超越平等:协同过滤算法的公平性目标

图 1 模拟数据上的误差及不公平性度量

超越平等:协同过滤算法的公平性目标

图 2 真实数据上的误差及不公平性度量

实验结果表明,每种数据缺陷都将导致推荐结果的不公平,并且由于用户的不平衡即观测结果的差异都将导致该不公平性。

结论:

该文章讨论了推荐系统中存在的各类不公平现象,以及其可能出现的原因,并利用实验证明了两方面原因的正确性:用户不平衡和观测值误差。并且作者发现,即便对于准确的观测数据,仍可能出现推荐不公平现象,其还受用户偏好的影响。基于此,作者提出了4大不公平性指标:value unfairness、absolute unfairness、underestimation unfairness和overestimation unfairness,并尝试在目标函数中加入公平性因子,用以惩罚高估和低估的场景。

文章评论1条评论)

登录后参与讨论

curton 2019-11-17 15:17

学习了
相关推荐阅读
红旗不倒 2020-08-04 14:33
电脑主板IC、贴片元器件大面积腐锈,老王DIY组装后让人哭笑不得
老王看起来近五十岁,交谈中可以得知他对电脑还是挺有“研究”的,特别是当我拆下机箱内的配件时,他能告诉我告诉我这个内存,这个是CPU还有那个是硬盘,其实它说着这些配件名称时,作为一个电脑专业维修的我来说...
红旗不倒 2020-07-23 10:49
廉价智能手环心率监测功能造假,电商平台便宜货不可贪
随着科技的发展与进步,相信许多朋友都已经拥有了属于自己的可穿戴设备,不论是VR眼镜还是智能手表或智能手环,都为我们打造了一个更加完美简单高效便捷的科技生活体验。而我们今天要讲的主角,正是智能手环,准确...
红旗不倒 2020-07-17 17:00
苹果赔偿三星9.5亿美元的原因:购买了OLED面板屏幕?
很客观地讲,今年年初这场黑天鹅事件的影响对苹果公司是非常非常大的。随着时间的推移,蝴蝶效应也渐渐在苹果的身上显现了出来,刚开始,苹果公司关闭线下门店,这也使得苹果的全球出货量或多或少的遭受到了影响。而...
红旗不倒 2020-07-16 15:07
三星6G网路技术白皮书的发布,比5g频谱使用效率速度的2倍
预期将加入更多无线网路连接模式、人工智慧等技术三星公布旗下对于第六代行动网路技术 (6G)白皮书,藉由本身从前端连网装置到后端网通设备均有涉足发展经验,分享5G网路之后的下一代行动网路发展看法,同时更...
红旗不倒 2020-07-07 14:27
LAMP:通过导数计算的基于图的机器学习算法的数据来源
1 摘要数据来源跟踪确定与给定输出相关的一组输入。它使数据工程中的质量控制和问题诊断成为可能。大多数现有技术通过跟踪程序依赖性来工作。他们无法从数量上评估相关输入的重要性,这对于机器学习算法至关重要,...
红旗不倒 2020-07-07 14:25
从华强北热卖二手苹果手机对国产品牌手机引发的思考
在华强北从事二手手机销售也有10几年了,从当初巅峰时刻的HTC再到巅峰时刻的三星,然后到一直很火爆的苹果。随着HTC,三星在国内市场的陨落,国产机品牌 的崛起。很多人开始选择国产品牌,但是还有相当大的...
广告
我要评论
1
2
广告
关闭 热点推荐上一条 /5 下一条