原创 公平性度量指标:基于矩阵分解的协同过滤方法

2019-11-14 10:28 2198 15 2 分类: 机器人/ AI 文集: 人工智能

提出了新的推荐算法公平性度量指标,并阐明了对其进行优化以解决各类不公平性问题。推荐系统基于用户的历史行为而产生支持决策的结果推荐,其在电影、商品、求职和课程推荐中都被广泛采用。但推荐系统是基于可观测的数据进行预测,因而来自数据样本的偏差必然也会导致推荐结果的误差。因而作者先对推荐算法中的不公平性问题公理化,并提出了5个可供优化的公平性目标,每个目标都可通过惩罚因子对其进行正则化。实验证明该方法能够更好地评估不公平性,并且不降低预测模型准确性,而只是需要权衡不同的公平性。

该文章主要关注与广泛用于推荐系统中的协同过滤算法,该算法通过对系统中的其他用户对对象的评分及行为从而作出推荐。换句话说,系统过滤通过聚合用户的喜好和选择,以此作为参考依据,向当前用户推荐具有类似喜好用户的产品。协同过滤算法通过使用人与物的共现统计特征作出预测,即UI(User-Item)矩阵。大部分协同过滤算法都假设未评分的用户随机的,但相反有研究表明,抽样的结果与用户的真实偏好有明显差异。因此采样受到社会偏见影响,导致采样并不随机。正如此,研究如何减小这类不公平性问题是未来的一大研究方向。

基于矩阵分解的协同过滤方法:

超越平等:协同过滤算法的公平性目标

新不公平性度量指标:

value unfairness:

超越平等:协同过滤算法的公平性目标

超越平等:协同过滤算法的公平性目标

超越平等:协同过滤算法的公平性目标

实验结果:

作者在模拟数据及真实数据上对上述指标进行了验证,其结果如下图:

超越平等:协同过滤算法的公平性目标

图 1 模拟数据上的误差及不公平性度量

超越平等:协同过滤算法的公平性目标

图 2 真实数据上的误差及不公平性度量

实验结果表明,每种数据缺陷都将导致推荐结果的不公平,并且由于用户的不平衡即观测结果的差异都将导致该不公平性。

结论:

该文章讨论了推荐系统中存在的各类不公平现象,以及其可能出现的原因,并利用实验证明了两方面原因的正确性:用户不平衡和观测值误差。并且作者发现,即便对于准确的观测数据,仍可能出现推荐不公平现象,其还受用户偏好的影响。基于此,作者提出了4大不公平性指标:value unfairness、absolute unfairness、underestimation unfairness和overestimation unfairness,并尝试在目标函数中加入公平性因子,用以惩罚高估和低估的场景。

文章评论1条评论)

登录后参与讨论

curton 2019-11-17 15:17

学习了
相关推荐阅读
红旗不倒 2023-04-24 16:28
多谐振荡电路原理、计算公式,施密特,单稳态电路,多谐振荡电路优缺点
多谐振荡电路原理、多谐振荡电路计算公式、施密特,单稳态电路,多谐振荡电路优缺点多谐振荡电路是一种具有放大作用的电路,它利用电容的充放电特性来产生振荡信号。多谐振荡器的基本原理是,当外加在电感两端的交流...
红旗不倒 2023-03-29 17:23
可控硅材料介绍、作用、与igbt优缺点对比
本文分享可控硅材料介绍、作用、可控硅和igbt优缺点对比可控硅是什么材料,有哪些作用可控硅,又称为晶闸管(SCR),是一种电子器件,常用于控制交流电的电压和功率。可控硅由四层半导体材料组成,其中P型半...
红旗不倒 2023-03-24 10:49
强大的chatgpt NLP技术,可能无法单独吞噬世界?
人工智能编码 尽管软件被认为是“吞噬世界”,但由于开发人才的获取和构建软件所需任务数量的增加,它在这样做方面受到了严重限制。需要软件开发人员的工作数量正在以远远超过进入市场填补这些职位的熟练专业人员...
红旗不倒 2023-03-20 10:47
ChatGpt汇总:全球各国在6G发展状况?5G、4G、3G、2G和1G的网速和覆盖能力对比
6g 普及了吗,对比5、4、3、2、1G网速、关键核心技术、覆盖能力、成本等汇总对比,全球各国在6G领域的发展状况?网速方面:2G:数字式移动电话技术,可提供更快的数据传输速度和更好的语音质量。4G:...
红旗不倒 2023-03-15 16:49
电机功率计算公式(三相平衡功率、异步电机功率)详细解读,看得明明白白
电机功率的计算公式需要考虑到电机的实际情况、电力质量等因素,因此具体的计算需要根据实际情况进行调整。以下是三相平衡功率和异步电机功率的计算公式:三相平衡功率计算公式:三相电源输入功率 P = √3 ×...
红旗不倒 2022-08-03 18:10
IC面临库存调整、英飞凌Q3收入增长超预期、台积电将用中微刻蚀机生产5纳米
2022年8月3日,半导体行业快讯汇总:15:05据台媒报道,近来半导体行业被“砍单潮”席卷,OSAT(专业委外封测代工)业内人士称,消费电子应用的成熟基础IC面临库存调整,先前数次调涨封测代工费用的...
我要评论
1
15
关闭 站长推荐上一条 /2 下一条