不久前谷歌与OpenAI公司、斯坦福大学和伯克利大学联合发表一篇题为《AI安全的具体问题》的论文,猜想研究人员在研发和使用AI过程中可能遇到的具体问题。 谷歌研究(Google Research)的Chris Olah)周二则在一篇博文中阐述了开发出更智能、更安全人工智能的五大规则。
Olah在博文中指出:“这些都是具有前瞻性的、长期的研究问题——这些现在看起来可能是小问题,但对未来系统则至关重要。”
Olah提出的五个规则是:
避免负面效应:AI在完成一组任务时不应该被周围环境打扰。
避免奖励黑客: AI应该妥当地完成任务,而不是借助一些迂回的方法。
可扩展的监督: AI不需要接收不断的反馈或有效的输入。
安全探索:AI在学习时不应伤害自身或环境。
鲁棒性到分布式的转变: AI应该能够识别出全新的环境,并在新环境中有效地完成任务。