编者按：人工智能发展越来越快，人们开始担忧的问题也越来越多。虽然大多数涉及人工智能领域的人都对它的发展感到兴奋，也有许多人担心如果没有适当规划，高级人工智能可能摧毁全人类。本文作者 Ariel Conn 在文章分析了哲学家和伦理学家在说起人工智能的长远发展时有哪些担忧？

在最近议题为“人工智能的伦理问题”的纽约大学会议上，机器智能研究所的Eliezer Yudkowsky解释说，AI如果有一天真的发起疯来，并不会像终结者，而类似于米老鼠电影《魔法师的弟子》中的那个被米奇赋予生命的扫帚。米奇命令扫帚去挑水后，扫帚就全神贯注于完成这个目标，不管米奇做什么，它都不闻不问，只关心如何以更高的效率完成这个任务。一个设计不佳的人工智能很可能就是这样——而现实生活中可没有电影里最后出现的魔法师来阻止这场乱子。

为了形象地展示过于能干的高级人工智能可能出什么问题，牛津大学的哲学家Nick Bostrom提出了一个叫做“致命纸夹机”的思想实验。假设你在进行销售纸夹的业务，你想制造一个用于尽可能多的生产纸夹的人工智能，这看起来似乎不会有什么危害。但是，因为这是给人工智能设定的唯一目标，“聪明”的人工智能可能会只关注于制造纸夹，而牺牲掉其他你关心的一切事物。当材料用完时，它会很快将周围的一切能找到的东西回炉，变成纸夹的原料，然后再重新组装成纸夹。很快，它将毁灭地球上的生命，地球，太阳系，甚至是整个宇宙——仅仅是为了完成一个命令：尽可能多的生产纸夹，永远也停不下来。

这看起来很像是杞人忧天，但不妨回想一下，“自动更正”功能给过你多少次乱七八糟的结果？再有就是2010年美股市场Flash Crash事件，谁又敢说自己没见过自己的电脑出故障时那些奇怪的反应？现在想象一下，这种单纯的（尽管看上去已经非常复杂了）的程序在指挥电力系统或是武器监控系统时会有多糟糕吧。

即便是现在，在人工智能系统的应用范围还非常狭隘的情况下，研究人员发现，简单的偏见就会导致科技世界中种族主义和性别歧视的增加；网络攻击大幅增长；军事AI军备竞赛可能已经开始了。

在会议上，Bostrom解释说，开发人工智能时可能会遇到的错误分为两种：可以日后修复的错误，和只会发生一次的错误。后者更令人担心。 Yudkowsky也总结了他的担忧，他说，“人工智能研发者面对的困难就像空间探测器工程师所面对的一样：一旦你启动了它，它就在你力所能及的范围外了。

人工智能研究员和哲学家Wendell Wallach补充说，“我们正在开发一种我们无法有效测试的技术。

随着人工智能的智能水平越来越接近人类，人工智能设计师如何确保他们的智慧结晶能适当地遵从人类的伦理？人们发现这个问题只会带来更多的问题。

有益的人工智能看起是什么样的？人工智能会有益于所有人还是某一部分人？它会增加收入不平等吗？创造一个可以感到痛苦的人工智能符合人类道德吗？在没有定义“意识”是什么的情况下能制造出有“意识”的人工智能吗？人工智能的最终目标是什么？它会帮助企业吗？它会帮助人吗？人工智能会让我们快乐吗？

“如果我们不知道我们想要什么，我们就不太可能得到它，”麻省理工学院物理学家Max Tegmark说。

来自尼亚加拉大学的哲学家Stephen Peterson总结了所有问题的要点，他鼓励听众们不仅要去想人工智能的“最终目标”是什么，也要去想如何达到这个目标。Peterson举了吝啬鬼Scrooge作为例子，Scrooge总是想要幸福，而过去、现在和未来的圣诞幽灵帮助他意识到，金钱也许不能帮助他实现这个目标，朋友和家人却可以。（译注：这是狄更斯小说《小气财神》中的内容）

Facebook的人工智能研究总监Yann LeCun认为，这种先进的人工智能还有很长的路要走。他用巧克力蛋糕比喻了当前人工智能发展状态。“我们已经知道如何做糖霜和樱桃了，”他说，“但我们不知道如何做出蛋糕成品来。”

但如果人工智能的发展就像烤蛋糕，那么人工智能的道德就像蛋糕的起酥部分，需要微妙的平衡和不断关照才能做到完美。在为期两天的活动中，大多数参与者都认为，确保人工智能不犯下永久性错误的唯一方法，不论高级人工智能何时成形，就是从现在就开始着手解决道德和安全问题。

这不代表会议的参与者不对人工智能感到兴奋。事实上他们也因人工智能的发展兴奋不已。人类和人工智能协同工作可以极大的改善生活水平。关键是要在制造有益的人工智能时，了解可能出现什么问题，这些问题又要如何解决。

“当涉及到人工智能时，”康涅狄格大学的哲学家Susan Schneider说，“哲学就是生与死的问题。”

文章来源：虫洞翻翻 译者ID：锎-252