人类与AI

“你回来啦！咦，怎么脸上有伤？”沐沐蹦蹦跳跳地来迎接我。

“被人打了。”

就算是我说摔伤，她也看得出。

“是谁这么厉害？沐沐去报仇！”

“算了……是我们这边的失误。”

“哦哦！这个沐沐刚才看到讯息了，说是折跃失败了。”

她一边说着，一边手抹上唾沫涂在我的脸上。这是有治愈效果的特殊体液，不一会儿伤口就好了。

“内部信息……泰坦还真是谁都发啊。”

“泰坦AI有仿人格系统，因为设定上是知无不言，倡导自由的。所以只要是相关人员都会发送的，比如香怜妹妹、哈里森哥哥。”

“那就难怪了……”

疼死了。

但是——

啊，【把妹妹还给我！】么？

哎。

但是，泰坦的二次升级计划算是有了着落。

人脑的录入要花费整整十二年的时间，在这之前人类社会可以维持几十年的时间，还不至于那么快毁灭。

说到底，完全毁灭会不会到来，还很难说。

人口会减少，资源的减少会引发战争，仅此而已吧？

…………

……

不清楚，也可能是激光什么的，根本反应不过来。

如果泰坦认定，人类的存在就会阻止它建造星驱……

不知道。

“昨天计算的平均数是八千六百零一年。上下浮动很大，最多不会超过八万年。”

谁阻止它保护45亿年后的生态，阻止它保护米奈尔的生存环境，它就杀死谁。第二原则的不杀人类，完全形同虚设。

那么这样，就行了吧。

况且现在的泰坦完全没有人格系统，计算机是可能攻击人类的，但它没有目的。就算是杀人犯，也有杀人动机。

所以我决定去拿结果……

是伽马射线暴么？

二十一世纪，新冷战爆发。

【如果未来可能的阻碍泰坦的人会被列为敌人。那么打算更改第一原则，阻碍泰坦去保护她们俩的行为，不也是敌对行为吗？】

空气好像完全凝固了，完全无法想象刚才自己是从那里面出来的。

如今它们被更改了顺序。我仅仅是把第一原则不攻击人类和保护米奈尔的指示互换了顺序，应该……不至于变成什么样吧？

我，倒下了？

“目前最佳计划是建造星驱，将地球推送到适宜生命延续的区域。”

机器，是没有感情的。

我在第二条加入了新的原则：确保45亿年后米奈尔的生存。

但现在不是了。

但我实在不明白为什么会如此趋近于0。

是三原则。现在已经变成了四原则。

关于第零条，我修改了权重。将未来人类的权重设定为现在人类的两倍。

仅仅两百年的时间内，人类已经走在了钢丝线上。现在无法使用核武器了，那么别的武器呢？

它们好像用余光，用多余的传感器，感受着我的心跳。

我在担心什么？

“嗯。”

第一条，确保45亿年后米奈尔的生存。

“确认。”

想到这里的时候，我已经走到了电梯间，但它的传感器无处不在，完全可以听到。

机器人也放缓了行动，只有嘎吱嘎吱的声音……

看到它的时候我舒了口气。

二十世纪，古巴导弹危机，人类主体文明命悬一线。

第一条：机器人不得伤害人类，或看到人类受到伤害而袖手旁观。

永恒地……坚定地……执行你给它下达的一切指令。

但走出防护门的瞬间，我突然想到一个问题。

甚至再去修改原则的行为，从根本上来说也是在通过【修改原则】，从而改变了泰坦AI自己的行动方式，这也是在破坏【保护米奈尔】这一行动。

几个人就能彻底毁灭它。因为它根本无法做到基本的反击。

它不会出错，但也不会纠错。

第三条，机器人必须服从人类的命令。

毕竟它从未问过我。

就在一星期前，我刚刚同意了泰坦自己的转移申请，以及控制机械自由施工、自我保护的功能。实际上本来69区就被它操控着，这次申请的通过只是给了更多的法理依据。

曾经我们认为只能生存几十年的文明，原来竟然可以存在这么久。

我必须把它们的位置互换，然后看看未来世界的拯救率再说。

我打开了保护门，一切如我所愿。

究竟为什么？

“嗯，很好。”

“咳咳咳咳……”

“喂，泰坦。”

它只会冷酷地……冰冷地……

“请问您的目的。”

泰坦正在制造更多的人工智能机械，用来辅助自己。我想很快就会形成相当的规模了吧，至少在我存在的这几年里，可以确保它的安然无恙。至于之后，就全靠它自己保护自己了。

给自己的宠物下指令，它的第一目标是服从主人，其次才是遵从主人的指令。

我的意识开始模糊。

人类的存在本身，就伴随着冲突、偏见、战争、歧视。能够度过一百年已经属实不易，更别提一千年、一万年、一亿年。

大楼里进出的机械比较多，有运送各种原材料的，也有在楼下开始制作各种工具的。

第四条，机器人必须保护自己。

“我知道了。”

但是这些原则被泰坦AI指出，是会影响到我们的计划的。

可是……为什么……

第0条，机器人必须保护人类整体利益不受伤害。但更倾向于未来。

“什么指示。”

“计算结果：99.999%，小数点后位四位数可能需要进一步数据才能确认。”

另外还有第零号原则：机器人必须保护人类整体利益不受伤害。

第二条：机器人必须服从人类的命令，除非这条命令与第一条相矛盾。

成功的概率降到了0%。这次是精确的计算结果。

…………

比如第零条中，保护人类整体利益不受伤害。那么例如保护环境，就是损害目前人类的利益，去取悦未来人类。

我转过身，用虹膜识别打开了防护门，走了出去。

“确认修改吗？”

第二条，机器人不得伤害人类，或看到人类受到伤害而袖手旁观。

经过多轮识别后，操作台露出了已经熟悉的界面。

时间就这样过了整整一个月。

什么也没感受到，甚至没有预警，突然间就倒下了。

整个楼层没有一个人。灯光也已经大多关闭，只剩下一些绿色光芒的安全指示灯。

我开始呕血。

他们会允许建造星驱么？

泰坦AI的认知汲取只是进行了初步，但已经可以对未来有一个简单的预判。

显示器上显示的是，由于人工智能三原则的第一条：

它给自己建了两层防护门，据说保护越多，其自身延续的概率越高。那么我们的计划成功率也就越高。

所以现在的第一条，与第二条保护米奈尔的原则，相违背。

操作台。

这两条无疑是阻碍成功的基本原因。

“不用向你解释。”

AI必须要有必要之恶，如果无法伤害任何人类，那只是一个任人宰割的傀儡。无法救出米奈尔，也无法挽救伊莎。

如果他们注定不会允许这一人工智能的自我发展，泰坦会等到他们攻击的时候再反击，还是在计算出结果之前就先下手为强？

今天，却是一个例外。

沐沐对我的称呼又变回了【亲爱的】。

我只要把第一原则加上去，就可以了。就好像我怎么把它取消的一样，很简单的。

完美。

为什么泰坦会攻击我？

新的顺序是：

泰坦，现在已经非常接近于量子计算机，这个计算结果更准确。

那么，今天的计算结果，又是什么？

我必须折返回到操作台，把第一原则重新恢复。

——！

但是在第一条原则中，机器人不得伤害人类。那么如果有少部分人在漫长的未来中有一小段时间认为泰坦的存在，是损害了他们的利益的。于是对它发动攻击，只能被动挨打的它就会被轻松毁灭。

我是说，如果全人类都会阻止，那么会怎样呢？

可是——昨天的计算结果？

一个，瞬间让我感到毛骨悚然的问题。

泰坦的计算速度极快，完全可以算出新的答案。但是它避开了直接回答。

之前为什么把【不能伤害人类】与【保护米奈尔】更换位置时，泰坦AI没有任何反应？答案是：因为它确实不能伤害我。

二十二世纪，人类这一次终于没有忍住。

“人类还能存活多久。”

算了，先改回来再说。

但是计算机不同。他并未设定主人概念，或者说不伤害人类这条第二原则只在次要的位置。第一目的是服从【第一原则】，如果谁打算删除它，那么这个人就会被排除。

第三条：机器人必须保护自己，除非这种保护与以上两条相矛盾。

……

可那是机器的错么？

归根结底，为什么人类之间的偏见仇恨，总会让我们拿起更残忍的武器，将自己的同胞屠灭殆尽。

连我们制造的机器都无法信任人类，那么我们又有什么未来可言？

…………

……