无人维护的系统带来的意想不到的后果

然而，计算机和它们的程序一样，即使能够完全独立地学习，它们也不会（据我们所知）产生良知、同情心、道德体系、情感或意识，除非它们预先设定好了这样做。显而易见，一个没有人类维护的系统肯定会失控。比尔·乔伊引用了一个场景：一个被用来优化回形针生产的人工智能可以决定利用一切可利用的资源来实现目标，甚至可能从人体中提取原子制成回形针。因回形针而死并不是真正的威胁，而是对许多意想不到的不良后果的假设。有种假设是，完全从逻辑上来说，人工智能可能会以人类对地球有害为由，从而消灭地球上的人类。要防止这种情况发生——采用阿西莫夫（Asimov）的机器人定律是一种方法。

作为突现特质的意识

有一种理论认为意识是从神经网络中自然产生的——它不需要被创造出来，而是自然而然地产生，就像天气是大气、水和地质的一种突现特质一样。这并不能解释意识是什么，而能解释意识是如何产生的。它还解释了“群体意识”或一起行动的群体意识的动物，如蚂蚁和蜜蜂。(www.xing528.com)

如果这种理论是正确的，意识可能会自动出现在任何足够复杂的计算机系统中。它可能已经在那里了，不需要成为一种我们马上就能辨识的意识的形式。

还有些不那么显而易见的危险。工业革命使得许多以前人们所做的费时而枯燥的工作机械化，结果导致有些领域的工人失去了工作。我们也看到了计算机化和制造业机器人的出现。人工智能可能会承担更多的工作，其中甚至包括许多目前涉及专业知识的领域，如医学、法律、教育、建筑和科学研究等。人工智能承担更多的工作，这可能是毁灭性的，也可能是解放性的，要取决于社会如何应对这种变化。一大群人可能会被解雇，失去动力，也许会受精神病的折磨。但药物和娱乐可能会安抚他们，鼓励他们培养爱好，并让其安于现状，以防止社会动乱。而在那些反乌托邦者看来，社会需要的是精英，而不是不需要工作的人，他们甚至可能被消灭，或禁止生育。