今年3月8日，著名物理学家史蒂芬·霍金向英国《独立报》表示，人类必须建立有效机制尽早识别威胁所在，防止新科技（人工智能）对人类带来的威胁进一步上升。霍金警告，未来人工智能可能会以生化战争或核子战争的方式摧毁人类。其实，早在2015年9月，霍金就发出过类似的警告：聪明能干的人工智能会让人类灭亡。霍金表示：一个超级聪明的人工智能可以非常好地实现它的目标，如果这些目标没有与我们人类一致，我们人类就麻烦了。
我们如何来对待霍金的警告呢？首先，霍金本人也是人工智能技术的支持者，霍金认为，如今人工智能似乎已经渗透到各个领域。人工智能甚至可帮助根除长期存在的社会挑战，比如疾病和贫困等。
人工智能技术是当今新技术革命的领头羊。事实上，人工智能技术的发展已历经三次浪潮。第一次浪潮以“手工知识”为特征，典型范例如智能手机应用程序等。第二次浪潮以“统计学习”为特征，典型范例如人工神经网络系统，并在无人驾驶汽车等领域取得进展。虽然这些人工智能技术，对明确的问题有较强的推理和判断能力，但不具备学习能力。第三次浪潮则以“适应环境”为特征，人工智能能够理解环境并发现逻辑规则，从而进行自我训练并建立自身的决策流程。今年年初，谷歌AlphaGO的升级版Master以 60∶0的战绩，击溃当世所有围棋顶级高手；就在5月25日，AlphaGO又接连两局击败中国围棋职业九段棋手柯洁；我以为，这些都是人工智能第三次浪潮的标志。
其次，人工智能技术也是一把双刃剑。一方面，借助人工智能技术实现自动化，将极大提高生产率，节省劳动成本；通过优化行业现有产品和服务，开拓更广阔的市场空间。正由于人工智能对社会经济无可替代的重要推动作用，在我国两会上已将人工智能写进了政府工作报告。
另一方面，人工智能技术对社会也带来了近期和远期的风险。在不远的将来，那些重复、耗时、乏味的工作；在快速变化的复杂环境中进行的工作以及超出人类极限的工作，都有可能被人工智能系统所代替，从而冲击劳动力市场。可以预测，由于人工智能的发展，多数人的智能将低于或接近人工智能的水平，如果没有政策的有效控制，财富就会集中到少数智能超过人工智能的人手中，这将进一步扩大社会的贫富差别，引发社会的撕裂。
至于说到霍金警告的人工智能引发的人类生存风险，即人工智能将来会从整体上超越人类智能，目前对此在认识上还有分歧。许多自然科学家认为，目前人工智能离上述水平还很远很远，其危险远不足虑；而某些社会科学家却有担忧，认为随着技术变革的深入，人工智能所引发的链式反应，就会出现无法控制的局面。上述认识的差异，正好体现了人类对智能认识的多样性。从这个角度看，科学家全面认识人类智能，并将其复现，只是时间问题。鉴于人工智能有可能超越人类智能，以及由此产生十分严重的后果，再加上科学技术发展的内在不确定性，就充分说明了研究人工智能安全问题的必要性。
早在1950年出版的美国著名科幻小说家艾萨克·阿西莫夫撰写的《我，机器人》小说中，就提出了著名的“机器人三大定律”：第一定律，机器人不得伤害人类个体，或者目睹人类个体将遭受危险而袖手旁观；第二定律，机器人必须服从人给予它的命令，当该命令与第一定律冲突时例外；第三定律，机器人在不违反第一、第二定律的情况下要尽可能保护自己的生存。此后，这“三大定律”不断激发出对于人工智能安全性的新思考。由于人工智能最终必将会具备自主意识，到那时人类与人工智能系统之间的关系，必须服从普适、可靠的准则。特别是在军事领域要更加小心，否则极有可能出现科幻电影中描述的人机大战的场景。
因此，我们在发展人工智能系统的同时，还要确保其在预先制定的相关准则下进行工作，以防止其出现越规行为。
