自主性与人机交互：蓟门法学第9辑

1.自主性与自动化

自主性作为自主武器系统的典型特征，其含义在定义中的重要性不言自明。何为自主性？从技术导向出发，自主性外化为人工智能技术在军事武器领域的典型运用，内化为武器系统运行中人类干预的程度与方式。自主是一种外在特性，而不是一种系统内在所特有的，它可以应用于任何武器系统或任何系统的不同部分。提高自主水平可以适用于每一个武器系统，正如提高自动化水平已经成功应用于前几代武器一样。上述一些国家在针对自主武器的相关讨论中，希望仅根据技术特征就自动化系统和自主化系统作出明确的区分，却忽略了技术发展和创新的步伐将很快会使当前的“技术状态”过时。

对此，ICRC选择了一种看似模糊实则清晰的定义方向，将注意力集中在“关键功能”上，而并没有就自主或自动化加以赘述；法国强调自主与自动化的明确界限；美国则通过“自主”和“半自主”的概念对自主武器系统的定义进行了延伸。然而直到目前，能否从技术层面划出自主与自动化的界限尚不清楚，自主性显然打破了自动化“如果这样，必然那样”的简单逻辑，但过分纠结于二者的区别实际上无益于对自主武器的界定，相反可能陷入语义逻辑的怪圈。正如裁军研究所第一次观察报告所指出的，以技术为中心的框架往往具有排他性，许多国家政府因为对技术了解不充分而无法平等地参与对话。[9]

2.人机交互

自主武器系统的自主性与“人类干预”在诸多既有定义中呈现出功能上的“互斥”关系。从人本导向来看，自主性是人类把对武器在某种程度上的控制和决策授权给机器，也就是说，自主性的实现暗含人机交互的前提。完全的自主意味着人类的决策空间被取代，武装冲突中的生杀大权被机器掌控。这提出了关于人类在使用武力和决定生死决策中的作用和责任等深刻的伦理问题，比如我们是否愿意将生死决定权外包给机器？这是否是对人类生命神圣性和人类尊严的严重冒犯？

在《特定常规武器公约》（CCW）框架下进行的讨论中，似乎出现了一种新的协商一致的意见，即不应完全将目标选择和交战决定授权给机器。因此，在上述各国政府给出的工作性定义中，多数认为无论自主性如何在关键功能上起作用，仍应保有一定程度的人类监督。CCW将这种关系分类描述为：“人在回路之内”与“人在回路之外”，[10]以及“有意义的人类控制”[11]的概念或美国国防部指令中所述“适当水平的人类的判断”[12]等说法都佐证了这一点。

从ICRC的意见报告来看，它呼吁维持对武器系统和使用武力的人的控制，以满足法律和道德上的要求。国际人道主义法关于敌对行为规则的执行具有一定程度的人为控制或参与。虽然国际人道主义法规定了国家和武装冲突各方的义务，但其规则最终是由人类主体执行的，这些主体在实施攻击时有责任遵守这些规则，并且必须对违反行为承担责任。因此，对自主武器系统的运作进行某种程度的人为控制，将人类的意图转化为武器系统的运作，将始终是确保遵守国际人道主义法的必要条件，但这确实可能会在技术上限制合法的自主水平。(www.xing528.com)

3.自我学习能力

人类通过输入数据的形式对自主武器系统加以授权，但当系统具备较高程度的自主性时，其对数据的运用方式和路径不同、数据之间可能存在的一些未知关系，以及与之相关的技术细节都可能导致系统在给定目标之外“选择”新的目标，从而错误地识别了某些对象，导致不可预测的后果。法国政府的报告已经注意到了这一点。

自主武器系统的自我学习本质上是机器学习，系统可以从人类输入数据的细节出发总结人脑本身的生物学习机制，并通过严格数学化的形式加以运用。[13]也就是说，机器学习系统可以通过模拟神经网络和类似的结构，综合分析数据的数学性质和不透明内部参数之间的复杂关系得出新的结论。这就意味着即使是运行该系统的研究人员，也无法完全理解系统的潜在学习逻辑。由此可知，系统的自我学习是随机的，不可预测的，且不受人类经验或期望的限制。目前虽还没有任何证据可对系统自我学习能力或行为的存在提出正式的证明，但大部分技术障碍的破除只是时间问题。

然而，正如前文所述，系统自我学习后另选目标的情况并不是不可避免的，此时，在部署之前是否冻结系统学习能力就成为一种技术设计选择。此外，辩证地看待系统的自我学习能力，其不可预测性只是一个方面，另一方面，自主武器系统可能通过自我学习实现对环境变化或突如其来事件的适应与反应能力，从而使自主武器系统在变化莫测的现实冲突状态下仍有可能符合人道法关于区分原则和比例原则的要求。

综上，毫无疑问，我们当然支持人工智能技术的发展与进步，但其宗旨仍应是“服务”而非“主宰”，因此对自主武器系统的认知首先须在其自主性与人类干预之间寻求一种平衡，从武器审查的角度出发，判断这种平衡的最低限度标准应是其运行过程是否能够实现对国际人道主义法相关规则的遵循。