信任机器自我检查的风险

我们每天、在每个组织中、在我们进行的每一项活动中都被风险所包围。风险管理领域是一门致力于识别、量化和管理风险的学科，以便我们人类能够过上安全、有保障和幸福的生活。每次我们坐飞机、开车、吞药或吃沙拉时，我们都在依靠风险管理人员的不懈努力来确保这些活动的安全，同时保持成本效益。

风险管理是了解可能发生的事件，无论多么不可能或多么遥远。例如，在驾驶汽车时，存在爆胎的风险。概率很低，但如果发生，影响是相当大的。相反，前照灯停止工作的风险相对较高，但如果发生这种情况，影响是中等的，但不是零，这就是我们有两个前照灯的原因。

在评估风险时，必须考虑影响/严重性和概率/可能性的组合；这被称为风险暴露，它决定了应该为减轻风险付出多少努力——通过降低其严重性或概率。

识别人类忽视的风险

传统上，风险管理的第一步是识别所有风险，然后量化它们的概率和严重性。这是通过人类集思广益可能发生的事件并利用他们以前的行业知识对概率和严重性做出有根据的猜测来完成的。此过程中的主要缺陷之一是人类（尤其是在团队中）会受到诸如确认偏差、后见之明偏差和可用性偏差等偏见的影响。换句话说，我们倾向于高估先前已知的风险，而忽略或淡化可能真正严重的模糊边缘情况。

在风险管理领域使用人工智能 (AI) 可以通过多种方式解决偏见。

• 首先，当您拥有大量真实世界证据的数据集时，人工智能应用程序和机器学习 (ML) 模型可以发现迄今为止未知的风险，即所谓的“零日”风险。例如，监控天气、住院时间和交通等不相关数据馈送的人工智能系统可以识别被遮挡的新汽车系统（例如，新的自动驾驶模式）中的风险。
• 除了从大型不相关数据集中识别迄今为止未知的风险外，人工智能系统还可以利用外部环境数据与人类直觉来系统地量化先前识别的风险并系统地量化它们的影响和概率。这将消除经典风险管理模型中的大量猜测和可变性。

了解我们模型中的风险

相反，将 AI 和 ML 用于汽车或航空航天自动驾驶仪等安全关键系统可能会给系统带来新的风险。当我们构建 AI/ML 模型时，与传统的算法计算机系统不同，我们没有定义需求和编码步骤来满足这些需求。相反，我们提供了一个数据集、已知规则和边界条件，并让模型从提供的数据中推断出它自己的算法。

这允许 AI/ML 系统创建人类以前不知道的新方法，并找到独特的关联和突破。但是，这些新见解未经证实，可能仅与它们所基于的有限数据集一样好。风险在于我们开始将这些模型用于生产系统，并且它们以意想不到和不可预测的方式运行。

这是需要独立风险分析和风险管理的问题的典型示例，可以来自可以“检查”主要模型的单独 AI/ML 模型，也可以来自可以验证 AI 系统中可能发生的风险的人类专家.

人机和谐

因此，从风险管理的角度来看，将 AI 和 ML 引入复杂的安全或关键任务系统会带来好处和挑战；采用 AI/ML 技术的合理框架认识到这些因素，并尝试在减轻挑战的同时最大化收益。

人类可以检查机器

当我们开始实施 AI/ML 模型时，确保我们清楚地掌握业务需求、用例和边界条件（或约束）变得至关重要。

定义使用的数据集的限制和模型训练的特定用例将确保模型仅用于支持其原始数据集所代表的活动。

此外，让人类独立检查 AI/ML 模型预测的结果的重要性也不容忽视。这种独立的验证和确认 (IV&V) 将使人类能够确保正确使用 AI 模型，而不会在系统中引入不必要的风险和意外漏洞。

例如，在将自动驾驶仪部署到汽车或航空平台时，此类 IV&V 将验证飞机或汽车在模拟器或真实测试环境中的行为是否符合预期。

机器可以检查人类

相反，人工智能模型可用于检查人类所做的风险管理模型和评估，以确保他们不会遗漏零日风险。在这种情况下，计算机充当自己的 IV&V 进行人类决策。这是上一点的镜像。在这种情况下，我们正在利用机器学习模型来避免人为偏见并发现我们现有风险模型中的缺陷。

和谐

我们不应将人工智能视为经典风险管理方法的替代品，而应接受计算机和人类之间内在的和谐，检查彼此的假设和建议。

结合使用人工风险评估技术和人工智能工具，我们可以降低系统的整体风险，同时实现前所未有的创新和突破。如果您查看许多历史安全事故（三英里岛、切尔诺贝利等），人为因素往往是最大的风险。