解决人工智能偏见的重要步骤

我们之前提到过，偏差是机器学习中的一个大问题，必须加以缓解。人们需要采取重要步骤来帮助减轻未来的影响。

无论人们认为自己在文化、社会或环境方面的意识如何，偏见都是每个人的固有特征。我们自然会被证实我们自己信念的事实所吸引。我们中的大多数人倾向于相信年轻人会比年长的同事更好地完成某些任务，反之亦然。无数研究表明，外貌迷人的求职者比外貌不佳的求职者更有可能被录用。清单还在继续。

作为人类，我们不能自信地说我们的决策是没有偏见的。这个问题的根本原因是偏见在不知不觉中蔓延，让我们无力判断我们所做的决定是否有偏见。

这就是为什么有偏见的人工智能算法的概念不应该令人惊讶，因为人工智能系统的全部意义在于复制人类的决策模式。为了制作一个功能性的人工智能系统，开发人员用无数真实的人如何解决特定问题的例子来训练它。

例如，为了构建一个可以帮助对求职申请进行分类的人工智能系统，工程师会向算法展示许多接受和拒绝简历的例子。然后人工智能系统会找出影响决策的主要因素，开发人员会测试系统的准确性，并进行部署。在这个简化的例子中，可能会出现两个问题：一开始，人力资源专家的决策可能存在偏见，并且训练数据集可能无法代表特定的性别、年龄、种族等。例如，可能是，从历史上看，一家公司一直无意中只雇用男性担任前端开发人员职位，这促使人工智能将女性排除在外，甚至没有机会接受采访。这使我们想到了消除AI偏见的第一种方法。

数据公平

人工智能在解决许多挑战方面发挥了重要作用。但是，其背后的数据必须结构良好且尽可能无偏见。

在大多数情况下，AI不公平的最大原因在于训练数据，尤其是对于缺乏经验的开发人员或小公司而言。获得足够多样化的数据集，考虑到每个人口统计数据或任何其他关键属性，这是数据科学家梦寐以求的。这就是为什么您应该将AI开发视为您的训练数据存在固有偏见，并在流程的每个阶段都考虑到这一点。

艾伦图灵研究所引入了一种名为“反事实公平”的方法，旨在揭示数据集问题。让我们回到我们的例子中，一家公司雇用了一名使用AI的前端开发人员。在这种情况下，为了确保算法的公平性，开发人员需要进行一个简单的测试，让AI系统评估两个具有相同技能和经验的候选人，唯一的区别是性别或任何其他非必要变量。公正的AI会给这两个候选人同样的评分，而不公平的AI会给男性更高的分数，这表明需要进行调整。

该研究所制定了一套指导方针，旨在帮助人工智能开发人员确保模型的公平性。在Itransition，我们相信此类举措将在解决人工智能偏见方面发挥越来越重要的作用。

对抗性学习

除了有缺陷的数据集外，偏见也会在模型学习阶段悄悄出现。为了缓解这种情况，许多开发人员现在选择对抗训练方法。这意味着除了您的主要模型(例如，对应用程序进行排序的模型)之外，您还应用了另一个模型，该模型试图根据主要模型的结果找出敏感变量(年龄、性别、种族等)。如果主模型是无偏差的，那么对抗模型将无法确定敏感属性。数据科学家认为这种技术是最有效和易于使用的技术之一，与传统的重新称重不同，对抗性学习可以应用于大多数建模方法。

拒绝基于选项的分类

最后，还有许多后处理技术可以帮助减轻偏差。这种方法的吸引力在于，工程师和数据科学家都不需要为调整模型或更改数据集而烦恼，因为只需要修改模型输出。

基于拒绝选项的分类是最流行的后处理技术之一。本质上，通过拒绝模型最不自信的预测来减少偏差。例如，我们可以将置信度阈值设置为0.4。如果预测确定性为0.39或更低，系统会将输出标记为有偏差。

团队多元化

驾驭AI领域取决于对业务环境的了解比人们普遍认为的要多。毫无疑问，数据科学与数字运算密切相关，但了解这些数字背后的原因同样重要。即便如此，数据科学家的无意识偏见也会在偏见如何影响他们的算法方面发挥关键作用。这就是为什么打击人工智能中的偏见往往与雇用不同种族、性别和背景的人密切相关。

为了实现更周到的招聘，公司需要采用更客观的面试技巧。尤其是大企业，太多的面试仅限于传统的简历筛选。具有前瞻性和创新性的公司现在将基于现实世界项目的数据分析作为他们面试过程的核心。他们不仅评估候选人在科学方面执行数据分析的能力，而且还确保他或她能够在商业环境中解释发现。

由于AI是许多业务转型背后的驱动力，因此我们必须建立明确的框架来解决AI中的偏见。认识到我们无法完全消除偏见也很重要。然而，在算法中控制偏见比在人类中更容易实现。