为什么人工智能的未来是灵活、可重用的基础模型

学习一门不同的语言时，最简单的入门方法是填空练习。“正在下猫雨……”

通过犯错并改正错误，您的大脑（语言学家认为这是语言学习的天生）开始发现语法、词汇和单词序列中的模式——这不仅可以用于填空，还可以向其他人传达意义（或计算机、狗等）。

在谈论所谓的“基础模型”时，最后一点很重要，这是目前人工智能领域最热门（但报道不足）的话题之一。

根据2021 年的一篇评论文章，基础模型是“在广泛的数据（通常使用大规模自我监督）上训练的，可以适应广泛的下游任务。”

在非学术语言中，就像学习填空练习一样，基础模型以一种以后可以应用于其他任务的方式学习事物，从而使它们比当前的 AI 模型更灵活。

为什么基础模型不同？

训练基础模型的方式解决了 AI 中最大的瓶颈之一：标记数据。

当（为了证明你不是机器人）网站要求你选择“所有包含船的图片”时，你实际上是在标记。然后，该标签可用于将船只图像输入算法，以便算法在某个时候能够可靠地自行识别船只。传统上，这是训练 AI 模型的方式；使用人类标记的数据。这是一个耗时的过程，需要很多人来标记数据。

基础模型不需要这种类型的标签。他们不依赖人工注释，而是使用填空法和自我生成的反馈来不断学习和提高性能，而无需人工监督。

这使得基础模型对于尚未拥有广泛可用数据的行业来说更容易获得。事实上，根据 IBM 院士兼IBMAI 首席技术官 Dakshi Agrawal 的说法，根据您在其中训练基础模型的领域，几千兆字节的数据就足够了。

这些复杂的模型听起来可能与您这样的用户相去甚远，但您几乎可以肯定在网上的某个时候看到了一个基础模型在工作。一些比较著名的是 GPT-3 语言模型，在输入著名作家的作品后，它可以产生出色的模仿，或者 DALL-E，它根据用户的提示产生令人惊叹的图像。

除了创造新的娱乐之外，基础模型带来的灵活性还可以帮助加速突破性的医学研究、科学进步、工程、建筑，甚至编程。

突发特性

基础模型具有两个非常有趣的特性：涌现和同质化。

出现意味着模型显示的新的意想不到的特性，这些特性在前几代中是不可用的。它通常发生在模型尺寸增大时。进行基本算术推理的语言模型是模型的涌现属性的一个例子，它有点出乎意料。

同质化是一个复杂的术语，指的是经过训练可以理解和使用英语来执行不同任务的模型。这可能包括总结一段文本、以著名作家的风格输出一首诗或解释人类给出的命令（GPT-3 语言模型就是一个很好的例子）。

但基础模型并不局限于人类语言。从本质上讲，我们教计算机做的是找到过程或现象中的模式，然后它可以在特定条件下复制这些模式。

让我们用一个例子来解开它。取分子。物理和化学规定分子只能以特定的配置存在。下一步将是定义分子的用途，例如药物。然后可以使用大量医学数据训练基础模型，以了解不同分子（即药物）在治疗疾病时如何与人体相互作用。

然后可以使用这种理解来“微调”基础模型，以便它可以就在特定情况下可能起作用的分子提出建议。这可以显着加快医学研究，让专业人士可以简单地要求模型提出可能具有某些抗菌特性的分子，或者可能作为一种药物来对抗某种病毒。

但是，如前所述，这有时会产生意想不到的结果。最近，一组使用 AI 基础模型来发现罕见疾病治疗方法的科学家发现，同一模型也可用于发现人类已知的最强大的化学武器。

基本的担忧

这些模型可以带来巨大变化的一个小迹象是提供“提示生成器”的公司不断涌现，这些公司利用人类为 Midjourney 或 DALL-E 等模型提供提示，从而可靠地输出有趣或准确的图像。

当然，像这样的模型会引起争议。最近，许多艺术家公开反对使用他们的作品来训练图像生成模型。

还有一个关于训练大型模型所需的能源使用的案例。此外，创建基础模型所需的大量计算资源意味着只有世界上最大的科技公司才能负担得起培训它们的费用。

然而，正如 Agrawal 解释的那样，提高这些模型的培训和使用效率意味着它们正以越来越快的速度为更多人所用——从而降低能源消耗和成本。

这些模型的另一个更基本（抱歉）的问题是原始模型中的任何偏差或错误都可以转移到使用它们构建的工具中。因此，如果种族主义语言被用作语言模型的训练数据，它可能会导致一些令人反感的输出，甚至会导致对相关公司的诉讼。

避免这种情况的一种方法是手动清除不需要的训练数据，但另一种更具未来感的方法是使用所谓的合成数据。合成数据是由 AI 模型生成的重要假数据，用于模仿真实事物，但以更可控的方式进行。这对于确保基础模型在学习过程中不会吸收任何攻击性或隐私敏感数据很有用。

更先进的人工智能模型会取代我们的工作吗？

好吧，是的，不是。

大多数人工智能研究人员将这些模型视为一种工具。就像电动螺丝刀意味着组装木结构所需的时间更少一样，仍然需要一个人来使用电动螺丝刀。

以 IBM 的基础模型 Ansible Wisdom 为例。为了弄清楚是否可以教会计算机编程，研究人员对模型进行了微调，以生成以前必须手动编写的 Ansible 代码片段。有了它，开发人员可以使用自然语言询问模型，例如建议部署新 Web 服务器的可靠自动化。

Agrawal 认为这将彻底改变程序员的工作。

得益于人工智能，整个创新周期将加速。例如，如果您查看代码，通过使用基础模型，使用第一代基础模型编码会变得更快。我相信它会在短短几年内使生产力翻一番。

该公司与 Red Hat 合作将该模型作为开源项目发布，Red Hat 最著名的是开源操作系统 Linux 的分发和维护。

这种用途类似于电动螺丝刀。它需要一项平凡的任务，并使用一种工具来自动化其中的一部分，以便更有效地执行任务，从而节省开发人员的时间，然后他们可以将这些时间用于更具创造性的工作。

“它可以接管人类今天正在进行的活动，而人类将继续从事其他活动。我认为 80% 的美国人口曾经从事农业。现在只有不到 2% 的人（根据美国农业部 ERS——农业和食品行业与经济）——人类转向其他活动，与此同时，我们的生活质量也得到了改善，”Agrawal 说。

基础模型有可能改变许多现在对人类来说乏味或重复的过程。它们还提供了为我们面临的一些最棘手的问题创建激进的和不可预测的解决方案的可能性。实际上，基础模型可能意味着知识创建和应用方式的完全范式转变。关键是要确保这些模型可供更广泛的公众使用，并采取适当的保障措施。