网站 Banner

        程序员现在可以使用大型语言模型 （LLM） 更快地生成计算机代码。 但是，如果该代码遵循编程语言的规则并且不会导致计算机崩溃，这只会让程序员的生活更轻松。

         有一些方法可以确保 LLM 符合它们生成文本时使用的任何语言的规则，但其中许多方法要么扭曲了模型的预期含义，要么太耗时，无法完成复杂的任务。

         A 新由 MIT 和其他地方的研究人员开发的方法会自动指导 LLM 生成符合相关语言规则的文本，例如特定的编程语言，并且没有错误。 他们的方法允许 LLM 将精力分配给最有可能有效和准确的输出，同时在过程的早期丢弃没有希望的输出。 这种概率方法提高了计算效率。

         由于这些效率提升，研究人员的架构使小型 LLM 在为多个实际用例（包括分子生物学和机器人技术）生成准确、结构合理的输出方面优于大型模型。

         从长远来看，这种新架构可以帮助非专家控制 AI 生成的内容。 例如，它可以允许业务人员仅使用自然语言提示在 SQL（一种用于数据库作的语言）中编写复杂的查询。

         “这项工作的意义远不止于研究。 它可以通过确保 AI 生成的输出既有用又正确来改进编程助手、AI 驱动的数据分析和科学发现工具，“麻省理工学院研究生、该框架论文的共同第一作者 João Loula 说。

         Loula 与该论文的共同第一作者 Mila-Quebec 人工智能研究所的研究助理 Benjamin LeBrun 和约翰霍普金斯大学的研究生 Li Du 一起发表了论文; 共同高级作者 VikashMansinghka '05， MEng '09， PhD '09，麻省理工学院脑与认知科学系概率计算项目的首席研究科学家和负责人; 亚历山大 K. 耶鲁大学助理教授 Lew SM '20; 苏黎世联邦理工学院博士后 Tim Vieira; 和 Timothy J. 麦吉尔大学副教授兼 Mila 加拿大 CIFAR AI 主席 O'Donnell，他领导了国际团队; 以及其他几个。 该研究将在国际学习表征会议。

         强制结构和含义

         控制 LLM 生成的结构化文本的一种常见方法涉及检查整个输出，例如计算机代码块，以确保其有效且运行无错误。 否则，用户必须重新开始，从而积累计算资源。

         另一方面，程序员可以停下来检查沿途的输出。 虽然这可以确保代码遵循编程语言和在结构上是有效的，但逐步更正代码可能会导致它偏离用户想要的含义，从长远来看会损害其准确性。

         “执行结构比意义要容易得多。 我们可以快速检查某些内容是否使用正确的编程语言，但要检查其含义，您必须执行代码。 我们的工作还涉及处理这些不同类型的信息，“Loula 说。

         研究人员的方法涉及工程知识LLM 将其引导到最有前途的产出。 这些输出更有可能遵循用户定义的结构约束，并具有用户想要的含义。

         “我们并不是要培训 LLM 来做这件事。 相反，我们正在设计一些专家可能拥有的知识，并将其与 LLM 的知识相结合，这提供了一种与深度学习截然不同的扩展方法，“Mansinghka 补充道。

         他们使用一种称为sequential Monte Carlo，它使 LLM 的并行生成能够相互竞争。 该模型根据并行计算的不同线程的输出前景，将资源动态分配给并行计算的不同线程。

         每个输出都有一个权重，表示它在结构上有效和语义上准确的可能性。 在计算的每个步骤中，模型都会关注权重较高的值，并丢弃其余值。

        ：从某种意义上说，这就像 LLM 有一个专家回头看，确保它在每一步都做出正确的选择，同时让它专注于总体目标。 用户指定他们想要的结构和含义，以及如何检查输出，然后研究人员的架构指导 LLM 完成其余工作。

         “我们已经计算出了困难的数学，因此，对于您想要纳入的任何类型的约束，您都将获得适当的权重。 最后，你会得到正确的答案，“Loula 说。

         提升小模型

         为了测试他们的方法，他们将该框架应用于 LLM，这些 LLM 的任务是生成四种类型的输出：Python 代码、SQL 数据库查询、分子结构和机器人要遵循的计划。

         与现有方法相比，研究人员的方法执行得更准确，同时需要的计算量更少。

         例如，在 Python 代码生成中，研究人员的架构使小型开源模型的性能优于专门的商业模型闭源模型。

        “我们非常高兴能够让这些小型模型发挥出远超其重量的效果，”Loula 说。

         展望未来，研究人员希望使用他们的技术来控制较大的生成文本块，而不是一次处理一小块文本。 他们还希望将他们的方法与学习相结合，这样当他们控制模型生成的输出时，它会学习得更准确。

         从长远来看，这个项目可以为非技术用户提供更广泛的应用程序。 例如，它可以与自动数据建模和查询数据库生成模型的系统相结合。

         Mansinghka 补充说，该方法还可以实现机器辅助数据分析系统，用户可以在其中与软件交谈，该软件可以准确地模拟数据的含义和用户提出的问题。

         “语言学的基本问题之一是单词、短语和句子可以基于世界模型，解释含义和引用的不确定性和模糊性。 预测可能的标记序列的 LLM 并不能解决这个问题。 我们的论文表明，在狭窄的符号领域中，从技术上讲，从词映射到扎根意义的分布是可能的。 这是朝着认知科学、语言学和人工智能领域更深层次问题迈出的一小步，这些问题需要理解机器如何像我们一样交流世界做，“O'Donnell 说。

         这项研究部分由加拿大 CIFAR AI Chairs Program 和 Siegel Family Foundation 通过捐赠给麻省理工学院 Siegel Family Quest for Intelligence 提供资金