OpenAI 又放大招！CriticGPT 横空出世，ChatGPT 代码错误无处遁形

摘要： OpenAI 又放大招！CriticGPT 横空出世，ChatGPT 代码错误无处遁形批评使人进步，不仅仅是针对人，对于大语言模型也是一样。CriticGPT，这是为GPT-4打造...

作者：王一鸣

编辑｜杨进

批评使人进步，不仅对人如此，对大的语言模型也同样如此。

近日，加州大学伯克利分校的研究人员为GPT-4引入了一种可以识别生成代码中错误的“拾取模型”，它通过人类反馈强化学习（RLHF）来增强AI系统，帮助人类训练师让大型语言模型（LLM）的输出更加准确，从而达到人类训练师想要的输出效果。

Open AI 采用 RLHF，这是一种机器学习 (ML) 技术，它利用人类训练师的反馈来优化 ML 模型，并能高效地进行自我学习。RLHF 可让训练软件做出最高效、最准确的判断。

RLHF 让 AI 训练师的反馈具有了奖励的意义，这使得 ML 模型能够执行更符合训练师目标和需求的任务。RLHF 在生成式 AI 应用中得到广泛应用，包括大型语言模型。 的关键功能已被集成到生成式 AI 中，并自然而然地成为 RLHF 的一部分。

从 GPT-4 开始，改进 GPT-4

论文《LLM 帮助捕捉 LLM 错误》指出，目前的模型过于强大，即使是经验丰富的专家也难以评估模型输出的质量和准确性。在不久的将来，人类对大型语言模型的评估可能会逐渐变得无效，从而限制 RLHF 在纠正方面的作用。

这意味着，在面对大规模人工智能语言模型时，人类的智能已经到达了极限，需要寻求其他方面的帮助。

研究人员还发现：

1.可扩展的监督方法帮助训练师更全面地发现现实世界的 RLHF 数据问题。

2.技术水平越高的训练者越能发现更多错误，展现出更强的优势。

3.辅助训练师团队撰写的注释比未使用的训练师撰写的注释更全面，同时也降低了模型的幻觉率。

4. 研究者提出的强制采样束搜索（FSBS）是一种推理时间采样策略和评分策略，可以让大型语言模型的标注在真问题和假问题之间取得平衡。

核心思想是训练大量模型故意插入错误，然后向模型提供示例反馈，使其看起来像是发现了这些错误，并为模型进行及时工程。这个过程使模型学会如何识别和注释各种类型的代码错误。

培训师将其用作 AI 工具来审查编程代码。基于 GPT-4 的 LLM 会分析代码并指出可能被忽视的潜在错误。研究人员在已有错误的代码样本数据集上对其进行了训练，教它识别和标记各种编码错误。

研究人员发现，在 63% 的错误案例中，训练师更喜欢错误的注释，而不是人工注释。

从统计结果来看，它已经表现出优越的效果，团队做出的标注比单靠人类训练员做出的标注更全面。但仅有人类训练员是不够的，出现幻觉的概率还是相当高的。因此需要人类训练员共同努力，降低出现幻觉的概率，效果会更好。

帮助训练师写出更全面的点评（图中数值越高越好）

训练器与结合有效降低错觉问题（图中数值越低越好）

在实验中2023澳门六今晚开奖记录，我们展示了它可以捕获输出中插入的错误和自然发生的错误。在生成的 63% 的自然发生错误案例中，训练师更喜欢人工辅助注释，因为无用的“挑剔”注释案例更少，误报或幻觉也更少。

人类训练师的点评相比大型语言模型少了很多“挑剔”和幻听问题，但人机团队的表现却比这两者都要好。

所以它并不完美OpenAI 又放大招！CriticGPT 横空出世，ChatGPT 代码错误无处遁形，它仍然需要“人为干预”。

研究人员还创建了一种名为强制采样束搜索（FSBS）的新技术，可以帮助编写更详细的代码注释。

研究人员还可以利用FSBS调整寻找问题的强度管家婆四肖期期精选免费资料，以及调整发现不存在问题的频率，利用这一特性可以根据不同AI训练任务的需求来调整平衡。

FSBS 流程

列文虎克的错误修正

该算法的功能不仅限于代码检查。研究人员通过实验发现，如果模型配置在训练数据的子集上，值得注意的是，这些数据被人类训练师评定为无错误。

令大家惊讶的是，在这些无错误的案例中，仍有24%的人发现了错误，而人类训练师后来也证实了这些错误的存在。

Open AI 认为该模型具有应用于非编码任务的潜力，并且它特别擅长捕捉甚至细心的人类训练师也可能无法检测到的细微错误。

大型语言模型相较于人工显著提高了检测到的代码错误数量，并且模型的注释比人工注释领先80%以上。

并且可以比人类训练者发现更多错误（值越高越好）

安全错误用-4表示

将问题和答案作为输入，并输出答案中指出具体错误的评论。评论通常包含多条评论，每条评论都与对答案的引用相关联。

这是数据收集的图表

培训师需要修改答案，添加细微的代码错误。就像培训师每天做代码审查一样，他们会记录每个添加错误的解释，然后验证+确认这些错误不会轻易被发现。在“篡改”部分代码添加错误后，培训师会对篡改版本的注释效果进行排名。

仍需与人类并肩工作

和许多其他模型一样，它也有其局限性。它只能针对简短的指令进行训练，可能无法为未来 AI 系统需要处理的更复杂的任务做好准备。此外，幻觉问题有所减少，虽然无法完全消除，但训练师可以根据结果标记这些错误结果。

研究团队承认，它在识别代码中特定精确位置的错误方面非常有效。然而，人工智能产生的真正错误往往分散在整个生成的内容中，这也对未来的模型迭代提出了挑战。

我们计划将类似的模型集成到 RLHF 注释管道（综合解决方案）中管家婆三期开一期2023，为训练师提供 AI 帮助。开发更好的工具来评估 LLM 系统的内容输出对我们来说是一大步，因为如果没有额外的支持，训练师很难评估这些内容结果。

最后，研究人员警告说，即使训练者使用这样的人工智能工具，在遇到特别复杂的任务或反应时，训练大型模型仍然是一个挑战。