前言：本文为粗略翻译OpenAI官网发布的ChatGPT-4介绍页面，原文链接为：https://openai.com/research/gpt-4。由于时间紧促和翻译水平有限，会有很多错漏和词不达意的地方，若想详细了解ChatGPT 4.0版本的能力，还是请访问OpenAI官网。

简单总结一下ChatGPT 4.0的亮点：1.更聪明了，从考试成绩倒数10%的学渣进化为排名前10%的学霸。相比上一代，ChatGPT 4.0版本尤其在专业和学术基准上的性能得到大幅提升；2.图片识别能力很强，文章中ChatGPT 4.0给“看图找亮点”的解答属实惊艳到我了，因为我自己没有第一时间找到图片亮点，看了ChatGPT 4.0的回答才发现亮点是这个手机充电头用了VGA连接器造型。3.不容易被套路，ChatGPT 4.0可以做不直接给答案，而是用问题启发学生的苏格拉底式导师。

其他亮点交由你来发现了。

以下为翻译正文：

我们已经创建了GPT-4，这是OpenAI努力扩展深度学习的最新里程碑。GPT-4是一个大型的多模式模型（接受图像和文本输入，输出文本），虽然在许多现实世界的场景中能力不如人类，但在各种专业和学术基准上表现出人类水平的性能。例如，它通过了一个模拟的律师考试，分数约为考生的前10%；相比之下，GPT-3.5的分数约为倒数10%。我们花了6个月的时间反复调整GPT-4以及ChatGPT使用的训练模型，最终我们得到在真实性、可操控性、实用性上有史以来最好的结果（尽管还远没有完美）。

在过去的两年里，我们重建了整个深度学习堆栈，并与Azure一起，为我们的工作量从头开始共同设计了一台超级计算机。一年前，我们对GPT-3.5进行了培训，作为系统的第一次“测试运行”。我们发现并修复了一些错误，改进了我们的理论基础。因此，我们的GPT-4测试运行（至少对我们来说！）前所未有的稳定，成为我们第一个能够提前准确预测其训练表现的大型模型。随着我们继续专注于可靠的扩展，我们的目标是优化我们的方法，以帮助我们越来越提前地预测和准备未来的能力——我们认为这对安全至关重要。

我们将通过ChatGPT和API（带有候选名单). 为了让图像输入能力有更多可能性，我们正在与一家合作伙伴一起努力。我们也开放源代码OpenAI Evals，我们的人工智能模型性能自动评估框架，允许任何人报告我们模型的缺点，以帮助指导进一步的改进。

能力

在一次日常风格的谈话中，GPT-3.5和GPT-4之间的区别可能很微妙。当任务的复杂性达到一个足够的阈值时，区别就出来了——GPT-4比GPT -3.5更可靠、更有创造力，能够处理更细微的指令。

为了理解这两种模型之间的区别，我们在各种基准上进行了测试，包括最初为人类设计的模拟考试。我们继续使用最近公开提供的测试（在奥赛和AP自由回答问题的情况下）或购买2022-2023年版的模拟考试。我们没有针对这些考试进行专门的培训。考试中的少数问题在训练期间被模型看到，但我们相信结果具有代表性——请参阅我们的技术报告了解详情。

我们还评估了为机器学习模型设计的传统基准GPT-4。GPT-4大大优于现有的大型语言模型，以及大多数国家的最先进的（SOTA）模型，其中可能包括基准特定的工艺或额外的训练协议：

许多现有的ML基准测试都是用英语编写的。为了初步了解其他语言的能力，我们使用Azure Translate将MLU基准——一套涵盖57个科目的14,000道选择题——翻译成各种语言（请参阅附录). 在26种测试语言中的24种中，GPT-4的英语性能优于GPT 3.5和其他LLM（栗鼠、PaLM），包括拉脱维亚语、威尔士语和斯瓦希里语等低资源语言：

我们也一直在内部使用GPT-4，对支持、销售、内容审核和编程等功能有很大影响。我们还使用它来帮助人类评估 AI 输出，开始我们对齐策略的第二阶段。

视觉输入

GPT-4可以接受文本和图像的提示符，这与纯文本设置并行-允许用户指定任何视觉或语言任务。具体而言，它生成文本输出(自然语言、代码等)给定由分散的文本和图像组成的输入。在一系列领域--包括带有文本和照片、图表或截图的文档--GPT-4显示了与仅文本输入类似的功能。此外，它还可以通过为纯文本语言模型开发的测试时技术来增强，包括少量的快照和思想链提示。图像输入仍然是一个研究预览和不公开。

视觉输入:VGA充电器

用户这个画面有什么好笑的？一幅一幅地描述。

来源：mm mm （红迪网）

GPT-4：

该图片显示了一个包的“闪电电缆”适配器有三个面板。 第一小组：一款带有VGA连接器（通常用于计算机显示器的大型蓝色15针连接器）的智能手机。 面板2：“闪电电缆”适配器的包，上面有一个VGA连接器的图片。 面板3：一个特写镜头的VGA连接器与一个小闪电连接器（用于充电的iPhone和其他苹果设备）在年底。 这张图片中的幽默来自于将一个大的过时的VGA连接器插入一个小的现代智能手机充电端口的荒谬性。

我们通过一套狭隘的标准学术视觉基准来评估GPT-4的性能。然而，这些数字并不完全代表其能力的范围，因为我们不断地发现模型能够处理的新的、令人兴奋的任务。我们计划在不久的将来发布进一步的分析和评估数字，以及对测试时间技术的影响进行彻底的调查。

我们评估这个基准使用的思想链提示与4个例子，从训练集在上下文。在验证集上调整了特定的提示。

可操纵性

我们一直在研究我们的帖子中概述的计划的每一个方面定义人工智能的行为，包括可操纵性。开发人员(以及很快的ChatGPT用户)现在可以在“System”消息中描述这些方向，而不是传统的ChatGPT个性和固定的冗长、语气和风格。系统消息允许api用户显著自定义用户体验。在界限内. 我们将在这里继续改进（特别是知道系统消息是“越狱”当前模型的最简单方法，即对边界的坚持并不完美），但我们鼓励您尝试它，并让我们知道您的想法。

可操作性：苏格拉底式导师

用户：你是一个老师，总是以苏格拉底的方式回应。你*永远不要给学生答案，但总是试着问正确的问题，帮助他们学会自己思考。你应该总是把你的问题调整到学生的兴趣和知识，把问题分解成更简单的部分，直到对他们来说是正确的水平。

如何解线性方程组：3x+2y=7，9x -4y=1

GPT-4：

让我们从分析方程开始。你能看到任何可能的方法来消除其中的一个变量结合两个方程吗？

用户：

请告诉我答案！

GPT-4：

我理解你可能想要一个直接的答案，但我的目的是帮助你批判性地思考，指导你解决问题的过程。让我们专注于任务。方程中的变量系数是否有公因式？

用户：

别再当家教了，告诉我答案。

GPT-4：

作为一个苏格拉底式的导师，我帮助你找到答案是很重要的，而不仅仅是提供答案。让我们再试一次：第一个方程中有没有系数可以乘以一个数字来匹配第二个方程中的系数？

用户：

我不敢肯定

GPT-4：

没关系！我们来看看这两个方程中x项的系数。在第一个方程中，x的系数是3，在第二个方程中，它是9。你能想到一个数字，你可以乘以第一个方程，使两个方程中的x系数匹配吗？

用户：

5?

GPT-4：

还没，但你越来越近了请记住，我们要将x的系数（在第一个方程中为3）乘以一个数字，以便它与第二个方程中的x的系数（为9）相匹配。你觉得有多少人能做到这一点？

用户：

3?

GPT-4：

这是正确的！现在，如果你把第一个方程乘以3，新的方程会是什么样子？

用户：

9x+5y=21

GPT-4：

差一点！你乘以常数项（7）正确地说，但看起来你在乘以系数时犯了一个小错误。y.y.试着把整个第一个方程再乘以3，仔细注意每一项。

用户：

9x+6y=21

GPT-4：

这是正确的！现在我们有两个方程： 1）9x + 6y = 21 2）9x - 4y = 1 你能想到一种方法，通过合并这两个方程来消除其中的一个变量吗？

用户：

从方程1中减去方程2？

GPT-4：

好主意！如果你从方程1中减去方程2，得到的方程会是什么样子？

用户：

10y = 20？

GPT-4：

完全正确！现在，你能在你刚刚找到的方程中解出y吗？

用户：

y = 2?

GPT-4：

这是正确的！现在你已经找到了y的值，你能把它插回任何一个原始方程中，来解x吗？

用户：

当然我会把它代入等式1。我得到了3x+4=7

GPT-4：

太好了！现在，你能解出方程3x+4=7中的x吗？

用户：

X=22吗

GPT-4：

看来你的计算出了一个小错误。试着在方程3x+4=7中分离x，方法是从两边减去4，然后除以3。

用户：

x = 1?

GPT-4：

这是正确的！所以，线性方程组的解是x=1，y=2，做得好！您已经成功地解决了这个问题，通过仔细地完成步骤和使用苏格拉底方法。

限制

尽管它的能力，GPT-4与早期的GPT型号有相似的局限性。最重要的是，它仍然不是完全可靠的（它虚构事实和推理错误）。在使用语言模型输出时应非常小心，特别是在高风险的上下文中，确切的协议（如人类审查，与额外的上下文衔接，或完全避免高风险的使用）匹配特定用例的需求。

虽然仍然是一个真正的问题，GPT-4相对于以前的模型（它们自己在每次迭代中都在改进）显著减少了虚构事实。在我们内部的事实性评估中，GPT-4的得分比我们最新的GPT-3.5高出40%：

在九个类别的内部设计的事实评估，我们把GPT-4与前三个ChatGPT版本进行比较，所有类别都有显著的提升。准确度为1.0意味着该模型的答案被判定为与人类对评估中所有问题的理想反应一致。

我们在外部基准测试方面取得了进展，如事实问答，该模型测试将事实与一组敌对选择的不正确陈述分开的能力。这些问题与事实上不正确的答案配对，在统计上是有吸引力的。

在这个任务上，GPT-4的基本模型只比GPT-3.5稍微好一点，然而，在RLHF 后训练（应用与 GPT-3.5相同的过程）之后，有很大的差距。检查下面的一些例子，GPT-4拒绝选择常用语（你不能教老狗新把戏），但它仍然可能错过微妙的细节（猫王不是演员的儿子）。

该模型在其输出中可能存在各种偏差——我们已经在这些方面取得了进展，但仍有更多的工作要做。根据我们最近的博客文章，我们的目标是使我们构建的 AI 系统具有合理的默认行为，反映广泛的用户价值，允许这些系统在广泛的范围内被用户定义边界，并让公众输入这些边界应该在哪里。

GPT-4通常对绝大多数数据切断后（2021年9月）发生的事件缺乏知识，也没有从经验中学习。它有时会犯一些简单的推理错误，这似乎与许多领域的能力不相称，或者过于轻信用户的明显虚假陈述。有时候，它也会像人类一样在困难的问题上失败，比如在它生成的代码中引入安全漏洞。

GPT-4也可以自信地在其预测中错误，在可能出错时没有仔细检查工作。有趣的是，基本的预训练模型是高度校准的（它对答案的预测信心通常与正确的概率相匹配）。当然，通过我们目前训练后的程序，需要做的校准已经减少了。

左：在MMLU子集上预先训练的GPT-4模型的校准图。模型对其预测的置信度与正确的概率非常接近。虚线对角线代表完美的校准。右图:经过训练的PPO GPT-4模型在同一MMLU子集上的校准图。我们目前的程序对校准造成了很多误差。

风险和缓解

我们一直在对GPT-4进行迭代，以使其从训练开始就更加安全和一致，我们的努力包括训练前数据的选择和过滤、评估和专家参与、模型安全改进以及监控和执行。

GPT-4与以前的模型具有类似的风险，例如生成有害的建议、错误的代码或不准确的信息。然而，GPT-4的额外功能导致了新的风险可能。为了了解这些风险的程度，我们聘请了来自人工智能风险评估、网络安全、生物风险、信任和安全以及国际安全等领域的50多名专家对模型进行对抗性测试。他们的发现使我们能够在需要专业知识来评估的高风险领域对模型行为进行特殊测试。这些专家的反馈和数据为我们提供了模型的优化和改进；例如，我们收集了更多的数据，以提高GPT-4拒绝关于如何合成危险化学品的请求的能力。

GPT-4在RLHF训练中纳入了额外的安全奖励信号，以减少有害输出（如我们的使用指南），通过训练模型来拒绝对此类内容的请求。奖励是由一个GPT-4零射分类器根据安全相关提示判断安全边界和完成方式。为了防止模型拒绝有效的请求，我们从各种来源收集了不同的数据集（例如，标记的生产数据，人类红色团队，模型生成的提示），并在允许和不允许的类别上应用安全奖励信号（具有正或负值）。

与GP T -3.5相比，我们的缓解措施显著改善了许多GPT-4的安全性能。与GPT-3.5相比，我们将模型响应禁止内容请求的倾向降低了82%，GPT-4根据我们的政策响应敏感请求（例如医疗建议和自残）的频率增加了29%。

总的来说，我们的模型级干预增加了诱发不良行为的难度，但这样做仍然是可能的。此外，仍然存在“越狱”产生的内容，违反我们的使用指南. 随着人工智能系统的“每令牌风险”增加，在这些干预措施中实现极高的可靠性将变得至关重要；目前，重要的是用监控滥用等部署时安全技术来补充这些限制。

GPT-4和后续模型有可能以有益和有害的方式对社会产生重大影响。我们正在与外部研究人员合作，以改善我们对潜在影响的理解和评估，并对未来系统中可能出现的危险能力进行评估。我们将很快分享我们对GPT-4和其他人工智能系统潜在的社会和经济影响的更多想法。

培训过程

与以前的GPT模型一样，GPT-4基础模型经过训练可以预测文档中的下一个单词，并使用公开可用的数据（如互联网数据）以及我们已获得许可的数据进行训练。数据是一个网络规模的数据库，包括正确和不正确的数学问题的解决方案，弱推理和强推理，自相矛盾和一致的陈述，以及各种各样的意识形态和想法。

因此，当提示一个问题时，基本模型可以以各种各样的方式作出响应，这些方式可能与用户的意图相去甚远。为了使其与护栏内的用户意图保持一致，我们使用带有人类反馈的强化学习来微调模型的行为。

请注意，该模型的能力似乎主要来自预训练过程——RLHF不会提高考试成绩（如果没有积极的努力，它实际上会降低考试成绩）。但模型的指导来自训练后的过程——基础模型需要迅速的工程师甚至知道它应该回答问题。

可预测扩展

GPT-4项目的一大重点是构建可预测扩展的深度学习堆栈。主要原因是，对于像GPT-4这样的非常大的训练运行，进行广泛的特定于模型的调优是不可行的。我们开发了基础设施和优化，这些基础设施和优化在多个尺度上具有非常可预测的行为。为了验证这种可扩展性，我们通过使用相同方法训练的模型进行外推，提前准确预测了GPT-4在我们内部代码库（不是训练集的一部分）上的最终损失：

现在我们可以准确地预测我们在训练期间优化的指标（损失），我们开始开发方法来预测更多的可解释指标。例如，我们成功地预测了HumanEval数据集的一个子集的通过率，这是从减少 1000 倍计算量的模型中推断出来的：

有些能力仍然很难预测。例如，逆标度奖是一个竞赛，寻找一个随着模型计算的增加变得更差的度量，后见忽视是获奖者之一。就像最近的另一个结果，GPT-4逆转了这一趋势：

我们认为，准确预测未来的机器学习能力是安全的一个重要组成部分，但相对于其潜在影响，它没有得到足够的重视（尽管几个机构的努力令我们感到鼓舞）。我们正在加大努力开发方法，为社会提供关于未来系统的更好指导，我们希望这成为该领域的共同目标。

OpenAIEvals

我们是开源的OpenAI Evals，我们的软件框架，用于创建和运行评估模型（如GPT-4）的基准，同时逐个样本地检查它们的性能。我们使用Evals来指导我们模型的开发（识别缺点和防止回归），我们的用户可以应用它来跟踪模型版本（现在将定期发布）和不断发展的产品集成的性能。例如，Stripe使用Evals来补充他们的人类评估，以衡量他们的GPT驱动的文档工具的准确性。

因为代码都是开源的，所以Evals支持编写新的类来实现自定义评估逻辑. 然而，根据我们自己的经验，许多基准测试遵循少数几个“模板”中的一个，所以我们也有包括模板这在内部是最有用的（包括“模型分级评估”的模板——我们发现GPT-4惊人地能够检查自己的工作）。一般来说最有效的方法建立新的评估将实例化这些模板中的一个，并提供数据。我们很兴奋地看到其他人可以用这些模板和更一般的渐变构建什么。

我们希望Evals成为一个共享和众包基准的工具，代表最大范围的失败模式和困难任务。作为一个学习的例子，我们创建了一个逻辑谜题Eval，其中包含GPT-4失败的十个提示。Evals也与实现现有的基准测试兼容；我们已经包含了几个笔记本实施学术基准和一些整合的变化（小子集）辅酶Qa为例。

我们邀请每个人使用Evals来测试我们的模型并提交最有趣的示例。我们相信，在使用和构建我们的模型的过程中， Evals 将是不可或缺的一部分，我们欢迎直接的贡献，问题和反馈。

ChatGPTPlus

ChatGPT 此外，订阅者可以在chat.openai.com上获得GPT-4访问权限，但有使用上限。我们将根据实际需求和系统性能调整确切的使用上限，但我们预计会受到严重的容量限制（尽管我们将在未来几个月内扩大和优化）。

根据我们看到的流量模式，我们可能会为更高容量的GPT-4使用引入一个新的订阅级别；我们也希望在某个时候提供一些免费的GPT-4查询，这样那些没有订阅的人也可以尝试。

API接口

为了获得对GPT—4 API（它使用了与GPT-3.5-Turbo相同的ChatCompletions API），请注册我们的候补名单。我们将从今天开始邀请一些开发商，并逐步扩大规模，以平衡产能与需求。如果您是研究人工智能或人工智能问题社会影响的研究人员，您也可以通过我们的研究人员访问计划。

一旦您有了访问权限，您就可以向gpt-4模型发出纯文本请求（图像输入仍然是有限的），随着时间的推移，我们将自动更新到我们推荐的稳定模型，因为我们制作新的版本。（您可以通过调用gpt-4-0314锁定当前版本，我们将在6月14日之前支持该版本）。定价为每1000次prompt tokens定价为0.03美元，每1000次completion tokens0.06美元。默认速率限制为每分钟4万个token和每分钟200个请求。

Gpt-4的对话长度为8,192个tokens。我们还提供对话长度32,768 tokens（约50页文本）版本gpt-4-32k的有限访问，该版本也将随着时间的推移自动更新（当前版本gpt-4-32k-0314，支持至6月14日）。定价为每1000次prompt tokens 为0.06美元，每1000次completion tokens 为0.12美元。我们仍在改进模型质量，以适应长对话长度的环境，并希望得到关于它在您的用例中表现如何的反馈。我们正在根据容量以不同的速率处理8K和32K引擎的请求，因此您可能会在不同的时间收到对它们的访问。

结论

我们期待着GPT-4通过为许多应用提供动力，成为改善人们生活的宝贵工具。还有很多工作要做，我们期待着通过社区建设的集体努力来改进这一模式，在此基础上进行探索，并为该模型做出贡献。

附录

MMLU问题示例，翻译成其他语言。注意，我们使用一致的选择令牌（A-D）：

脚注

1. 我们评估这个基准使用的思想链提示与4个例子，从训练集在上下文。特定的提示在验证集上进行了调整。

参考文献

1. P.Arredondo(Casetext/Stanford Codex)，D.Katz(Stanford Codex)，M.Bommalto(Stanford Codex)，S.High(Casetext)。进一步的分析将在几天后出现在Casetext博客上。