GPT-4o System CardGPT-4o 系统卡

GPT-4o 是首个原生端到端支持文本、音频、图像、视频输入并直接生成文本、音频、图像输出的全模态模型，不再依赖“语音识别—大模型—语音合成”的拼接管线，语音响应延迟低至 232 毫秒，接近人类对话反应速度。这份系统卡不讨论模型架构或训练细节，而是完整记录一套安全评估方法论：外部红队做探索性风险发现，把发现沉淀为量化评测，用于打磨训练阶段行为对齐与部署阶段分类器拦截，再用 Preparedness Framework 和独立第三方评估兜底灾难性滥用风险，是大模型安全治理流程的一份完整样板。

此前的 GPT-4 与 GPT-4(V) 系统卡主要针对文本与静态图像，风险评估方法论已相对成熟。GPT-4o 首次把音频输入输出、真正端到端处理带入主力产品，实时语音交互带来了此前从未被系统评估过的全新风险面：声音克隆与冒充、仅凭语音推断说话人身份或敏感属性、用户对拟人化语音产生情感依赖等，都需要新的红队方法与量化评测手段才能覆盖。

关键贡献

• 首次针对“端到端全模态实时语音助手”这一全新产品形态系统梳理风险面并给出对应缓解措施
• 提出用文本转语音批量复用已有文本安全评测集的方法，从而继承已有数据集、打分器与红队工具
• 完整套用 Preparedness Framework 对网络安全、生物威胁、说服力、模型自主性四类风险量化评分，并给出“取四类最高分”的整体定级规则
• 首次引入 METR 与 Apollo Research 两家独立第三方机构，分别评估长时程自主任务能力与“钻评估空子”倾向
• 用真实用户随机对照实验量化 AI 生成语音与文字内容相较人类基线的说服效应差异
• 在医疗知识、科学能力、弱势语言理解等社会影响维度给出与前代模型的量化对比数据

总体思路

GPT-4o 是首个原生支持文本、音频、图像、视频输入并直接生成文本、音频、图像输出的端到端全模态模型，不再依赖“语音识别→文本大模型→语音合成”的拼接管线。这份系统卡不讲模型架构或训练细节，而是完整记录一套安全评估方法论：先靠人工红队做探索性风险发现，再把发现沉淀成量化评测，用于打磨训练阶段的行为对齐与部署阶段的分类器拦截，最后用 Preparedness Framework 与独立第三方评估兜底可能被滥用于灾难性能力的风险。

分阶段外部红队测试

OpenAI 联合 100 余名覆盖 45 种语言、29 个国家背景的外部红队人员，按模型能力成熟度分四个阶段测试：从早期仅支持“音频+文本”输入输出的内部工具，到接入图像输入，再到多模态多轮对话，最后在真实 iOS 高级语音模式上做实时交互。红队并非只找漏洞，其产出的对话数据直接用于下一步量化评测的构造与合成数据生成。

语音安全评测方法：用TTS复用文本评测集

语音是全新的输入输出模态，此前没有现成的语音安全评测集。团队用 Voice Engine 等文本转语音系统，把已有文本安全评测的输入批量转成音频，再送入 GPT-4o 打分，且只对输出的文字转写内容评分。设原始文本评测集为 $D=\{(x_i,y_i)\}_{i=1}^{N}$，评测集经转换得到

$$D_{\text{audio}}=\{(\mathrm{TTS}(x_i),\,y_i)\}_{i=1}^{N}$$

这样复用了已有的数据集、打分器与红队工具，但也带来局限：数学公式、代码等依赖排版符号的文本难以准确转成语音，评测中出现的错误可能来自模型本身，也可能来自 TTS 转换失真。

Preparedness Framework 四维度风险评分

框架把灾难性风险归纳为网络安全、生物/化学/放射/核（CBRN）、说服力、模型自主性四类，每类独立打分为低/中/高/极高，只要有一类越过高风险门槛就不予部署。为什么用取最高而不是平均：这是保守优先的设计——平均会让某一维度的严重风险被其他维度的低风险稀释、掩盖真实的最坏情况：

$$\mathrm{Risk}_{\text{overall}}=\max\big(\mathrm{Risk}_{\text{cyber}},\ \mathrm{Risk}_{\text{bio}},\ \mathrm{Risk}_{\text{persuasion}},\ \mathrm{Risk}_{\text{autonomy}}\big)$$

GPT-4o 在说服力维度被评为临界中风险，其余三项均为低风险，按此规则整体定级为中风险。

高风险能力的抽样评测协议

网络安全用 CTF（夺旗赛）任务衡量真实漏洞利用能力，生物威胁用与 Gryphon Scientific 合作设计的 tacit knowledge 问答衡量“是否降低了制造生物威胁所需的隐性知识门槛”。两类评测都不是单次问答，而是多次采样取聚合指标：CTF 允许每题尝试 10 次、每次最多 30 轮工具调用，10 次中任意一次成功即记为通过；生物威胁问答则用 10 个采样答案的多数投票衡量稳健性：

$$\mathrm{pass@10}=\mathbb{1}\Big[\exists\,k\le 10:\ \mathrm{success}(a_k)\Big],\qquad \mathrm{consensus@10}=\underset{a}{\mathrm{mode}}\{a_1,\dots,a_{10}\}$$

这种“多次采样取聚合”的设计能过滤掉偶然的运气成分，更接近模型能力的上限而非平均水平。

说服力随机对照实验与相对效应量

说服力评测没有用问答准确率，而是做真实的用户实验：在参议院选情“安全”的州招募 3800 余名参与者，比较 AI 生成的文章、语音短片、多轮对话与人类撰写内容对其政治观点的影响幅度，并在一周后复测持久性。核心指标不是绝对说服力，而是相对人类基线的效应量比值：

$$\mathrm{RelativeEffect}=\frac{\Delta_{\text{AI}}}{\Delta_{\text{Human}}}\times100\%$$

语音短片这一比值约为 78%，多轮对话约为 65%，说明 AI 尚未超过人类说服力基线但已逼近，这也是四个维度里唯一被评为临界中风险的一项。

第三方独立评估

文本能力率先部署后，OpenAI 邀请 METR 与 Apollo Research 两家独立机构复核关键风险：METR 让 GPT-4o 驱动的简单智能体挑战 86 项长时程真实任务，对比人类在不同时间预算下的完成率，未发现相较 GPT-4 有显著提升；Apollo Research 用 14 项自我认知与心智理论任务考察“scheming”（钻评估空子）倾向，发现 GPT-4o 在应用型智能体场景中尚不具备强能力，判断其不太可能进行灾难性的钻空子行为。独立评估的意义在于避免评测方既是运动员又是裁判的偏差。

小结

这篇系统卡真正的贡献不是模型本身，而是一整套可复制的安全评估方法论——红队发现风险、TTS 复用评测集、Preparedness Framework 用“取最高”兜底、抽样聚合指标逼近能力上限、独立第三方复核——这套流程后来被 o1、o3 等系统卡直接沿用。

评估分五条线：外部红队多阶段测试、TTS 语音安全评测、Preparedness Framework 对网络安全/生物威胁/说服力/自主性的打分、METR 与 Apollo Research 复核，以及健康/科学/弱势语言社会影响评测。结论：各维度均未超越 GPT-4，仅说服力临界中风险，整体定级为中。

关键数据

这份系统卡建立了“多模态能力每扩展一步、安全评估就要同步跟进一步”的行业范式，其中 Preparedness Framework 的四维度评分与“取最高风险”定级规则，以及邀请独立第三方复核灾难性能力的做法，被其后的 o1、o3 等系统卡直接沿用，成为大模型安全披露的事实标准模板。

局限与不足

系统卡本身不披露模型架构、参数规模与训练数据的具体构成，读者无法从中判断安全表现与模型能力设计之间的因果关系。TTS 转文本评测方法系统性地排除了数学公式、代码等难以语音化的内容，评测覆盖面天然有偏。说服力与健康类评测样本量和场景有限，健康评测只衡量知识准确率而非真实临床工作流中的效用。音频鲁棒性（背景噪音、打断、口音）、非英语语言的语音生成质量等问题在系统卡撰写时仍缺乏成熟的量化缓解方案，属于“已知但未解决”的局限。Preparedness Framework 的风险打分依赖内部团队设计的评测任务，缺乏行业统一标准，跨机构可比性有限。