InternVL3: Exploring Advanced Training and Test-Time Recipes for Open-Source Multimodal ModelsInternVL3：开源多模态模型的高级训练与测试时配方

多模态大模型长期依赖「先训语言模型、再嫁接视觉模块做后期对齐」的两阶段套路，视觉与语言参数难以同步演化。InternVL3 把语言预训练和多模态对齐合并成「原生多模态预训练」一个阶段，让 ViT、MLP、LLM 全部参数联合更新；再配合可变视觉位置编码 V2PE、SFT 后接混合偏好优化（MPO）纠正训练-推理分布偏移，以及 VisualPRM 驱动的 Best-of-N 测试时扩展。InternVL3 在 1B 到 78B 全规模取得开源最优表现，部分任务反超 GPT-4o、Claude-3.5-Sonnet。

此前主流 MLLM（如 LLaVA、早期 Qwen-VL）遵循「先训好纯语言 LLM，再接视觉编码器做指令微调对齐」的两阶段套路，视觉相关参数往往只在后期被微调甚至冻结，视觉与语言表征难以充分协同演化；同时传统位置编码对文本、视觉 token 一视同仁地递增，长多模态序列很快耗尽位置窗口，这正是 InternVL3 想解决的结构性问题。

关键贡献

• 提出「原生多模态预训练」，把语言预训练和图文对齐合并为单阶段联合优化，取消额外的桥接对齐步骤。
• 引入可变视觉位置编码 V2PE，用可调的小增量 δ 缓解视觉 token 过快耗尽位置空间的问题。
• 采用平方平均的 token 损失加权策略，避免训练梯度被回复长度系统性偏置。
• 用混合偏好优化（MPO）在 SFT 之后引入额外的偏好与质量监督，缓解训练与推理的分布偏移。
• 引入 VisualPRM 过程奖励模型驱动 Best-of-N 测试时扩展，用较小模型换取显著推理性能提升。
• 开源 1B 至 78B 全系列模型权重，在多项基准上追平甚至超越同期闭源商业模型。

总体思路

InternVL3 沿用「ViT-MLP-LLM」范式：视觉编码器 InternViT 把图像/视频切成的图块编码为视觉 token，经两层 MLP 投影到语言模型的嵌入空间，与文本 token 拼接后交给 LLM（Qwen2.5 或 InternLM3）做统一自回归解码。全流程分三步：①原生多模态预训练，把语言预训练与图文对齐合并进同一阶段，联合更新 ViT/MLP/LLM 全部参数；②两阶段后训练——SFT 之后接混合偏好优化（MPO），弥合训练与推理的分布差异；③推理时引入 VisualPRM 过程奖励模型做 Best-of-N 测试时扩展。三步合力把「先练语言模型再嫁接视觉」的旧范式，换成端到端联合优化。

可变视觉位置编码（V2PE）

传统位置索引对所有 token 统一按 1 递增，序列一长，视觉 token 很快把位置空间耗尽，压缩了模型能处理的有效上下文长度。V2PE 给文本 token 保持增量 1，给视觉 token 用更小的增量 $\delta$：训练时从一个预定义集合里随机采样，同一张图内部保持 $\delta$ 不变；推理时可依据序列长度灵活选择，在任务效果和上下文预算之间权衡。

$$p_i = p_{i-1} + \begin{cases} 1, & x_i \text{为文本 token} \\ \delta, & x_i \text{为视觉 token} \end{cases}, \qquad \delta \in \left\{1,\ \tfrac12,\ \tfrac14,\ \dots,\ \tfrac{1}{256}\right\}$$

当 $\delta=1$ 时 V2PE 退化为传统逐 token 递增的位置编码，因此它是原编码方式的严格泛化，而不是另起一套机制。

训练目标与 token 级损失加权

InternVL3 的自回归损失只对文本 token 计算，视觉 token 只作为条件上下文参与注意力、不直接被预测，这样模型被迫把视觉信息编码成对语言解码有用的形式：

$$\mathcal{L}_{\text{text-only}}(\theta) = -\sum_{i=2,\ x_i\in\text{Text}}^{L} w_i \cdot \log p_\theta(x_i\mid x_1,\dots,x_{i-1})$$

权重 $w_i$ 有三种取法：token 平均（$w_i=1/l^{0}$，长回复因 token 数多而主导总梯度）、样本平均（$w_i=1/l^{1}$，短回复的 token 反而占优）、以及 InternVL3 采用的平方平均（$w_i=1/l^{0.5}$），其中 $l$ 是该样本需计算损失的 token 数。平方平均介于两者之间，避免梯度被回复长度系统性左右——这是从 InternVL2.5 沿用下来的经验设计。

混合偏好优化（MPO）：为什么需要它

预训练和 SFT 阶段模型看到的都是「基于真实前缀预测下一个 token」，但推理时它只能吃自己生成的前缀——这种训练/推理不一致的分布偏移会侵蚀链式推理（CoT）的稳定性，尤其在多步推理里错误会逐步累积放大。MPO 引入额外的偏好和质量监督来纠正这一偏移，把三种损失按权重相加：

$$\mathcal{L} = w_p \mathcal{L}_p + w_q \mathcal{L}_q + w_g \mathcal{L}_g$$

其中 $\mathcal{L}_p$ 是 DPO 偏好损失，学习「选中回复」相对「被拒回复」的相对偏好；$\mathcal{L}_q$ 是 BCO 质量损失，用移动平均得到的奖励偏移量分别约束选中/被拒回复各自的绝对质量；$\mathcal{L}_g$ 是标准的生成损失，负责保住模型正常生成偏好回复的能力，三者合力比单纯 SFT 更贴近真实推理时的分布。

测试时缩放：VisualPRM 过程奖励模型

InternVL3 用 Best-of-N 采样做测试时扩展：对同一题生成 N 条推理链，交给专门训练的 VisualPRM-8B 过程奖励模型逐步打分再取平均，挑分数最高的一条作为最终答案。VisualPRM 把打分建成多轮对话——第一轮给出图像、问题和第一步解答，之后每轮追加一步，要求模型判断该步对错：

$$c_i \sim \mathcal{M}(y_i \mid I, q, s_{\le i}), \qquad c_i \in \{+,\ -\}$$

推理阶段把生成「+」的概率当作该步分数，全部步骤取平均得到整条解答的质量分。8B、38B 量级模型用 Best-of-8 在 MathVerse（Vision-Only）上分别带来约 6.0 和 3.2 个百分点的提升，证明小模型也能靠测试时算力换性能。

小结

一句话：InternVL3 = 原生联合预训练（语言与多模态一步到位）+ SFT/MPO 纠正训练-推理分布偏移 + VisualPRM 驱动的测试时 Best-of-N，三者分别作用于预训练、后训练、推理三个阶段。

评测覆盖 MMMU/MathVista 推理数学、AI2D/ChartQA/DocVQA 图表文档理解等任务，多数经 VLMEvalKit 完成，并与 InternVL2.5、GPT-4o 对比。结论：InternVL3 一致超越同尺寸 InternVL2.5，部分任务反超闭源模型，Best-of-N 对小模型收益大。

关键数据

InternVL3 是 InternVL 系列从「后期对齐」走向「原生联合训练」的关键转折，证明多模态能力可以和语言能力在同一个预训练阶段同步习得，而不必牺牲其一。其 V2PE、MPO、VisualPRM 三项组件此后被后续版本延用和扩展，也为开源社区提供了一套完整、可复现的「预训练-后训练-测试时扩展」全流程范式。

局限与不足

论文自己承认 Gemini-2.5-Pro 在 HallusionBench 等部分任务上仍领先 InternVL3，说明幻觉抑制等能力尚未达到最优；开源训练数据列表在论文发表时仍在整理中，完整的数据配比和复现细节无法完全对外核实。此外，V2PE 的 $\delta$ 在推理时需要依据序列长度人工挑选，缺乏自动化策略；MPO 依赖 SFT 版本模型生成 rollout 才能构造偏好对，链路较长，训练和数据构建成本高于单纯 SFT。Best-of-N 测试时扩展虽然提升明显，但要求额外训练并常驻一个 VisualPRM 评分模型，推理时的算力和延迟开销也随 N 增大而上升。