Gemini 1.5: Unlocking multimodal understanding across millions of tokens of contextGemini 1.5：跨百万级 token 上下文的多模态理解

Gemini 1.5是谷歌推出的新一代原生多模态模型家族，把上下文窗口从3.2万token一次性扩展到千万级，且几乎不损失数学、推理、代码等核心能力。Pro采用稀疏混合专家（MoE）Transformer架构，更省算力逼近Gemini 1.0 Ultra质量；Flash通过对Pro在线蒸馏并并行执行注意力与前馈计算，换来接近最快的服务延迟。论文用困惑度幂律标度律、跨文本/视频/音频大海捞针评测，以及翻译濒危语言、语音转写、长文档问答、长视频理解等真实任务，证明上下文变长确实能转化为可用的理解与学习能力。

此前主流LLM的上下文窗口长期停留在数万到十几万token（GPT-4 Turbo 12.8万、Claude 2.1 10万），处理整本书、多小时视频或音频只能依赖检索增强等外部拼接方案，窗口扩展也多局限于纯文本模型。短窗口下无法把一部电影或一场演讲整段送入模型，模型学不到跨越全片的长程关联。Gemini 1.5要解决的正是「既要多模态原生融合、又要千万级token精确召回与推理」这一此前架构和训练体系都难以兼顾的问题。

关键贡献

• 提出Gemini 1.5 Pro与Flash两款原生多模态模型，把上下文长度从3.2万token扩展到千万级且几乎不损失核心能力。
• Gemini 1.5 Pro采用稀疏混合专家（MoE）Transformer架构，用条件计算在更省训练算力的前提下逼近Gemini 1.0 Ultra的质量。
• Gemini 1.5 Flash通过在线蒸馏与并行注意力-前馈计算，在保持长上下文能力的同时把推理延迟压到全场最快。
• 设计了跨文本、视频、音频三种模态统一的大海捞针评测，并证明困惑度随上下文长度呈幂律下降直到千万token量级。
• 构建MTOB、ASROB、1H-VideoQA等新评测任务，验证模型仅凭上下文材料就能学会翻译与转写濒危语言Kalamang、理解长视频。
• 引入Bradley-Terry胜率模型量化长文档问答优劣，并用many-shot上下文学习大幅提升低资源语言翻译质量。

总体思路

Gemini 1.5是一族原生多模态Transformer模型：Pro是稀疏混合专家（MoE）架构，Flash是从Pro在线蒸馏出的稠密解码器，两者共享同一套长上下文与多模态能力。输入可以是任意顺序交织的文本、图像、视频帧、音频片段（甚至整本书、整段代码库、数小时音频），模型直接在同一个自回归解码器里联合建模，输出仍是自然语言。论文的核心贡献不是给出一个全新模块，而是把架构、训练数据、优化算法与服务系统作为一个整体协同改进，把上下文长度从Gemini 1.0的3.2万token一次性推到千万级，同时用一套诊断性（困惑度、大海捞针）加真实任务（翻译、问答、语音识别）的评测体系去验证这个能力是「真的能用」而不只是「能塞进去」。

稀疏混合专家架构与在线蒸馏

Gemini 1.5 Pro延续Gemini 1.0与谷歌内部MoE研究传统，用一个可学习的路由函数把每个输入token只分配给全部参数中的一个子集去处理，这种「条件计算」让总参数量可以远大于任意一次前向实际激活的参数量，从而在不显著增加单次推理算力的前提下扩大模型容量。Flash则是一个稠密Transformer解码器，为了服务效率把注意力计算与前馈层计算并行化执行，并通过在线蒸馏从更大的Pro模型持续学习，配合高阶预条件优化方法训练，用更小的模型规模逼近Pro的质量。二者搭配解决了「既要强、又要能便宜地服务千万token请求」这一矛盾：该重的重（Pro），该轻的轻（Flash）。

长上下文困惑度的幂律标度律

为了验证「长上下文是否真的被模型用上」，论文在held-out长文档与随机打乱拼接的代码仓库上，记录序列中每个位置token的负对数似然： $$NLL(x_t)=-\log p_\theta(x_t\mid x_{<t})$$ 如果模型能利用远处上下文，NLL应随位置单调下降；论文进一步用幂律函数拟合这条下降曲线： $$L(x)=\alpha x^{\beta}+\gamma$$ 结果显示长文档上该拟合在1M token内高度准确，代码仓库上准确到约2M token，10M token附近开始因代码重复片段带来「超额收益」而偏离幂律——这说明长上下文的价值不是线性的，某些结构化重复输入（比如代码）能放大远距离信息的作用。

大海捞针跨模态评测方法

经典大海捞针任务在文本haystack里插入一句形如「The special magic {city} number is {number}」的needle，在不同深度百分位和长度下问模型能否原样召回。论文把这套方法论直接搬到视频和音频：视频版把提示文字叠加到10.5小时（7份AlphaGo纪录片拼接，37994帧、9.9M token）视频里的某一帧上；音频版把一句「the secret keyword is needle」藏进长达107小时（约9.9M token）的VoxPopuli多说话人语音里，跨模态提问「秘密词是什么」。这套三模态统一的评测方法，本质是把「检索能力」从文本单一模态抽象成一个可以套用到任意模态的通用测试范式，为后续长上下文多模态模型的评测提供了模板。

Kalamang语言学习与字符错误率

MTOB与ASROB两个任务测试的是「纯粹靠上下文材料学会一门此前完全没见过的语言」：给模型一本约500页的Kalamang语法书、一份双语词表和约400句平行语料（共约25万token），要求直接翻译；ASROB进一步给几段带文字对照的Kalamang语音，测试模型能否学会转写。语音转写用字符错误率衡量，其定义是把预测文本对齐到参考文本后统计替换、删除、插入操作数再除以参考长度： $$CER=\frac{S+D+I}{N}$$ 之所以选CER而不是词错误率，是因为Kalamang缺乏成熟的分词标准，字符级对齐更稳健。

长文档问答的Bradley-Terry胜率模型

针对《悲惨世界》全书（710K token）的问答评测，论文发现主流模型在「绝对正确率」上已经普遍很高、难以区分优劣，于是改用两两比较：让自动裁判对同一问题下两个系统的回答判定谁更好，再用Bradley-Terry模型把这些两两胜负拟合成每个系统的实力分数，模型A优于模型B的概率由两者分数的对数几率差给出： $$P(M_A \text{ 优于 } M_B)=\frac{e^{\beta_A}}{e^{\beta_A}+e^{\beta_B}}$$ 这解决了「知名书籍上模型都答得不错、绝对分数测不出差异」的问题——用相对胜率而不是绝对准确率，才能在高分饱和区间继续分辨模型能力。

小结

Gemini 1.5的关键不是某个单一模块，而是MoE容量扩张、在线蒸馏压缩，以及一整套跨模态跨长度的「诊断+真实任务」评测体系协同作用，把长上下文从「能塞进去」真正推进到「能读懂、能学会、能回答」。

评测分诊断性与真实任务两类：诊断性测困惑度标度规律和跨模态大海捞针召回率；真实任务覆盖Kalamang翻译转写、长文档问答、长音频转写、长视频理解和低资源语言many-shot翻译。结论是Gemini 1.5千万token量级仍近乎完美召回，长文档与语言学习任务大幅超越检索或分段基线。

关键数据

Gemini 1.5延续了GPT-4 Turbo（12.8万token）、Claude 3（百万token）这条上下文扩展竞赛的脉络，率先把原生多模态与千万级token召回结合在一起，标志着长上下文从「文本检索增强的补丁」变成模型原生能力。它提出的跨模态大海捞针、MRCR、many-shot ICL等评测方法，后续被广泛借用为长上下文模型的标准考核方式。

局限与不足

论文是技术报告而非严格论文，MoE路由细节、长上下文架构改动的具体机制均未公开，读者只能看到「改进了架构、数据、优化与系统」这类整体性描述。多针召回与MRCR两个评测在8K token以内给出的模型排序并不一致，说明「能召回」和「能推理消歧」是两种不同能力，混用会误判模型水平。MTOB上Kalamang→英语翻译与人类学习者相比仍有明显质量差距，说明「学会新语言」远未被长上下文真正解决。此外音频、视频类对比因缺乏可比API（如GPT-4/Claude当时不支持原生音频输入）而只能用级联Whisper+文本模型的间接方式，比较并不完全公平；10M token附近代码困惑度偏离幂律的现象也仅被观察到而未被解释，成因留待后续研究。