癫痫发作语义学套件（S³）：面向癫痫发作语义理解的临床多模态数据集、基准与模型 · Seizure-Semiology-Suite (S3): A Clinically Multimodal Dataset, Benchmark, and Models for Seizure Semiology Understanding

原文摘要 · English Abstract

While Multimodal Large Language Models (MLLMs) have demonstrated remarkable proficiency in general video understanding, their capacity to interpret involuntary, and spatio-temporally evolving pathologic motor behaviors such as seizure semiology remains largely untested. To address this gap, we introduce Seizure-Semiology-Suite (S³), a clinically grounded dataset and benchmark for fine-grained, structured seizure semiology understanding. The dataset includes 438 seizure videos annotated with over 35,000 dense labels covering 20 ILAE-defined semiological features. Building on this dataset, we propose a seven-task hierarchical benchmark that systematically evaluates MLLMs from low-level visual perception to temporal sequencing, narrative report generation, and seizure diagnosis. To enable clinically meaningful evaluation of generated reports, we further introduce the Report Quality Index for Seizure Semiology (Seizure-RQI). Extensive baselines across 11 open-weight MLLMs reveal systematic weaknesses in laterality reasoning, temporal localization, symptom sequencing, and clinically faithful reporting. We show that seizure-specific fine-tuning substantially improves performance across tasks, and that a two-stage neuro-symbolic framework achieves an F1 score of 0.96 on epileptic versus non-epileptic seizure classification. Seizure-Semiology-Suite establishes a rigorous benchmark for evaluating multimodal models in safety-critical medical video understanding and guides the development of clinically reliable, domain-adaptive multimodal intelligence.

概要

这篇论文瞄准一个此前基本无人系统评测的问题：多模态大模型（MLLM）能否读懂癫痫发作时那些非自主、并发、随时间演化的病理动作（即「癫痫语义学」）。作者构建了首个大规模专家标注视频数据集，并设计了一套从视觉感知到叙事报告、再到临床诊断的七任务分级基准，配上一个临床导向的报告质量指标Seizure-RQI，对11个开源MLLM做统一评测，再用领域微调和两阶段神经-符号分类两条路径尝试补齐短板。它值得关注之处在于：把医疗视频理解从粗粒度判别式分类，推进为可量化、可复现的结构化生成式评测。

癫痫语义学的观察性运动、行为表现是诊断、分类与定位发作起始区的关键依据，但传统评估依赖专家人工逐帧回看视频，主观且难以规模化；已有自动化方法多为刚性判别式分类器（3D CNN、加速度计、光流分割），只能给出粗粒度、弱可解释的标签，难以建模症状「细微、并发、具有侧化与时序演化」的复杂现实。通用视频基准聚焦日常活动，医疗视频基准聚焦手术等主动性行为，都缺乏针对非自主病理运动的密集标注协议。

关键贡献

构建了首个大规模专家监督的癫痫发作语义学视频数据集，覆盖438段视频、116名患者与35,000余条细粒度标注。
设计了从视觉感知到临床诊断的七任务分级评测体系，覆盖识别、解释、侧化、时序定位、顺序推理、报告生成与诊断七个层次。
提出了临床导向的报告质量指数Seizure-RQI，用结构完整性、症状覆盖、侧化准确性与时序连贯性四个加权维度取代表层文本相似度评价。
在11个开源多模态大模型上系统评测，揭示了通用模型在空间侧化推理与精确时序定位上的普遍性失败模式。
验证了癫痫专用微调（SFT与GRPO）能带来跨任务一致性能提升，为领域自适应多模态智能提供了实证依据。
提出感知与诊断解耦的两阶段神经-符号分类框架，在癫痫性与非癫痫性发作鉴别上取得0.96的F1分数，显著超过端到端推理基线。

方法详解（完整做法）

总体思路

S³先构建一个大规模、专家监督的癫痫发作视频数据集，再在其上搭建一套从「看得见」到「说得对」再到「诊得准」的七任务分级评测体系，用11个开源多模态大模型（MLLM）做统一基线评测，最后用「癫痫专用微调」和「感知-诊断两阶段神经-符号框架」两条改进路径，检验能否弥补通用模型在时序、侧化与叙事一致性上的短板。整套流程的重点不是提出新架构，而是把「视频输入 → 结构化语义标签/自然语言报告 → 临床诊断」这条链路的每一环都量化、可比较。

数据集构建与五阶段专家标注

数据来自UCLA Reagan医学中心2019–2023年116名成年患者（18–64岁）的24/7监测录像，专家先筛出候选发作事件、再挑选运动清晰、全身可见的片段，最终得到438段视频。标注采用五阶段流程：先由癫痫专家用典型样例给标注团队做校准培训；再选151段视频（约34%）由专家现场标注并答疑，其中76段用于培训、75段用于检验标注者与专家的一致性（Cohen's Kappa均值0.8395）；随后训练好的标注者独立标注剩余287段，疑难案例由三名专家小组多数投票裁定；标注结果再用自适应抽样迭代校验，直至标注者子集与专家子集在ES与NES两类发作上的特征分布皮尔逊相似度分别收敛到0.893与0.782；最后用LLM纠正说明文本的语法与语义错误，并用规则检查校验时间标签，最终得到覆盖20个ILAE定义语义特征的35,000余条标注。

七任务分级评测体系

七个任务按能力层级递进：任务1判断20个核心语义特征是否出现（二分类，P/R/F1/Acc）；任务2要求模型给出有视觉证据支持的自由文本解释，用BLEU/ROUGE-L/BERTScore结合专家设计的语义解读打分表评估；任务3做侧化判断（患者左/右），显式以患者视角而非摄像机视角锚定方向；任务4要求给出症状起止的精确时间戳（MM:SS），用秒级MAE评估；任务5要求按发生顺序列出并发症状（“ictal march”），综合编辑距离、时序关系F1与LCS比率评估；任务6生成完整叙事报告，用Seizure-RQI等指标评估；任务7做癫痫性（ES）与非癫痫性（NES）发作的直接诊断及报告辅助诊断。整套体系刻意从单点感知逐步过渡到需要整合时空信息与临床先验的综合推理。

时序顺序评估：LCS 比率与编辑距离

任务5的顺序评估不满足于单一指标：编辑距离（Levenshtein）惩罚插入、删除与错序；时序关系Precision/Recall/F1检验成对先后关系（如「强直先于阵挛」）是否被保持；LCS比率则衡量模型输出中保留了多少正确的演化子序列，定义为最长公共子序列长度除以模型输出序列本身的长度：

$\text{LCS ratio}=\frac{\lvert \mathrm{LCS}(\hat{s},\,s^{*})\rvert}{\lvert \hat{s}\rvert}$

三者组合能同时刻画「结构是否正确」与「时间逻辑是否连贯」，避免单一指标掩盖顺序错乱的问题——论文实验里恰恰观察到某模型编辑距离和LCS比率都最优、但时序关系F1却很低的矛盾现象，说明这套多指标设计是必要的。

报告质量指数 Seizure-RQI

叙事报告生成任务如果只用BLEU/ROUGE等表层文本相似度评估，无法捕捉临床关键的事实准确性与结构合理性。Seizure-RQI在专家指导下把报告质量拆成四个加权维度：结构完整性S（权重0.15）、症状覆盖C（0.35）、侧化准确性L（0.25）与时序连贯性T（0.25），再乘以针对幻觉、离题内容、篇幅合规与临床高风险遗漏设计的惩罚项：

$\mathrm{RQI}=(0.15\,S+0.35\,C+0.25\,L+0.25\,T)\times P_{\text{hall}}\times P_{\text{off}}\times P_{\text{len}}\times P_{\text{haz}}$

把症状覆盖设为最高权重（0.35），反映了论文对「报告是否漏报关键症状」这一临床风险的优先关注，而不是单纯追求语言流畅或结构齐整。

两阶段神经-符号分类与领域微调

直接让MLLM看完整段视频端到端输出诊断，容易在长时间上下文里产生幻觉式推理。论文因此把感知和诊断拆成两步：先复用任务1让MLLM把视频转成20维二值语义特征向量 $v\in\{0,1\}^{20}$ ，再把这个结构化向量喂给一个随机森林分类器输出ES/NES诊断，让MLLM只负责视觉识别、逻辑判别交给可靠的统计模型。另一条路径是对最小模型Qwen2.5-Omni-7B做领域微调，比较监督微调（SFT，用视频-提示-答案三元组训练）与GRPO（用多个候选样本的组内归一化奖励做强化学习），且奖励函数按任务定制（任务1/3/7用准确率奖励，任务2/6用BLEU+ROUGE组合奖励，任务4用时间接近度奖励，任务5用LCS比率奖励）。GRPO这类组相对策略优化的核心机制是把同一提示下多个采样输出的奖励做组内标准化，得到相对优势：

$A_i=\frac{r_i-\mathrm{mean}(r_1,\dots,r_G)}{\mathrm{std}(r_1,\dots,r_G)}$

这样即使奖励的绝对尺度在不同任务间差异很大，模型也只需要学习「在同一组候选里谁更好」，训练信号更稳定。

小结

S³的关键不在于某个新模型架构，而在于用「专家标注的密集语义特征 + 分级任务体系 + 临床导向的复合指标（RQI）+ 感知/诊断解耦的两阶段框架」这一整套方法论，把「MLLM能不能读懂病理性身体语言」变成了一个可测量、可迭代改进的工程问题。

实验与关键数据

团队在UCLA Reagan医学中心采集的438段癫痫视频（116名患者，4:1切分训练/测试集）上，对11个开源MLLM统一测试基线，并对Qwen2.5-Omni-7B做SFT/GRPO微调，同时训练两阶段分类器。结论：通用模型能识别显著动作，但侧化推理与顺序保持普遍失败，专用微调与两阶段框架均带来一致提升。

关键数据

Task4 症状起始时间定位 MAE（秒，越低越好）

Qwen2.5-VL-32B 8.19s

vs Lingshu-32B（医学VLM）50.48s（优42.29秒）

Task5 时序关系保持 Temporal F1

Qwen3-Omni-30B 0.18

vs InternVL3.5-8B 0.57（-0.39）

两阶段神经-符号分类 F1（ES vs NES）

0.96

Task1 语义特征识别平均F1（Qwen系列7B→72B）

≈0.42–0.45

Task2 语义解读得分（Interpretation Score）

显著/持续动作类问题 ~0.7

vs 细粒度/时序推理类问题 <0.20（同任务内对比，差距0.5以上）

影响与局限

S³把「癫痫语义学理解」从孤立的判别式分类任务，扩展成可用通用MLLM衡量的结构化生成式评测问题，填补了医疗视频理解领域在「非自主性、时空演化型病理动作」上的基准空白。它同时系统暴露了当前MLLM在空间侧化与时序推理上的缺陷，为后续领域自适应多模态模型（尤其是医疗专用微调与神经-符号混合诊断框架）的设计提供了可复现的评测协议与改进方向。

局限与不足

论文的数据来源局限于单中心（UCLA Reagan医学中心）、成年患者（18–64岁）的癫痫监测单元录像，样本的人群分布、发作类型比例与摄录设备特征可能存在偏差，泛化到儿科人群或其他医院的监测环境仍需验证；出于隐私与IRB合规要求，评测只能覆盖开源权重模型，无法在同一基准上评估闭源云端API（如GPT系列）的表现，留下了一个直接的能力对比空白；任务3（侧化）与任务4（时序定位）依赖事件中心裁剪与有限采样帧率（1–2 FPS），可能低估模型在更高帧率或更长上下文输入下的潜在能力；两阶段神经-符号分类框架把诊断可靠性建立在任务1特征识别之上，而任务1本身平均F1仅在0.42–0.45左右，一旦上游特征识别噪声较大，下游诊断的可信度上限也会被这一步骤所约束，论文并未充分讨论误差传播对最终0.96 F1鲁棒性的影响。