2026-10-18 18:08:39 网络安全文章来源：ZONE.CI 全球网 0 阅读模式

cover_image

ICML 2026 Spotlight｜快手联合中科院软件所提出业界首个隐喻视频理解基准与方法

快手技术
快手技术

快手技术

2026年7月6日 11:46
北京

在小说阅读器读本章

去阅读

在短视频与社交媒体盛行的今天，越来越多的创作者不再直白地表达观点，而是借助隐喻来传递深层意涵。一段画面里，一群身着燕尾服、戴着法官帽的猪在豪华宴会上大快朵颐，桌子底下的猫却在争抢残羹冷炙——它表面上是一则荒诞的动画，真正想说的却是“统治阶层挥霍掠夺社会财富，底层民众艰难求生”的社会批判。

对人类而言，看懂这层意思几乎是本能；但对多模态大模型（MLLM）而言，这却是一道远未跨越的认知鸿沟。它们能准确“看见”燕尾服、猪、猫、宴会这些视觉元素，却往往读不懂这些元素背后所映射的抽象概念。这种从感知信号到深层语义的跨越，正是多模态隐喻理论中所说的跨域映射（cross-domain mapping）——也是检验大模型高阶认知能力的试金石。

然而，长期以来隐喻视频理解缺乏系统性研究，既限制了MLLM在真实复杂场景中的落地，也让我们无法真正评估它们的认知上限。为解决这一问题，快手联合中国科学院软件研究所、清华大学共同提出了业界首个面向隐喻视频理解的系统性基准、深度分析与增强方法。相关成果《MetaphorVU: Towards Metaphorical Video Understanding》已被机器学习顶级会议ICML 2026接收，并被选为spotlight。

论文名称: MetaphorVU: Towards Metaphorical Video Understanding
论文链接:https://arxiv.org/abs/2605.25461
代码仓库：https://github.com/icip-cas/MetaphorVU
Benchmark仓库：https://huggingface.co/datasets/lzq2021/MetaphorVU-Bench

一、研究背景：被低估的“隐喻”，被高估的“理解”

隐喻视频广泛存在于社会评论、价值倡导、情感表达等重要场景中。与直接陈述不同，创作者通过画面引导观众去联想与解读，例如：摇曳的玫瑰与渐暗的场景暗示分手后内心的灰暗，孔明灯升空寄托对考试与未来的祈愿。

根据多模态隐喻理论，人类理解隐喻视频是一个高阶认知过程，核心是把感知到的视觉信号转化为其中隐含的语义，即从视觉元素链接到深层概念的跨域映射。

但现实是：

现有评测缺位——主流视频理解基准多聚焦于物体识别、事件描述、浅层问答，几乎没有专门、系统地衡量“隐喻理解”这一高阶能力的工具；
模型能力存疑——我们并不清楚MLLM究竟是真的“理解”了画面深意，还是仅仅停留在“看图说话”。

懂画面，不等于懂意思。这道横亘在感知与认知之间的鸿沟，正是本工作要正面丈量并尝试跨越的边界。

二、基准构建与缺陷分析

2.1 基准构建：MetaphorVU-Bench

要回答“模型到底懂不懂隐喻”，首先需要一把可靠的尺子。为此，团队构建了MetaphorVU-Bench——首个系统的、全面的隐喻视频理解基准，具备三大特征：有据可依的系统化分类、源于亿级真实视频的数据、严格的人工标注。

2.1.1 一套有理论根基的隐喻分类体系

不同于零散的样本堆叠，团队基于多模态隐喻理论及其在影视、符号学领域的扩展，提炼出覆盖8类视频隐喻的系统化分类：

肢体语言（Body Language）：通过人物动作、神态传递意涵；
氛围语言（Atmosphere Language）：通过色彩、光线、构图营造的氛围传情；
文化符号（Cultural Symbol）：借文化器物的象征表意；
自然符号（Naturalistic Symbol）：借自然元素与动植物行为表意；
因果蒙太奇（Causal Montage）：通过因果镜头并置引导观众推断逻辑；
类比蒙太奇（Analogical Montage）：通过相似镜头并置引导观众联想类比；
超现实叙事（Surreal Narrative）：通过虚构、夸张的超现实情节寄寓深意；
表演叙事（Performative Narrative）：通过剧情反转的表演性叙事传递批判。

2.1.2 从亿级真实视频中“沙里淘金”

基准数据全部源自真实短视频平台，覆盖广泛话题，视频时长与主流MLLM兼容。面对亿级候选、其中仅极小部分含隐喻逻辑的难题，团队设计了多阶段漏斗式筛选：

评论数>150筛选（约7万）→ 强LLM（GPT-5）分析简介/ASR/评论（约1.6万）→ 强MLLM（Gemini-3-Pro）核验视觉一致性（约4千）→ 人工终筛与类型平衡 →860条高质量隐喻视频，覆盖8大类型。

最终通过带交叉验证的严格人工标注，得到可靠的隐喻解读标签。

2.1.3 贴近真实的评测任务与指标

任务被形式化为：

模型在输入视频与标题后，先在思考过程中识别视觉元素、建立概念链接、揭示隐含意义，再在输出中给出隐喻解读。由于解读是自由文本，规则化指标难以可靠评分，团队沿用自由文本视频问答的做法，采用LLM打分给出0–100的可靠评估。

2.2 缺陷分析：模型差在哪里？

有了尺子，团队系统评测了11个代表性闭源与开源MLLM，并得出令人警醒的结论。

2.2.1 现状：与人类差距悬殊

即便是最先进的Gemini-3-Pro、GPT-5，平均分也只在64分左右，而人类上界高达83.4分，差距接近20分；开源模型差距更大（如Qwen3-VL-8B-Thinking仅52.0）。更值得注意的是，许多专为识别、事件描述设计的推理增强方法（如LTR、ViTCoT）甚至会拖累基座模型表现——说明隐喻理解需要的能力，和它们所增强的并不是同一种。

2.2.2 具体原因：80% 的失败不在“看错”，而在“想错”

为找到真正的瓶颈，团队对不同能力档位的模型做了细粒度错误分析，将失败归为四类：识别错误、缺失映射、表面映射、错误映射。结果一针见血：

超过80%的失败都不是“看错了画面”，而是无法把视觉元素正确链接到底层概念——即跨域映射的缺陷。进一步分析还发现：越需要跨域映射的子类（如因果蒙太奇、超现实叙事），模型表现越差。

这条分析链条把问题钉在了一个明确的靶点上：增强跨域映射，才是提升隐喻视频理解的关键。

三、隐喻视频理解能力增强

3.1 映射增强：MetaphorBoost

既然短板在于“跨域映射能力不足”，那就为模型提供一副外部认知脚手架。团队据此提出基于隐喻知识图谱的推理时增强框架MetaphorBoost，无需重新训练，即可一致地提升各类MLLM的隐喻理解能力。

3.1.1 首个隐喻知识图谱

隐喻理解天然需要多跳、互联的概念链接，因此团队构建了业界首个面向隐喻的知识图谱，包含54,687个节点、200,268条边，构建方法为：

收集公开的文本隐喻数据集；
用DeepSeek-V3.2从中抽取“源概念→目标概念”的隐喻映射对作为节点：
再将概念互联成图

3.1.2 推理阶段的映射增强

给定一段视频，MetaphorBoost分三步走：

识别（Identify）：让MLLM全面抽取视频中的视觉元素，得到关键词列表；
查询（KG Querying）：以关键词为入口在图谱中做多跳检索，保留与最多关键词相连的top-z目标概念作为参考
生成（Generate）：以检索到的概念为线索，引导模型完成思考并生成隐喻解读：

模型不再“凭空”猜测画面深意，而是在隐喻概念网络的牵引下，把视觉元素稳稳地链接到正确的底层概念。

3.2 实验结果：给模型装上“认知脚手架”的力量

3.2.1 一致且可观的提升

MetaphorBoost在不同体量、不同来源的模型上都带来稳定增益：Gemini-3-Pro平均 +2.3、Qwen2.5-VL-7B +4.1、Qwen3-VL-8B-Thinking +3.8，并在最依赖跨域映射的因果蒙太奇、超现实叙事子类上提升尤为明显（最高单项+7.8）。

3.2.2 消融实验印证设计动机

逐项消融清晰回答了“为什么这样设计”：

去掉外部增强→性能下降：外部知识确能弥补模型映射能力的不足；
去掉图结构（退化为纯文本检索）→性能下降：图的显式关系连接提供了更有效的映射增强；
换成通用常识图谱ConceptNet→性能下降：隐喻理解所需的是超越基础常识的高阶认知，专属隐喻知识不可替代。

3.2.3 直接证据：坏映射变少了

更进一步，团队统计了增强前后缺失映射、表面映射、错误映射三类问题的发生次数，结果三者同步减少——从机理上直接证明：MetaphorBoost确实是通过强化“视觉元素→底层概念”的链接能力来提升隐喻理解的，而非简单的提示堆砌。

四、意义与展望

这项工作的价值在于扩展了衡量多模态大模型的方式：从“能不能看清”，走向“能不能看懂”：

MetaphorVU-Bench提供了首把系统性的标尺，让“隐喻理解”这一高阶认知能力第一次变得可评测、可分析；
跨域映射诊断把模型的真实短板从“感知层”精确定位到“认知层”，为后续研究指明了靶点；
MetaphorBoost与隐喻知识图谱则给出了一条无需重训、即插即用的增强路径，验证了“以结构化外部知识增强跨域映射”这一技术方向的可行性。

当模型开始具备把画面与概念相联、由表象推及深意的能力，多模态理解便从“感知智能”向“认知智能”迈出了关键一步。未来，团队将继续探索更强的跨域映射建模、更广的隐喻场景覆盖，推动多模态大模型在内容理解、创作辅助、社会计算等更广阔的真实业务中走得更深、更远。

五、团队介绍

多模态大模型中心：

多模态大模型中心主要负责快手自研多模态基座大模型 Keye 的全栈研发，推动 AI 技术在快手全业务场景规模化落地。我们坚持基座自研 + 业务落地双轮驱动，打通从数据基建到产品应用的全流程链路，让前沿技术走出学术论文，真正成为赋能亿级用户产品的核心动力。

深耕基座架构：攻坚多模态大模型底层核心架构，持续探索模型 Scaling Law 性能边界；
夯实数据底座：搭建工业级数据清洗管线与自动化评测体系，以高质量训练数据驱动模型能力升级；
升级智能能力：突破强化学习、推理增强等前沿技术，提升模型逻辑思维能力与行为可控性；
全域商业落地：全面赋能快手电商、商业化、内容推荐等核心业务，让 AI 技术在真实业务场景中持续创造实际价值。
大模型应用中心：

深耕短视频、直播、搜索推荐、电商生态及创作者生态场景，自研适配业务场景的多模态大模型，为快手全链路业务提供坚实的基座模型技术支撑。

团队深度钻研多模态大模型多阶段预训练、监督微调、RLHF 对齐等核心技术；
同时持续探索图文、语音、音视频等多模态数据高效处理方案，强化模型对各类视听信息的精准理解能力；
深耕混合专家、模型蒸馏、剪枝压缩等技术，在保障模型效果的前提下，大幅提升推理性能与落地实用性；
多模态技术是迈向通用人工智能 AGI 的核心路径与关键基石，我们诚邀热爱多模态技术的同行伙伴，一同研发具备实际业务价值的大模型算法与落地技术。

六、招聘职位

多模态算法工程师/专家
职位描述：
打造最适合短视频、直播、搜索推荐、电商、创作者玩法的多模态大模型，为快手的各项业务提供基座模型技术支持。多模态技术是通向AGI的重要方法和里程碑，期待和更多对多模态技术感兴趣的同学一起打造真正带来价值的模型算法技术；
深度探索多模态大模型的多阶段预训练、监督微调和RLHF等技术，打造业界第一梯队的多模态大模型，赶超GPT-4o、Gemini Pro等闭源模型的实际使用效果；
图片、语音、音频和视频多种模态信号的高效处理方式探索，提供对各类信号最精准的理解能力；
混合专家、蒸馏剪枝等兼顾模型性能和效果的技术探索。
任职要求：
硕士及以上学历，有较强的代码动手开发能力，对多模态大模型基座能力提升有较高的热情；
熟悉计算机视觉相关的算法和技术，有自然语言处理和大模型训练经验；
良好的沟通协作能力，能够与团队紧密合作，共同推进项目进展。
加分项：
在ACM/ICPC、Top Coder、Kaggle等比赛中取得过良好成绩是加分项；
在大模型领域，发表过相关论文是加分项；
多模态大模型的项目经历和实习经历是加分项。