论文|武汉大学发布UniFlow-RS:六个遥感任务装进一个模型:分割、检测、变化检测,共用一个预测器

admin 2026-11-19 01:25:45 网络安全文章 来源:ZONE.CI 全球网 0 阅读模式

论文 | 武汉大学发布UniFlow-RS:六个遥感任务装进一个模型:分割、检测、变化检测,共用一个预测器

原创

mapxiaotu
mapxiaotu

空天感知

2026年11月13日 14:51
中国香港

去阅读

导读:这两年遥感基础模型越做越大,表征学得越来越通用,到了干活环节却还是老样子:建筑提取一个头,变化检测一个头,语义分割再一个头,每个任务一套解码器、一套损失函数。

武汉大学夏桂松团队的 UniFlow-RS 把统一往前推了一步——六个任务的输出先全部改写成同一种“图”,再交给同一个流匹配预测器去生成。一个模型、一份权重,13 个数据集上 7 个拿到第一,其余也都留在前列。

先交代这六个任务是哪六个:建筑物提取、变化检测、语义分割、高度估计、指代分割(给一句话,找出话里说的那个目标)、旋转目标检测。光学影像和 SAR 影像都算在内,单时相和双时相都算在内。放在一起看就知道麻烦在哪:它们的输出格式完全对不上。建筑提取交一张二值掩膜,语义分割交一张分类图,高度估计交一幅连续数值,旋转检测交一堆带角度的框。输入也不齐:变化检测要前后两张图,指代分割还要多一句话。

以往的多任务模型处理这种局面,办法是共享一个骨干网络,后面挂一排任务专属的预测头。表征是共享的,预测各干各的,每加一个新任务就要新设计一个头、配一套训练目标。UniFlow-RS 问的是另一个问题:预测这一步本身,能不能也共用?

论文 2026 年 11 月 10 日挂在 arXiv 上,目前是预印本。作者是武汉大学人工智能学院的 Jianlong He、Jing Xiao、Chaofeng Chen 和夏桂松(Gui-Song Xia),合作者有西电杭州研究院的 Liang Liao,Chaofeng Chen 同时挂武汉数学与智能研究院。夏桂松是当年 DOTA 大规模航拍目标检测数据集的牵头人,这个团队(MindVision Lab)长年做遥感视觉。代码已经放在 GitHub 上开源。

分享阅读笔记如下:

01 第一步:把六种答案都画成图

统一预测的前提是先有统一的输出格式。UniFlow-RS 的做法很直接:所有任务的答案,一律改写成一张“结构化视觉目标”图。二值掩膜画成双色图;分类结果按类别上色,画成彩色编码图;高度这种连续量,先做对数压缩再转成灰度图;旋转框这种离散实例,画成一张类别编码的画布,推理完再用确定性的几何后处理把框逐个抠回来。同一个任务在不同数据集里类别定义对不齐的,先把标签本体对齐再画。这些转换全部是写死的确定性规则,不参与学习。

画成图之后,接力棒交给一个冻结的图像 VAE:所有答案图编码进同一个潜空间,六个任务从此说同一种“语言”。任务的身份靠一句文本提示交代,比如 SAR 建筑提取的提示就是“为这幅合成孔径雷达图像生成二值建筑轮廓图”。剩下要解决的,就是让一个预测器学会在这个潜空间里,按提示把输入影像“运送”到对应的答案。

02 一个预测器:流匹配加一个共享 LoRA

预测器用的是流匹配(Flow Matching),近两年图像生成里很热的一套方法:学一个速度场,把“源状态”沿直线慢慢推成“目标状态”。源状态怎么设,论文做了专门消融:单图任务直接拿输入影像的潜表示当出发点,保留原图结构;变化检测拿两期影像潜表示的差当出发点,方向性的时相差异先摆出来,再把两期原图作为条件一起喂进去。推理只走两步流,速度很快。

底座选得很省:Black Forest Labs 的 FLUX.2 4B 生成模型、它的 VAE、通义千问 Qwen3-4B 文本编码器,全部冻结,一个参数不动。真正训练的只有一个秩 32 的 LoRA,约 4,910 万参数,六个任务共用,4 张 RTX 6000 Ada 训 6 万步。所有任务共用同一套流匹配损失,任务专属损失函数一个都没有。定性图里能看出生成式预测的脾气:边界更整、零碎的误报更少,建筑和高度的输出平滑连续,贴着场景结构走——它学到的有一部分是“图应该长什么样”的先验,靠这种先验把标注里学不到的合理结构补出来。

03 TMAS:给每个任务—模态组单独排训练课表

六个任务塞进一个预测器联合训练,新的麻烦马上出现:它们的学习进度对不齐。流匹配训练要在整条“运送轨迹”的不同位置上采样练习,位置就是时间步。论文测过各组在轨迹上的难度分布,差别很清楚——SAR 建筑提取和 SAR 语义分割在轨迹前段(大时间步)更吃力,光学变化检测和旋转检测难在靠近答案的那一头。全任务共用一套采样分布,等于让所有人按同一张课表上课,学得快的在陪练,学得慢的赶不上。

TMAS(任务—模态自适应时间步采样)给每个“任务×模态”组单独记账:用快、慢两条指数滑动平均同时跟踪每个时间步分箱的误差,慢的那条反映长期难度,快的反映近期进步,两者拼出一个“学习效用”,采样配额就按效用动态重排,同时保留一块均匀采样防止冷门分箱被彻底放弃。消融结果:任务分开各训一个 LoRA,统一任务分 UTS 是 67.48;合起来共用一个 LoRA 涨到 68.45,六个任务里五个受益;再加 TMAS 到 69.35,而且达到固定采样方案的最终成绩只用了 3.7 万步,比 6 万步省了 38.3% 的训练量。

04 成绩单:13 个数据集 7 个第一,零样本也能打

主基准上,UniFlow-RS 在 WHU-CD、LoveDA、OpenEarthMap 光学版、SpaceNet 6 SAR、DFC23、RRSIS-D、LaSeRS 七个数据集拿到对比中的最好成绩,其余六个保持竞争力。强调一遍:这些成绩出自同一份联合训练权重,没有任务专属微调,没有学出来的输出头。相对弱的是旋转检测,作者自己点破了原因:框和角度要从一张生成的编码画布里精确抠回来,生成时的一点小误差在恢复环节会被放大,这个任务和统一生成接口的脾气最不对付。

更有看头的是零样本部分,同一个权重不做任何适配,直接换考场。在没见过的指代分割数据集 RISBench 上,它 cIoU 70.92,把 ICLR 2026 的 VisionReasoner(46.98)甩开近 24 个点;语言问法更绕的 EarthReason 上同样第一。换任务也行:树冠遮挡下的道路提取(Chesapeake RSC),树冠下道路的召回率 38.89,高出专门做这个任务的 RoadGIE 近 9 个点;带合成云遮挡的 PIE 分割,厚云条件下 mIoU 24.52,S5 只有 4.76,云越厚它领先越多。遮挡场景下生成式先验的价值在这里兑现了——被挡住的部分,它能按结构补出来一个合理的版本。

💡 小结

遥感基础模型这条线,前几年卷的是表征:一个骨干喂饱所有任务。UniFlow-RS 卷到了预测环节:连答案的生成过程也共用,代价只是把六种答案先翻译成同一种图。对实际做业务的人,这意味着新任务接入时少了一整套预测头的设计和调参,先拿提示词加同一份权重试一轮,成了再谈专用模型。这篇和本号前阵子的 GeoFM 评测正好接得上:那篇说基础模型在亚米级影像上水土不服,这篇给的回应是,先别急着换骨干,把预测方式换掉试试。

论文原文:

UniFlow-RS: Unified Generative Prediction for Heterogeneous Remote-Sensing Tasks(Jianlong He、Liang Liao、Jing Xiao、Chaofeng Chen、Gui-Song Xia,武汉大学等,arXiv 预印本,2026 年 11 月 10 日);代码:github.com/MindVision-AI/UniFlow-RS

https://arxiv.org/abs/2611.14281

评论:0   参与:  0