文章总结: 文章详述了将无人机巡检视频与检测结果投影至地图的开源方案。内容包括获取检测模型、提取含罗盘朝向的遥测数据、基于三角函数实现像素至经纬度转换,以及使用Mapbox可视化。针对误报问题,提出了置信度阈值调整、时序过滤及空间聚类等优化策略,具有较高的工程实践价值。 综合评分: 87 文章分类: 解决方案,安全开发
开源技术 | 无人机巡检视频及目标检测结果投影到地图方案
原创
mapxiaotu mapxiaotu
空天感知
2026年2月15日 10:45 新加坡
今天给大家分享的是与无人机巡检可视化有关内容,来自roboflow的开源实现:
1、将无人机航拍视频投影至地图
2、将无人机巡检的目标检测结果投影至地图
查看原文,请在公众号后台回复“投影”,即获得原文链接。
核心思路
利用计算机视觉模型从卫星或无人机影像中提取信息已经非常成熟。
在这篇教程中,作者以“检测屋顶太阳能板”为例,展示了整个流程。
最终的成果非常直观:
一个能够接收无人机视频和飞行日志的网页应用,它不仅能在视频中框出太阳能板,还能在地图上实时绘制出它们的具体位置。
最终效果:视频与地图的实时联动
第一步:获取检测模型
要实现这一功能,首先需要一个能够识别目标的计算机视觉模型。
作者指出了两条路径:
- 使用预训练模型:可以在Roboflow Universe等开源平台上找到大量针对航拍影像的预训练模型,涵盖了风力涡轮机、输油管道甚至特斯拉工厂产量评估等场景。
- 训练自定义模型如果检测目标比较特殊,可以收集至少100张相似视角的图片,进行标注后通过Roboflow进行训练。对于航拍数据,作者特别建议利用图像增强和小目标检测技巧来提升模型在野外环境下的鲁棒性。
无人机视频帧中被模型检测到的太阳能板
第二步:获取关键的飞行遥测数据
这是地理配准中最容易“踩坑”的一步。我们需要知道无人机在每一帧时的GPS位置、高度和罗盘朝向(Heading)。
很多网上的教程建议使用大疆生成的SRT字幕文件来提取数据,但作者指出,SRT文件通常不包含“罗盘朝向”这一关键数据,而没有朝向,我们就无法计算目标相对于无人机的方位。
💡 解决方案:
作者推荐通过Airdata平台同步大疆账号,导出完整的飞行日志CSV文件。这个文件提供了100毫秒级的详细遥测数据。我们需要对其进行过滤,只保留视频录制期间(isVideo == 1)的数据,以便与视频帧进行时间轴上的同步。
Airdata导出的飞行日志示例,包含详细的时间戳、坐标和姿态信息
第三步:从像素坐标到经纬度
拿到了图像中的像素位置(x, y)和无人机的遥测数据,如何计算出目标的真实经纬度呢?这里需要用到三角函数。
为了简化计算,作者设定了一个前提:无人机云台必须垂直向下拍摄(90°俯视)。
计算逻辑如下:
-
计算视野范围(FOV)对应的实际距离
:已知无人机的高度(Altitude)和相机的视场角(Mavic Air 2约为60度),通过正切函数
Altitude * tan(fov)可以计算出画面中心到边缘的地面距离。 -
计算目标的偏移角
:根据目标在图像中的像素坐标,结合视频的长宽比,计算目标点相对于画面中心的角度偏移。
-
推算目标坐标
:利用Turf.js库中的
rhumbDestination方法,以无人机当前的GPS坐标为起点,结合计算出的距离和最终方位角(无人机航向 + 目标偏移角),推算出目标的经纬度。
核心算法示意图:利用高度、视场角和像素偏移量计算地面目标的相对位置
第四步:可视化与算法优化
在算出坐标后,作者使用了Mapbox GL来进行可视化展示。不仅可以在地图上绘制无人机的飞行轨迹,还可以将视频叠加在地图上,并打上识别出的太阳能板标记。
但在实际操作中,直接输出模型结果会面临“误报”和“重复检测”的问题。作者提出了以下优化策略:
🎯 调整置信度阈值 将模型的置信度设定在90%以上,只记录模型非常有把握的检测结果。
⏳ 时序过滤 引入逻辑判断,只有当一个目标在至少两帧以上的画面中被检测到时,才认定为有效目标,从而过滤掉偶尔闪现的误报。
📍 空间聚类(合并重复项) 由于GPS误差和像素波动,同一物体的多次检测坐标会略有差异。代码中设置了一个距离阈值,将距离极近的多个检测结果取平均值,合并为一个可以在地图上显示的标记。
#
这篇文章跑通了无人机航拍、算法识别到目标落图的整个流程,其核心方法——通过飞行日志锁定时间轴,再利用几何原理反推地面坐标,值得动手一试。
如果你对源码感兴趣,或者想尝试用自己的无人机数据进行复现,可以访问作者提供的GitHub项目进行深入研究.
查看原文,请在公众号后台回复“投影”,即获得原文链接。
往期推荐:
让AI“读懂”12000+景SAR影像:开源SAR平台重大更新,接入大模型你也可以实现以文搜图
也说遥感共性产品,行业需要什么样的遥感产品?
看水利部水利遥感星座战略布局,机遇与挑战并存
Umbra开源雷达影像下载工具开发实践
NASA与微软联合推出“Earth Copilot”,“智能助手“或成为行业产品标配
欢迎交流
笔者长期从事人工智能、遥感、大模型等业务
免责声明:
本文所载程序、技术方法仅面向合法合规的安全研究与教学场景,旨在提升网络安全防护能力,具有明确的技术研究属性。
任何单位或个人未经授权,将本文内容用于攻击、破坏等非法用途的,由此引发的全部法律责任、民事赔偿及连带责任,均由行为人独立承担,本站不承担任何连带责任。
本站内容均为技术交流与知识分享目的发布,若存在版权侵权或其他异议,请通过邮件联系处理,具体联系方式可点击页面上方的联系我。
本文转载自:空天感知 mapxiaotu mapxiaotu《开源技术 | 无人机巡检视频及目标检测结果投影到地图方案》
版权声明
本站仅做备份收录,仅供研究与教学参考之用。
读者将信息用于其他用途的,全部法律及连带责任由读者自行承担,本站不承担任何责任。










评论