近年来，国家在不断推进新一代聪慧公路培植，同时出台干系政策文件，辅导大数据和聪慧交通的培植与发展。从先后出台的文件中，都对交通大数据、交通信息化等方面提出了事情任务哀求，个中明确哀求加快交通运输大数据运用、培植交通运输大数据平台，增强交通运输根本信息能力，开展交通运输海量数据深层次的交互领悟与挖掘运用，为政府行业管理、企业经营做事、市民出行供应支持做事。
聪慧公路培植面临的寻衅
目前，聪慧公路培植仍需对以下几个问题进行深入的研究。
首先，数据采集车的定位问题。传统的定位技能对付卫星旗子暗记良好区域，通过cors站载波相位差分技能可以得到厘米级的定位精度。然而，在车辆行驶周边环境涌现大量遮挡物体，如树木、楼宇时，卫星定位的稳定性严重不敷。因此，在弱北斗环境下仍能保持采集车定位的稳定性是须要办理的关键技能之一。
其次，纯挚采取激光雷达数据进行公路资产单体化的技能，受限于激光点云数据，难以实现路面资产的自动提取。而采取图像识别的算法虽然可以较为有效的识别公路资产，但是图像识别及干系打算机视觉算法，在对工具深度进行估计时，其精度和稳定性明显低于激光雷达。
基于深度学习的打算机视觉识别算法可分为工具检测和语义分割两大类。比较较而言，工具检测的本钱和效率都要高于语义分割，但是工具检测只能检测出包含目标工具的矩形框，而无法有效提取工具在图片中的姿态信息，进而对准确打算道路资产在空间中的位姿造成障碍。而语义分割算法对数据和场景的依赖较大，其模型的泛化迁移能力不敷。
从市场需求来看，随着根本举动步伐培植与掩护哀求质量的提高，客户对数字化培植的软件做事产生了比以前更高的需求。从技能发展趋势来看，随着人工智能技能的崛起，未来十年乃至更长的韶光内，自动驾驶在环球范围内都会是一个技能热点。培植聪慧公路和自动驾驶所需的高精舆图有着紧密的联系，它是人工智能技能的一个紧张运用处景，与它干系的家当链有着巨大的经济规模，资金和人才净流入的趋势在可预见的未来会持续。
视觉领域大模型技能的发展
随着ChatGPT，SAM (Segment Anything Model，即分割统统模型)等模型的涌现，大模型技能以它靠近乃至达到通用人工智能的性能，已经展现出了极大的运用潜力和广阔的发展前景。针对城市道路场景三维建模的任务，以SAM为代表的大模型在无须迁移的情形下，对场景的分割、理解能力展现了广阔的运用空间。
纵不雅观视觉领域大模型技能的发展，从Alexander Kirillov等人揭橥的文章《Segment anything（细分统统）》开始，向人们第一次展现了经由海量无标注数据预演习大模型，可以不经由微调地在任意来源的图像数据上做分割任务，并达到空想的性能，这便是所谓的零样本泛化。到Yunhan Yang等人利用SAM模型来实行三维点云分割任务，展示了SAM模型与之前的监督学习点云分割模型比较，不须要演习或微调的巨大上风。而目前，由Bencheng Liao等人研究的，基于环视图像和激光点云数据自动提取道路元素矢量的模型，发展了多模态领悟端到端实例分割的技能路线，并且输出了可供三维建模的矢量要素。关于大规模场景的三维重修，Konstantinos Rematas等人在《Urban Radiance Fields（城市辐射场）》一文中，重点阐述了发展NeRF的技能路线，借助深度神经网络，从纯图像或者图像和点云的领悟数据中构建出逼真的三维模型。也因此，Holger Caesar等人研究的用于自动驾驶的多模态数据集，成为目前最有影响力的城市道路场景图像点云领悟公开数据集。其余，希望借此也能为我们自己采集和处理数据的流程，树立威信的规范。与此同时，基于ChatGPT、Llama-2等大模型展示出的、能够更好领悟多模态数据的能力，辅导后续能够在上述事情的根本上实现更好的城市道路场景三维矢量建模。
多模态领悟建模的关键所在
公路三维建模采集车
本项目中基于AI大模型的多模态领悟建模采集车，如图1所示，系统采取雷视领悟等多传感器领悟的方案，紧张硬件包括多线激光雷达、工业相机、组合惯导、DIM等传感器。
图1 基于AI大模型的多模态领悟建模采集车
弱GNSS、大尺度SLAM
三维建模技能
同步定位与舆图构建(SLAM)是自动驾驶汽车所用的一种技能，可以同步实行定位和环境建图。基于SLAM技能的多传感器领悟三维建模方案系统架构如图2所示，通过多传感器数据的领悟，最优估计三维重修装置的姿态，进而得到精确运行轨迹，实现三维重修，其SLAM过程由时钟软同步、点云畸变纠正、地面分割、点云特色提取、位姿估计、后端优化等部分构成。
图2 基于SLAM技能的多传感器领悟三维建模方案系统架构
一是时钟软同步。高精度的硬件时钟同步方案为传感器供应了统一的时钟信息，然而传感器的频率、天生数据的时候不同，不将传感器数据的时钟统一到同一时候，即无法实现传感器领悟。本方案采取线性差值的方案，将各个传感器数据的时钟都统一到同一个传感器数据的时候上，实现数据软同步。
二是点云畸变纠正。激光雷达的扫描频率低，当采集车运动较快时，一帧点云数据每每会涌现畸变；而组合惯导的里程计数据频率较高，因此可结合里程计信息对点云数据进行纠正。假设一帧点云开始的韶光戳为t，结束时的韶光戳为t+1，在这个周期内可找到每个激光点数据对应的里程计信息，根据此里程计信息可将激光点转换到韶光戳t对应的坐标系下。
三是地面分割。三维激光雷达传感器捕捉到的三维点云中的大多数点都来自地面,地面点云可以为点云配准供应强约束，精确提取地面点云数据是三维建模精度的关键。本方案采取基于最前辈的方法——地面检测分割（SOTA），实现激光雷达同时定位和建图。
四是点云特色提取。公路采集车运行环境比较繁芜，提取特色明显的点云构建舆图可提高位姿估计精度。因此可提取点云中比较明显的特色点云，如类似树干、路灯等线特色和类似墙面、标牌等面特色是点云配准的关键。本方案采取深度优先搜索的聚类算法提取特色点云，担保精度的同时提高打算效率。
五是位姿估计。基于SLAM技能的多传感器领悟定位方案采取凸优化（Convex Optimization）的方法实现，凸优化在机器学习、深度学习等人工智能与大数据干系的方向都有举足轻重的浸染。首先构建系统丢失函数，包含位姿、速率、零偏等状态的残差，然后求解各状态的雅克比矩阵，再采取高斯牛顿方法求解该优化问题。
六是后端优化。基于SLAM的三维重修后端优化方法采取因子图（factor graphs）和贝叶斯网络（Bayes networks）的办法最大化后验概率优化算法。选取位置偏差、姿态偏差、速率偏差、加速度计漂移及陀螺随机常值漂移作为系统变量，利用帧间里程计因子、IMU预积分因子、RTK因子、闭环因子为约束因子，将三维重修问题转化为最大后验概率的优化问题，构建优化方程，实现后端优化。
基于雷视领悟的
动态物体剔除
考虑到实际的采集过程中既有点云数据，又有图像数据，终极须要在两种类型的数据中都识别出来。同时利用深度学习在图像识别方面的上风，本项目用语义分割的办法对图像中的行人和车辆进行识别，得到物体在图像中的像素级的Mask和Bounding Box。同时打算当前帧雷达的位姿，将雷达数据变换到相机坐标系下，根据图像中的目标物体的Bounding Box，得到含有目标点云的视锥体空间。然后将缩小目标区域的点云送到深度学习网络中进行目标点云的精确分割和识别，同时兼顾速率和准确度，终极可以同时得到去除动态物体的点云和图像。
基于AI大模型的三维重修
AI大模型，例如SAM可以准确地检测、分类和分割二维图像中的物体，然后通过剖析从多个视角拍摄的图像，来重修这些物体的三维模型。干系的技能要点有图像或视频的实例分割、深度估计、物体姿势估计、点云分割、降噪、特色提取等。利用预演习时授予大模型的知识，大模型可以表现出很强的泛化能力和一定的通用智能。它们对来自多模态传感器的数据的理解能力能帮助多模态数据领悟，从多视图乃至单视图数据中重修出逼真的三维模型。更进一步，大模型可以读取并理解人输入的文本信息，来对天生的三维模型做微调。
实验效果
基于雷视领悟的SLAM三维点云效果和基于AI大模型的三维重修效果展示如图。
图3 基于雷视领悟的SLAM三维点云效果
图4 基于AI大模型的三维重修效果
人工智能中的大模型技能运用在多模态领悟三维建模中，既有潜在的好处，但同时也面临多种寻衅。基于聪慧公路培植的项目背景和研究问题，明确项目履行的关键意义，并通过深入理解大模型技能的观点，从大量预演习数据中学到充足的知识，来帮助人们挖掘更多利用多模态数据进行三维建模的潜力。不丢脸出，将大模型技能运用于城市道路场景的多模态建模，可以通过领悟多传感器数据理解道路场景，并利用模型通过预演习得到的知识，使模型表现出靠近通用人工智能的优秀泛化性能。
可以说，人工智能中的大模型技能，在聪慧公路培植中有着巨大的运用潜力，它们对视觉和措辞的理解能力，对多模态数据的整合能力和零样本泛化能力，使它们有潜力在零样本图像、点云分割模型、神经辐射场、多模态领悟提取三维矢量等事情的根本上，实现城市道路场景下逼真的三维建模。
本文刊载 / 《数智视界》杂志 2023年 第4期 总第27期
作者 / 孙冬泳 王翔 李连中
作者单位 / 云基聪慧工程株式会社