| 专利类型： | 发明专利 |
| 申请/专利号： | CN202410882513.3 |
| 申请日期： | 2024-07-03 |
| 公告/公开号： | CN118425955B |
| 公开日期： | 2024-08-27 |
| 主分类号： | G01S13/86(2006.01);G;G01;G01S;G01S13 |
| 分类号： | G01S13/86(2006.01);G01S17/86(2020.01);G01S7/41(2006.01);G01S7/48(2006.01);G06T5/50(2006.01);G06T3/06(2024.01);G06T5/20(2006.01);G06V10/82(2022.01);G06V10/764(2022.01);G06V10/762(2022.01);G06V10/44(2022.01);G06V10/42(2022.01);G06V10/10(2022.01);G06V10/25(2022.01);G06N3/0464(2023.01);G06N3/045(2023.01);G06N3/084(2023.01);G06N3/048(2023.01);G01S13/86;G01S17/86;G01S7/41;G01S7/48;G06T5/50;G06T3/06;G06T5/20;G06V10/82;G06V10/764;G06V10/762;G06V10/44;G06V10/42;G06V10/10;G06V10/25;G06N3/0464;G06N3/045;G06N3/084;G06N3/048 |
| 申请/专利权人： | 太原理工大学 |
| 发明/设计人： | 王宏伟;刘学刚;王浩然;王群;曹文艳;陶磊;朱明飞;王棣;张之好 |
| 主申请人地址： | 030024 山西省太原市迎泽西大街79号 |
| 专利代理机构： | 山西晋扬知识产权代理事务所(特殊普通合伙) |
| 代理人： | 张学元 |
| 国别省市代码： | 山西;14 |
| 主权项： | 1.一种基于多传感器数据融合的掘进工作面目标检测方法，其特征在于，包括： S1，掘进机移动到初始掘进作业位置后，在掘进机后部的巷道顶部安装激光雷达、4D毫米波雷达和热成像相机这三种传感器； S2，控制激光雷达、4D毫米波雷达和热成像相机进行时间和空间的对齐； S3，在时间和空间对齐后开启三种传感器，激光雷达和4D毫米波雷达分别采集第一初始三维点云和第二初始三维点云，热成像相机采集初始热成像图像； S4，对第一初始三维点云和第二初始三维点云分别进行滤波，得到第一目标三维点云和第二目标三维点云；对初始热成像图像进行图像增强处理，得到目标热成像图像； S5，对第一目标三维点云和第二目标三维点云进行融合，得到融合三维点云；对融合三维点云进行3D目标检测，得到3D目标检测图像； S6，对目标热成像图像进行2D目标检测，得到2D目标感兴趣区域； S7，将3D目标检测图像转化为2D目标前视图； S8，融合2D目标前视图与2D目标感兴趣区域，得到融合图像并将融合图像作为目标检测结果。 2.根据权利要求1所述的基于多传感器数据融合的掘进工作面目标检测方法，其特征在于，所述S2包括： S21，时间对齐：控制激光雷达、4D毫米波雷达和热成像相机进行时间戳同步，以获得同一时刻采集的第一初始三维点云、第二初始三维点云和初始热成像图像； S22，空间对齐：对激光雷达、4D毫米波雷达和热成像相机进行联合标定，建立激光雷达、4D毫米波雷达和热成像相机的坐标系之间的转换关系。 3.根据权利要求2所述的基于多传感器数据融合的掘进工作面目标检测方法，其特征在于，所述S21包括： S211，NTP服务器配置：在掘进机的机载数据处理终端上安装NTP软件Chrony，并配置Chrony的相关文件及上游时间源后，启动Chrony，形成NTP服务器； S212，传感器设备连接：在激光雷达、4D毫米波雷达和热成像相机的设置界面找到NTP配置选项，输入NTP服务器的IP地址，使激光雷达、4D毫米波雷达和热成像相机均连接到NTP服务器； S213，同步时钟并校准：配置激光雷达、4D毫米波雷达和热成像相机的同步周期，使它们定期向NTP服务器请求时间更新，并校准它们本地时钟，使它们与NTP服务器的时间保持一致； S214，数据采集和记录：启动激光雷达、4D毫米波雷达和热成像相机进行数据采集，并记录每种传感器采集的数据及其附加的时间戳信息。 4.根据权利要求1所述的基于多传感器数据融合的掘进工作面目标检测方法，其特征在于，所述S4包括： S41，对第一初始三维点云先使用高斯滤波来平滑数据，然后再应用统计滤波去除离群点，得到第一目标三维点云； S42，对第二初始三维点云采用DBSCAN算法进行聚类，将聚类结果中聚类簇以外的点标记为噪声点，并去除噪声点，得到第二目标三维点云； S43，采用自适应直方图均衡化方式和对比度增强方式对初始热成像图像进行图像增强处理，得到目标热成像图像。 5.根据权利要求1所述的基于多传感器数据融合的掘进工作面目标检测方法，其特征在于，所述S5在对第一目标三维点云和第二目标三维点云进行融合，得到融合三维点云时，包括： S51，通过NDT算法进行点云粗配准，具体包括： S511，初始化定义：将第一目标三维点云作为配准的目标点云并将其记为，将第二目标三维点云作为源点云并将其记为，将初始变换的旋转矩阵设置为单位矩阵，将初始变换的平移向量设置为零向量，并预设NDT算法的收敛条件阈值； S512，网格划分：将划分为一系列三维的体素网格； S513，分别通过公式（1）和公式（2）计算包含点云的均值向量和协方差矩阵；（1）；（2）； 公式（1）和公式（2）中，是中的点数量，是中的点；是一个正数，是单位矩阵，是小对角矩阵，表示的转置； S514，初始变换：通过公式（3）对应用和进行初始变换：（3）； 公式（3）中，是经过初始变换后的点云； S515，迭代优化，具体包括： 1）计算似然函数：对于中的每个点，通过公式（4）计算其在的高斯分布模型中的似然概率：（4）； 2）构建代价函数，表示为公式（5）：（5）； 公式（5）中，是点云粗配准过程中使用的变换矩阵，N2表示中点的数量，N1表示划分的体素网格的数量； 3）梯度下降优化法：使用梯度下降法最小化，并通过公式（6）迭代更新：（6）； 公式（6）中，为步长，为代价函数的梯度，m表示第m次迭代，为第m次迭代的变换矩阵，为第m+1次迭代的变换矩阵； S516，收敛判断：当时停止迭代，并输出最终的变换矩阵和粗配准后的源点云，作为通过ICP算法进行点云精配准的输入数据； S52，通过ICP算法进行点云精配准，具体包括： S521，初始定义：预设最大迭代次数为、ICP算法的收敛条件阈值为、初始化变换旋转矩阵为单位矩阵、初始化变换平移向量为零向量； S522，寻找配对点：对于每个点，通过公式（7）找到中与之最近的点，并将所配对的点集记为：（7）； 公式（7）中，是中的点，是中的点；表示找到使函数达到最小值的索引，此处表示找到使最小的； S523，估计变换：通过公式（8）至公式（11）计算和所配对的点集的质心以及去质心后的点集：（8）；（9）；（10）；（11）； 公式（8）至公式（11）中，是的质心；是源点云去质心后的点集；是所配对的点集的质心；是目标点云所配对的点集去质心后的点集；N2是配对点的数量，即中点的数量； S524，通过公式（12）计算协方差矩阵：（12）； 公式（12）中，表示的转置； S525，通过公式（13）对进行奇异值分解：（13）； 公式（13）中，、和是奇异值分解过程中的矩阵； S526，分别通过公式（14）和公式（15）计算旋转矩阵R和平移向量t：（14）；（15）； S527，通过公式（16）计算通过R和t更新之后的源点云：（16）； S528，通过公式（17）计算误差，并根据误差判断是否收敛：（17）； 如果误差变化量或迭代次数达到最大迭代次数，则确定ICP算法收敛，停止迭代，其中，n表示第n次迭代，和分别表示第n次迭代的误差和第n+1次迭代的误差； S529，输出ICP算法收敛时的旋转矩阵和平移向量作为最终的旋转矩阵、最终的平移向量，并根据最终的旋转矩阵、最终的平移向量确定更新后的点云后，对和进行点云拼接，得到融合三维点云。 6.根据权利要求1或5所述的基于多传感器数据融合的掘进工作面目标检测方法，其特征在于，所述S5在对融合三维点云进行3D目标检测，得到3D目标检测图像时，包括： 将融合三维点云输入到改进后的PointNet++目标检测网络，由改进后的PointNet++目标检测网络输出3D目标检测图像；所述改进后的PointNet++目标检测网络包括依次连接的输入层、第一SA模块、第二SA模块、PointNet、全连接层和输出层； 所述第一SA模块和第二SA模块均包括采样层、分组层、多层感知器、ECA模块、短链接层和PointNet层，采样层、分组层、多层感知器、ECA模块和PointNet层依次连接，短链接层与ECA模块并联；所述多层感知器的激活函数为Swish。 7.根据权利要求6所述的基于多传感器数据融合的掘进工作面目标检测方法，其特征在于，所述将融合三维点云输入到改进后的PointNet++目标检测网络，由改进后的PointNet++目标检测网络输出3D目标检测图像，包括： S5.1，通过改进后的PointNet++目标检测网络的输入层将融合三维点云转换为特征矩阵，N为融合三维点云中点的数量，d为点的维度，C为特征维数； S5.2，通过第一SA模块对特征矩阵进行特征提取，得到特征矩阵； S5.3，通过第二SA模块对特征矩阵进行特征提取，得到特征矩阵； S5.4，通过PointNet将特征矩阵处理为的特征向量，并通过全连接层对的特征向量进行整合后，由输出层输出3D目标检测图像。 8.根据权利要求7所述的基于多传感器数据融合的掘进工作面目标检测方法，其特征在于，所述S5.2包括： S521，第一SA模块的采样层采用迭代最远点采样的方法对特征矩阵进行采样，得到特征矩阵； S522，分组层采用KNN样本生成方法在每个采样点附近局部区域选择k个最近邻点作为代表对特征矩阵进行聚合，得到特征矩阵； S523，多层感知器对特征矩阵进行聚合，得到特征矩阵； S524，ECA模块分配特征矩阵的通道权重，得到的权重矩阵，并将的权重矩阵与特征矩阵进行逐通道相乘，得到加权后的特征图； S525，短链接层对特征矩阵进行短链接后，将短链接结果与加权后的特征图相加，形成的新特征图； S526，PointNet层对的新特征图进行最大池化操作，得到特征矩阵。 9.根据权利要求1所述的基于多传感器数据融合的掘进工作面目标检测方法，其特征在于，所述S7包括： S71，通过公式（18）将3D目标检测图像投影至2D平面，得到二维平面集合：（18）； 公式（18）中，是热成像相机坐标系下的融合三维点云中任一点的三维点坐标，是投影到图像平面像素坐标系上的二维像素坐标；和是热成像相机轴和轴方向上的焦距，和是图像中心的主点坐标； S72，根据二维平面集合确定包含所有顶点的最小外接矩形，具体为： 1）从二维平面集合中寻找值的最大值和最小值、值的最大值和最小值； 2）根据值的最大值和最小值、值的最大值和最小值生成最小外接矩形的边界框； S73，将二维平面集合中的点显示在图像平面上，并将最小外接矩形的边界框显示在图像平面上，得到2D目标前视图。 10.根据权利要求1所述的基于多传感器数据融合的掘进工作面目标检测方法，其特征在于，所述S8包括： S81，赋予2D目标前视图和2D目标感兴趣区域不同权重； S82，通过公式（19）计算融合图像中每个像素位置的像素加权平均值，得到每个像素位置的融合像素值：（19）； 公式（19）中，是融合图像中像素位置处的融合像素值， 是2D目标前视图中像素位置处的像素值，是2D目标感兴趣区域中像素位置处的像素值；是2D目标前视图的权重，取值范围为(0，1)； S83，对每个像素位置的融合像素值进行归一化处理，并根据每个归一化后的融合像素值构建融合图像，得到目标检测结果。 |