导航：X技术最新专利计算;推算;计数设备的制造及其应用技术

　　1.本发明涉及计算机图像检测领域，尤其是一种基于计算机视觉的缺失路障检测方法、装置和存储介质。

　　2.根据建筑施工安全法规的要求，所有位于高处的开放平台须在平台边缘摆放路障，以防止高处坠落的发生。但在实际施工中，有些时候需要拆除路障才可进行施工，如安装预制墙时。在这些紧急情况下，需要提醒现场主管，以确保工人在移除路障之前已穿戴坠落防护系统，亦需要对开放边缘作实时检测。检测缺失路障的常用方法(例如，现场手动检查或三维模型检查)具有实用性较差的弊端，存在一些无法克服的缺点：(1)这些方法消耗大量人力资源和时间；(2)高处坠落危害是动态的，会随着施工工作的进展而变化。

　　3.有鉴于此，本发明采用先进的深度学习技术，提供一种基于计算机视觉的缺失路障检测方法、装置和存储介质。

　　4.本发明的第一方面提供了一种基于计算机视觉的缺失路障检测方法，包括以下步骤：

　　5.对建筑区域边缘进行监控，产生监控视频流，所述区域边缘摆放了若干个路障；

　　6.通过所述监控视频流，使用计算机视觉检测方法实时检测路障摆放情况和建筑工人情况；所述基于视觉的缺失检测方法包括掩模比较法和缺失目标检测方法；

　　10.使用对象分割神经算法分割所述监控视频流中的路障，所述对象分割神经算法包括u-net；

　　13.建立时间索引m，根据时间帧对监控视频流进行标记，每个标记对应一帧，t时刻的视频帧记作m

　　23.将监控图像输入完全卷积网络生成热点图，所述完全卷积网络包括centernet网络；

　　24.通过所述热点图获取路障的中心点、路障边界框的高度和宽度以及关键点到中心点的偏移值；其中，中心点对应热图中的峰值、边界框的高度和宽度对应峰值处的图像特征、偏移值通过损失函数计算；

　　25.通过所述中心点、边界框的高度和宽度、偏移值在每一张监控图像上进行标记，得到每一张监控图像对应的特征图；

　　27.进一步地，所述centernet网络，通过如下三种类型的损失训练得到：

　　＝1表示高斯核生成的关键点在实际关键点位置，表示centernet目标检测模型输出的对关键点的预测值，α和β是损失函数的超参数，x、y和c分别代表关键点的x坐标、关键点的y坐标和关键点的类别，n是图像中的关键点数量；

　　其中，p为原图目标中心点坐标，r为原图与特征图的缩放比例，为特征图上预测的中心点坐标，为网络预测的目标中心点坐标偏移；

　　其中，k表示图像中第k个目标，pk表示第k个目标的中心点坐标，表示预测的目标尺寸，sk表示目标的尺寸；

　　本发明实施例还公开了一种计算机程序产品或计算机程序，该计算机程序产品或计算机程序包括计算机指令，该计算机指令存储在计算机可读存储介质中。计算机设备的处理器可以从计算机可读存储介质读取该计算机指令，处理器执行该计算机指令，使得该计算机设备执行前面的方法。

　　本发明的实施例具有以下有益效果：通过基于计算机视觉的缺失路障检测方法，借助掩模比较法和缺失目标检测方法，可以实现有效、准确地防止高处坠落事故的发生，并向相关技术人员提供新的研究方向，同时还可记录监控数据，帮助管理者进行后续评估。

　　为了更清楚地说明本技术实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本技术的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

　　为了使本技术的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本技术进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本技术，并不用于限定本技术。

　　本实施例描述了一种基于计算机视觉的缺失路障检测方法的总体流程，如图1所示，包括以下步骤：

　　在预设区域边缘摆放若干个路障，并安装闭路电视对路障情况进行监控，产生监控视频流；

　　通过监控视频流，使用计算机视觉检测方法实时检测路障摆放情况和建筑工人情况；

　　本实施例的具体应用流程为：在塔式起重机上安装监控摄像头，将摄像头采集的实时视频流送入基于视觉的缺失检测模块中，一旦路障从开放区域边缘移除，缺失检测模块能够及时检测到路障缺失的情况，有建筑工人进入开放区域边缘的危险区域时，及时作出提醒。

　　其中，基于视觉的缺失检测方法包括掩模比较法(masks comparison approach，mca)和缺失目标检测方法(missing object detection approach，moda)；这两种方法都可以帮助现场管理人员迅速采取行动，降低高处坠落事故的风险，其具体流程将在后文介绍。

　　本实施例介绍了mca方法的工作流程，如图2所示，mca的基本概念是使用过去帧中存在的路障作为参考，以识别当前帧中缺失的路障。更具体地说，在训练阶段，使用训练图像数据集构建路障分割模型，该数据集由带注释路障掩模的图像组成。掩模用于指示每个像素位置是否为路障的一部分。在训练阶段，首先应用训练好的路障分割模型检测每一帧中路障的存在并生成出事的路障模板。然后，比较连续帧之间的路障掩模，以确定是否存在丢失的路障。为确保参考路障掩模的持续关联性，需要随着施工工作的进展进行更新。参考掩模的更新使用“指数平滑函数”实现。在执行此操作时，使用指数平滑来更新以前的掩模。在施工周期的开始时安装路障后，可使用mca方法通过比较连续时间戳t和t+1处的掩模来检测缺失路障。其具体应用效果如图3所示。

　　步骤1：使用包括u-net在内的对象分割神经算法分割所述监控视频流中的路障；

　　步骤4：建立时间索引m，根据时间帧对监控视频流进行标记，每个标记对应一帧，t时刻的视频帧记作m

　　关于u-net：u-net是最流行的对象分割方法之一，它可以通过较少的对象分割训练图像获得更准确的结果。因此，本实施例使用u-net来分割视频流中的路障。u-net是一种端到端的完全卷积网络，它包含两个关键部分。第一部分是在接收到输入图像时使用最大池化操作符的下采样策略，称为编码器或收缩路径。第二部分是由具有上采样算子的第一部分产生的特征映射的非对称扩展，称为解码器或扩展路径。使用adam优化器以0.001的学习率，使用分辨率为320像素、宽度为576像素、100个epoch、每个epoch200步的图像数据集对模型进行训练。

　　在实际操作中，mca方法会由于摄像机因起重机过度晃动而产生假阳性检测，由于标记成本的原因也很难通过增加注释数据集的大小提高mca模型的准确性，由此在mca的基础上，本实施例开发出moda方法，不需要初始标记路障掩码，而是将“缺失路障”作为一种对象,从而利用深度学习方法对其进行检测，具体工作流程如图4所示，通过识别缺失路障区域的四个角来检测每一帧中的“缺失对象”。

　　本实施例使用了一种关键点检测方法centernet来检测建筑物施工层面上缺失的路障。centernet是一种无锚和基于关键点的检测模型，在ms coco数据库上测试时，其性能优于当前最先进的对象检测方法。首先将对象检测为中心点，然后回归对象边界框相对于中心点的高度和宽度。中心点用于预测其他对象特性，例如对象高度和宽度。该模型将输入

　　图像馈送到一个完全卷积的网络，该网络生成一个热图，该热图进一步用于获得三个输出。首先，此热图中的峰值用作预测对象中心。其次，在每个峰值处获得的图像特征用于预测对象边界框的高度和宽度。第三，预测偏移值以细化由于模型中的向下采样过程而产生的预测中心位置。在本研究中，使用深层聚合-34(dla-34)作为全卷积网络的骨干网络来生成热图。要提取每个热图的峰值，将检测值高于或等于其8个相邻连接的响应，并保留前100个峰值。moda方法具体可总结为如下流程：

　　球速体育

　　s4:将监控图像输入完全卷积网络生成热点图，所述完全卷积网络包括centernet网络；

　　s5:通过所述热点图获取路障的中心点、路障边界框的高度和宽度以及关键点到中心点的偏移值；其中，中心点对应热图中的峰值、边界框的高度和宽度对应峰值处的图像特征、偏移值通过损失函数计算；

　　s6:通过所述中心点、边界框的高度和宽度、偏移值在每一张监控图像上进行标记，得到每一张监控图像对应的特征图；

　　为了使用centernet检测缺失的路障，我们将每个路障视为一组四个角关键点，每个角关键点都由到中心点的偏移参数化。为了细化关键点，我们使用标准的自下而上姿势估计进一步估计路障的热图。centernet模型通过利用三种类型的损失进行训练：焦点损失、中心偏移损失和边界框大小损失，定义如下。

　　＝1表示高斯核生成的关键点在实际关键点位置，表示centernet目标检测模型输出的对关键点的预测值，α和β是损失函数的超参数，x、y和c分别代表关键点的x坐标、关键点的y坐标和关键点的类别，n是图像中的关键点数量；

　　其中，p为原图目标中心点坐标，r为原图与特征图的缩放比例，为特征图上预测的中心点坐标，为网络预测的目标中心点坐标偏移；

　　其中，k表示图像中第k个目标，pk表示第k个目标的中心点坐标，表示预测的目标尺寸，sk表示目标的尺寸；

　　实验结果表明，在两种方法之中，moda拥有更好的性能，在模型的实现上也更具优势。moda的平均准确率和平均召回率分别为57.9％和73.6％。

　　本发明实施例还公开了一种计算机程序产品或计算机程序，该计算机程序产品或计算机程序包括计算机指令，该计算机指令存储在计算机可读存储介质中。计算机设备的处理器可以从计算机可读存储介质读取该计算机指令，处理器执行该计算机指令，使得该计算机设备执行图1所示的方法。

　　在一些可选择的实施例中，在方框图中提到的功能/操作可以不按照操作示图提到的顺序发生。例如，取决于所涉及的功能/操作，连续示出的两个方框实际上可以被大体上同时地执行或所述方框有时能以相反顺序被执行。此外，在本发明的流程图中所呈现和描述的实施例以示例的方式被提供，目的在于提供对技术更全面的理解。所公开的方法不限于本文所呈现的操作和逻辑流程。可选择的实施例是可预期的，其中各种操作的顺序被改变以及其中被描述为较大操作的一部分的子操作被独立地执行。

　　此外，虽然在功能性模块的背景下描述了本发明，但应当理解的是，除非另有相反说明，所述的功能和/或特征中的一个或多个可以被集成在单个物理装置和/或软件模块中，或者一个或多个功能和/或特征可以在单独的物理装置或软件模块中被实现。还可以理解的是，有关每个模块的实际实现的详细讨论对于理解本发明是不必要的。更确切地说，考虑到在本文中公开的装置中各种功能模块的属性、功能和内部关系的情况下，在工程师的常规技术内将会了解该模块的实际实现。因此，本领域技术人员运用普通技术就能够在无需过度试验的情况下实现在权利要求书中所阐明的本发明。还可以理解的是，所公开的特定概念仅仅是说明性的，并不意在限制本发明的范围，本发明的范围由所附权利要求书及其等同方案的全部范围来决定。

　　在流程图中表示或在此以其他方式描述的逻辑和/或步骤，例如，可以被认为是用于实现逻辑功能的可执行指令的定序列表，可以具体实现在任何计算机可读介质中，以供指令执行系统、装置或设备(如基于计算机的系统、包括处理器的系统或其他可以从指令执行系统、装置或设备取指令并执行指令的系统)使用，或结合这些指令执行系统、装置或设备而使用。就本说明书而言，“计算机可读介质”可以是任何可以包含、存储、通信、传播或传输程序以供指令执行系统、装置或设备或结合这些指令执行系统、装置或设备而使用的装置。

　　计算机可读介质的更具体的示例(非穷尽性列表)包括以下：具有一个或多个布线的电连接部(电子装置)，便携式计算机盘盒(磁装置)，随机存取存储器(ram)，只读存储器(rom)，可擦除可编辑只读存储器(eprom或闪速存储器)，光纤装置，以及便携式光盘只读存储器(cdrom)。另外，计算机可读介质甚至可以是可在其上打印所述程序的纸或其他合适的介质，因为可以例如通过对纸或其他介质进行光学扫描，接着进行编辑、解译或必要时以其

　　他合适方式进行处理来以电子方式获得所述程序，然后将其存储在计算机存储器中。

　　在本说明书的描述中，参考术语“一个实施例”、“一些实施例”、“示例”、“具体示例”、或“一些示例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特点包含于本发明的至少一个实施例或示例中。在本说明书中，对上述术语的示意性表述不一定指的是相同的实施例或示例。而且，描述的具体特征、结构、材料或者特点可以在任何的一个或多个实施例或示例中以合适的方式结合。

　　尽管已经示出和描述了本发明的实施例，本领域的普通技术人员可以理解：在不脱离本发明的原理和宗旨的情况下可以对这些实施例进行多种变化、修改、替换和变型，本发明的范围由权利要求及其等同物限定。

　　以上是对本发明的较佳实施进行了具体说明，但本发明并不限于所述实施例，熟悉本领域的技术人员在不违背本发明精神的前提下还可做出种种的等同变形或替换，这些等同的变形或替换均包含在本技术权利要求所限定的范围内。

　　1.计算机网络安全 2.计算机仿线.网络安全；物联网安全 、大数据安全 2.安全态势感知、舆情分析和控制 3.区块链及应用

　　通过数字孪生对食品工业中的装置进行预测性维护以及优化的生产规划的制作方法