党宏社等.基于改进神经网络的交通标志识别.《西安文理学院学报(自然科学版)》.2020,(第03期),

　　王博等.一种改进的CNN交通标志识别算法.《计算机与数字工程》.2019,(第12期),

　　本发明公开了一种面向交通标志目标检测领域的数据增强方法,该方法通过对交通标志数据集中数量较少的类别针对性地级联多个数据增强方法进行数据增强,解决了数据集中类别分布的长尾问题,同时使训练出的模型可以应对道路场景中复杂的实际情况,本发明针对每种类别使用不同的数据增强策略,使得数据增强算法生成的图片在丰富交通标志样本特征的同时不破坏交通标志本身的重要特征,提高了模型在各种复杂应用场景下的准确率,使用模拟退火算法搜索最佳的数据增强超参数组,在广大的超参数空间中搜索到最优的超参数解。

　　1.一种面向交通标志目标检测领域的数据增强方法,其特征在于,包括如下步骤,

　　步骤S1、获取交通标志数据集,并且对该数据集进行数据分析,统计出数据集中各个样本类别在数量上的分布,然后将小样本类别中包含的每一张图像与数据集中的其他图像建立随机匹配关系,其中,所述小样本类别中的图像数量低于阀值的样本类别为所述小样本类别,

　　步骤S2、对所述小样本类别的图像进行裁剪操作,裁剪出图像中的交通标志,并对交通标志进行第一数据增强操作,然后将经过了第一数据增强操作后的交通标志进行第二数据增强操作,所述第二数据增强操作具体为根据所述步骤S1中建立的随机匹配关系,以及概率的约束,将经过了第一数据增强操作后的交通标志嵌入到被匹配的图像中,然后再对被嵌入的图像进行第三数据增强操作,

　　步骤S3、随机生成超参数,通过该超参数来控制所述步骤S2中的第一数据增强操作、第二数据增强操作和第三数据增强操作,然后获取并使用经过数据增强后的交通标志数据集对目标检测模型进行训练以及测试,最后获得目标检测模型在各个样本类别上的平均识别准确率,

　　球速体育

　　步骤S4、通过模拟退火算法进行迭代计算,对所述超参数进行更新,直到获取最优超参数。

　　2.根据权利要求1所述的一种面向交通标志目标检测领域的数据增强方法,其特征在于,所述交通标志数据集为德国交通标志检测数据集GTSDB。

　　3.根据权利要求1所述的一种面向交通标志目标检测领域的数据增强方法,其特征在于,在所述步骤S1中,所述阀值为所述交通标志数据集中包括的图像总数的10,。

　　4.根据权利要求1所述的一种面向交通标志目标检测领域的数据增强方法,其特征在于,在所述步骤S1中,所述其他图像为所述交通标志数据集中非小样本类别的图像,并且小样本类别中包含的每一张图像被匹配到的图像数量大于所述交通标志数据集中图像总数的20,。

　　5.根据权利要求1所述的一种面向交通标志目标检测领域的数据增强方法,其特征在于,在所述步骤S2中,所述第一数据增强操作为几何变换数据增强方法,该几何变换数据增强方法具体包括,尺度放缩、旋转、水平翻转、垂直翻转以及裁剪,所述第三数据增强操作为色彩空间变换数据增强方法,该色彩空间变换数据增强方法具体包括,色调变换、饱和度变换以及亮度变换。

　　6.根据权利要求5所述的一种面向交通标志目标检测领域的数据增强方法,其特征在于,所述超参数包括所述第一数据增强操作和第三数据增强操作中具体每一种数据增强方法的使用概率以及使用程度,所述超参数还包括第二数据增强操作的使用概率以及使用程度,

　　其中,所述第一数据增强操作、第二数据增强操作和第三数据增强操作的使用概率的范围区间均为0(100),所述第二数据增强操作的使用程度具体为,交通标志嵌入到被匹配的图像中,交通标志的中心点的横坐标与被匹配的图像宽度的比例关系以及交通标志的中心点的纵坐标与被匹配的图像长度的比例关系。

　　7.根据权利要求6所述的一种面向交通标志目标检测领域的数据增强方法,其特征在于,所述步骤S4具体包括,

　　步骤S401、对步骤S3中生成的超参数进行随机扰动生成一组新的超参数,再使用该新的超参数重新执行一次步骤S3,获取在新的超参数控制下,目标检测模型在各个样本类别上的平均识别准确率,

　　步骤S402、将步骤S401中获取的平均识别准确率与上一次训练获取的平均识别准确率进行比较,若本次的平均识别准确率高,则采用新的超参数,否则按照Metropolis准则进行判是否要接受新的超参数,所述Metropolis准则的表达式为,

　　公式中,P为接受新超参数的概率,AP为目标检测模型使用上一组超参数在具体某一小样本类别上的的平均识别准确率,AP’为模型使用新超参数在该类别的平均识别准确率,T为设定的退火温度值,

　　步骤S403、重复步骤S401‑步骤S402若干次,达到迭代次数之后判断是否达到精度要求,若达到则确定最优超参数,

　　否则,降低Metropolis准则的参数T的值并再次回到步骤S401,重新执行步骤S4。

　　[0001]本发明涉及计算机视觉和目标检测技术领域,特别是涉及一种面向交通标志目标检测领域的数据增强方法。

　　[0002]在计算机视觉目标检测领域,基于深度学习的目标检测算法通过对数据集的学习获得推理出图片中目标的位置以及类别的能力。最新的基于深度学习的目标检测模型如YOLOv5、MaskRCNN等算法在众多数据集上表现优秀,但是为了防止在训练过程中产生过拟合现象,需要大量的数据进行训练才能发挥出算法的效果。由于现实世界中不同类别的交通标志出现概率不同,很多交通标志数据集会有比较严重的样本不均衡问题,模型无法在样本数量少的交通标志类别上达到较高的准确率,所以需要一种方法解决交通标志数据集中的长尾问题。

　　[0003] 对于长尾问题,一般采用数据增强重采样的方法解决,常用的数据增强方法有几何变换、色彩空间变换、卷积核滤波、多图融合等。这些数据增强方法对于行人、车辆等目标可以增大样本量,但是对于交通标志,其颜色和形状带有非常重要的特征信息,不适当的数据增强策略会对其特征造成破坏从而导致模型在训练中产生欠拟合,例如将左转向指示牌进行水平翻转则会与右转向指示牌产生混淆。同时交通标志牌在图片中的位置分布也是一种重要的特征,使用不适当的数据增强方法使交通标志出现在不应当出现的位置也会降低模型的准确率。

　　[0004] 综上,在面向交通标志的目标检测领域,需要一种新的数据增强方法来适应复杂的实际应用场景。

　　[0005] 有鉴于此,本发明的目的在于提供一种面向交通标志目标检测领域的数据增强方法,用以在解决长尾问题的同时不破坏检测目标的重要特征,通过这种数据增强方法提升在复杂的道路交通场景下模型的鲁棒性。

　　[0007] 一种面向交通标志目标检测领域的数据增强方法,包括如下步骤,

　　[0008] 步骤S1、获取交通标志数据集,并且对该数据集进行数据分析,统计出数据集中各个样本类别在数量上的分布,然后将小样本类别中包含的每一张图像与数据集中的其他图像建立随机匹配关系,其中,所述小样本类别中的图像数量低于阀值的样本类别为所述小样本类别,

　　[0009] 步骤S2、对所述小样本类别的图像进行裁剪操作,裁剪出图像中的交通标志,并对交通标志进行第一数据增强操作,然后将经过了第一数据增强操作后的交通标志进行第二数据增强操作,所述第二数据增强操作具体为根据所述步骤S1中建立的随机匹配关系,以及概率的约束,将经过了第一数据增强操作后的交通标志嵌入到被匹配的图像中,然后再

　　[0010] 步骤S3、随机生成超参数,通过该超参数来控制所述步骤S2中的第一数据增强操作、第二数据增强操作和第三数据增强操作,然后获取并使用经过数据增强后的交通标志数据集对目标检测模型进行训练以及测试,最后获得目标检测模型在各个样本类别上的平均识别准确率,

　　[001 1] 步骤S4、通过模拟退火算法进行迭代计算,对所述超参数进行更新,直到获取最优超参数。

　　[0012] 进一步的,所述交通标志数据集为德国交通标志检测数据集GTSDB。

　　[0013] 进一步的,在所述步骤S1中,所述阀值为所述交通标志数据集中包括的图像总数的10,。

　　[0014] 进一步的,在所述步骤S1中,所述其他图像为所述交通标志数据集中非小样本类别的图像,并且小样本类别中包含的每一张图像被匹配到的图像数量大于所述交通标志数据集中图像总数的20,。

　　[0015] 进一步的,在所述步骤S2中,所述第一数据增强操作为几何变换数据增强方法,该几何变换数据增强方法具体包括,尺度放缩、旋转、水平翻转、垂直翻转以及裁剪,所述第三数据增强操作为色彩空间变换数据增强方法,该色彩空间变换数据增强方法具体包括,色调变换、饱和度变换以及亮度变换。

　　[0016] 进一步的,所述超参数包括所述第一数据增强操作和第三数据增强操作中具体每一种数据增强方法的使用概率以及使用程度,所述超参数还包括第二数据增强操作的使用概率以及使用程度,

　　[0017] 其中,所述第一数据增强操作、第二数据增强操作和第三数据增强操作的使用概率的范围区间均为0(100),所述第二数据增强操作的使用程度具体为,交通标志嵌入到被匹配的图像中,交通标志的中心点的横坐标与被匹配的图像宽度的比例关系以及交通标志的中心点的纵坐标与被匹配的图像长度的比例关系。

　　[0019] 步骤S401、对步骤S3中生成的超参数进行随机扰动生成一组新的超参数,再使用该新的超参数重新执行一次步骤S3,获取在新的超参数控制下,目标检测模型在各个样本类别上的平均识别准确率,

　　[0020] 步骤S402、将步骤S401中获取的平均识别准确率与上一次训练获取的平均识别准确率进行比较,若本次的平均识别准确率高,则采用新的超参数,否则按照Metropolis准则进行判是否要接受新的超参数,所述Metropolis准则的表达式为,

　　[0022] 公式中,P为接受新超参数的概率,AP为目标检测模型使用上一组超参数在具体某一小样本类别上的的平均识别准确率,AP’为模型使用新超参数在该类别的平均识别准确率,T为设定的退火温度值,

　　[0023] 步骤S403、重复步骤S401‑步骤S402若干次,达到迭代次数之后判断是否达到精度要求,若达到则确定最优超参数,

　　[0026] 1、本发明通过将数据集中较少的类别数与数据集中的其他图片进行匹配,再级联多个数据增强方法进行数据增强,解决了数据集中类别分布的长尾问题,同时使用多种数据增强方法级联后训练出的模型也可以应对复杂的道路场景。

　　[0027] 2、本发明通过模拟退火算法对数据增强超参数进行迭代优化,使得算法在广大的参数空间中搜索到数据增强超参数的最优解,使数据增强算法生成的图片在丰富样本特征的同时不破坏样本本身的重要特征,提高了模型在各种复杂应用场景下的准确率。

　　球速体育

　　[0028] 图1为实施例1中提供的一种面向交通标志目标检测领域的数据增强方法的流程图,

　　[0029] 图2为实施例1中提供的通过模拟退火算法进行迭代计算的流程图。

　　[0030] 为使本发明实施例的目的、技术方案和优点更加清楚,下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例是本发明一部分实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都属于本发明保护的范围。

　　[0032] 道路场景中有非常多的复杂环境因素,如天气情况、光照条件、车辆高速行驶时摄像头的拖影、物体的遮挡以及拍摄角度不同而产生的形变,只使用单一的数据增强方法并不能完全覆盖复杂的环境因素,所以需要策略性地级联多个数据增强方法对数据进行数据增强来适应复杂的实际应用场景。因此,本实施例一种面向交通标志目标检测领域的数据增强方法。

　　[0033] 参见图1和图2,本实施例提供一种面向交通标志目标检测领域的数据增强方法,包括如下步骤,

　　[0034] 步骤S1、获取交通标志数据集,具体是获取德国交通标志检测数据集GTSDB,并且对该数据集进行数据分析,统计出数据集中各个样本类别在数量上的分布,然后将小样本类别中包含的每一张图像与数据集中的其他图像建立随机匹配关系,其中,将包括的图像数量低于交通标志数据集中图像总数的10,的样本类别定义为小样本类别。

　　[0035] 具体的说,在本实施例中,在步骤S1中,其他图像为交通标志数据集中非小样本类别的图像,小样本类别中的每一张图像均与交通标志数据集中非小样本类别的图像进行随机匹配,并且,小样本类别中的图像被匹配的图像数量需大于交通标志数据集中图像总数的20,,可以是30,也可以是40,还可以是50,,具体是多少,在本实施例中并不限定,但是不能低于20,,该种操作目的在于使得非小样本类别的图像上都有若干个匹配的待嵌入交通标志。

　　[0036] 步骤S2、对小样本类别的图像进行裁剪操作,具体是根据小样本类别中标签的矩形框坐标进行裁剪,裁剪出图像中的交通标志,并对交通标志进行第一数据增强操作,然后

　　将经过了第一数据增强操作后的交通标志进行第二数据增强操作,第二数据增强操作具体为根据步骤S1中建立的随机匹配关系,以及概率的约束,将经过了第一数据增强操作后的交通标志嵌入到被匹配的图像中,然后再对被嵌入的图像进行第三数据增强操作,

　　[0037] 具体的说,在本实施例中,第一数据增强操作为几何变换数据增强方法,该几何变换数据增强方法具体包括,尺度放缩、旋转、水平翻转、垂直翻转以及裁剪,第三数据增强操作为色彩空间变换数据增强方法,该色彩空间变换数据增强方法具体包括,色调变换、饱和度变换以及亮度变换。

　　[0038] 步骤S3、随机生成超参数,通过该超参数来控制步骤S2中的第一数据增强操作、第二数据增强操作和第三数据增强操作,然后获取并使用经过数据增强后的交通标志数据集对目标检测模型进行训练以及测试,最后获得目标检测模型在各个样本类别上的平均识别准确率。

　　[0039] 具体的说,在本实施例中,超参数包括第一数据增强操作和第三数据增强操作中具体每一种数据增强方法的使用概率以及使用程度,比如尺度放缩的范围,旋转的角度,裁剪的比例,色调、饱和度和亮度变换的范围,还包括了第二数据增强操作的使用概率以及使用程度,其中,第二数据增强操作的使用程度具体为,交通标志嵌入到被匹配的图像中,交通标志的中心点的横坐标与被匹配的图像宽度的比例关系以及交通标志的中心点的纵坐标与被匹配的图像长度的比例关系。

　　[0043] 步骤S4、通过模拟退火算法进行迭代计算,对超参数进行更新,直到获取最优超参数。具体的说,在本实施例中,步骤S4具体包括,

　　[0044] 步骤S401、对步骤S3中生成的超参数进行随机扰动生成一组新的超参数,再使用该新的超参数重新执行一次步骤S3,获取在新的超参数控制下,目标检测模型在各个样本类别上的平均识别准确率,

　　[0045] 步骤S402、将步骤S401中获取的平均识别准确率与上一次训练获取的平均识别准确率进行比较,若本次的平均识别准确率高,则采用新的超参数,否则按照Metropolis准则进行判是否要接受新的超参数,Metropolis准则的表达式为,

　　[0047] 公式中,P为接受新超参数的概率,AP为模型使用上一组超参数在具体某一小样本类别上的平均识别准确率,AP’为模型使用新超参数在该类别的平均识别准确率,T为设定的退火温度值,

　　[0048] 步骤S403、重复步骤S401‑步骤S402若干次,达到迭代次数之后判断是否达到精度要求,若达到则确定最优超参数,

　　[0050] 在本实施例采用的模拟退火算法中,在小样本类别中具体的每一个种类别各对应一组数据增强超参数,并且每种类别都有一个平均识别准确率,本算法需要在每种类别的超参数上都要进行一次。

　　[0051] 在迭代过程中若模型始终无法在某些类别达到所需精度要求,则根据该类别的样本特征调整数据增强超参数的取值范围。

　　[0052] 综上所述,本发明提出了一种面向交通标志目标检测领域的数据增强方法,该方法通过对数据集中数量较少的类别针对性地级联多个数据增强方法进行数据增强,解决了数据集中类别分布的长尾问题。同时使用多种数据增强方法级联后训练出的模型也可以应对复杂的道路场景。本发明对每种类别使用不同的数据增强策略,使得数据增强算法生成的图片在丰富样本特征的同时不破坏样本本身的重要特征,提高了模型在各种复杂应用场景下的准确率。同时使用模拟退火算法搜索最佳的数据增强超参数组,使得算法在广大的超参数空间中搜索到最优的超参数解。

　　[0054] 以上详细描述了本发明的较佳具体实施例。应当理解,本领域的普通技术人员无需创造性劳动就可以根据本发明的构思作出诸多修改和变化。因此,凡本技术领域中技术人员依本发明的构思在现有技术的基础上通过逻辑分析、推理或者有限的实验可以得到的技术方案,皆应在由权利要求书所确定的保护范围内。