方针检测、实例切割、旋转框样样精通！详解高功能检测算法 RTMDet（2）
发布日期： 2024-09-26 | 作者：产品中心
方针检测、实例切割、旋转框样样精通！详解高功能检测算法 RTMDet（2）
数据增强不只关乎模型的精度，也对练习的功率有着非常大的影响。跟着 GPU 核算功能的继续不断的添加，模型前向和反向传达的速度在不断提高。
经过试验发现，当缓存行列足够大，且运用随机出队的办法时，练习得到的模型精度与传统的 Mosaic & MixUp 并无差异。因为引进了缓存机制，两种数据增强的运转功率得到了大幅提高。
除了优化数据增强的运转功率，咱们也对数据增强的逻辑进行了优化。咱们剖析了 YOLOX 的数据增强后发现了其间的问题：YOLOX 运用强弱两个阶段的数据增强，但其第一个练习阶段引进了旋转和切变等操作，导致标示框产生了比较大的差错，使其第二个练习阶段需要对回归分支额定添加一个 L1 loss 来对回归使命进行批改。这就造成了数据增强与模型的丢失函数规划产生了耦合。
为了使数据增强和模型解耦，得到更通用的增强战略，咱们终究挑选在第一个练习阶段不引进导致标示差错的数据增强，而是经过添加 Mosaic MixUp 混合图片的数量来提高强度，咱们将整体混合的图片数量从 YOLOX 运用的 5 张添加至 8 张。
然后个人会运用新的根底单元构建而成的 backbone 和 neck 替换了原有的模型结构，这一改善又提高了1.2% 的 AP，而且推理速度只减慢了 0.02ms。在运用同享权重的检测头后，参数量过大的问题得到了处理，而模型精度和推理速度都没下降。在此根底之上，咱们又添加了动态软标签分配战略以及改善后的数据增强，别离带来了1.1% 和 1.3% 的精度提高。
最终，如虎添翼的一点，咱们又将 backbone 在 imagenet 进步行了预练习，也使精度得到了稍微的提高。不过预练习模型仅在 tiny 和 s 模型上有精度提高的作用，在更大的模型结构上则表现不出优势。
归纳以上这些修正，RTMDet 比较于 YOLOX 在类似的模型巨细以及推理速度上提高了 4.3% AP！
传统的实例切割往往选用双阶段的办法来猜测 mask，但近两年来，根据 kernel 的办法正逐渐鼓起。为了坚持单阶段检测器的简练高效和易于布置的特性，咱们参阅 CondInst 为 RTMDet 添加了 mask head 以及 kernel head。
旋转方针检测是遥感范畴运用最广泛的办法，而将 RTMDet 拓宽至此使命也分外的简略，得益于 MMDetection 3.0 版别，咱们只需添加回归分支的输出特征维度，添加视点重量，一起替换 box 的编****，便能让 RTMDet 支撑猜测旋转框。因为旋转框与一般方针检测使命仅有回归分支有差异，因而旋转框的模型也可以加载方针检测的预练习模型并从中获益。
经过在模型结构的根本单元引进大 kernel 深度可分离卷积增大感触野，并平衡不同分辨率层级间以及 backbone 和 neck 间的核算量、参数量平衡，改善标签分配以及数据增强战略，RTMDet 不论是在方针检测使命上，仍是在实例切割以及旋转方针检测使命上，均取得了优异的功能。
咱们期望咱们探究出的这些改善计划可以对规划实时的方针检测模型有所启示，也期望咱们在工程及算法上的优化可以在实践的工业场景中有所使用。
*博客内容为网友个人发布，仅代表博主个人自己的观念，如有侵权请联络工作人员删去。