作者：一鸣
Pascal VOC 是打算机视觉领域的主要榜单和数据集，被用于评估目标检测算法的性能，其数据量小且不平衡，达到高性能难度较大。近日，阿里安全图灵实验室宣告，其开拓的干系算法已在干系数据集上多次刷新 Pascal VOC 天下记录。
目标检测是打算机视觉主要的一项任务，许多干系研究都在环绕提升检测的精确度和可识别图中的目标数量进行提升。截止发稿前，阿里安全图灵实验室提出的 ATLDETv2 算法依然霸占目标检测 comp4 榜单首位。
（图片来自网络侵删）Pascal VOC 寻衅赛是视觉工具分类识别和检测的基准测试比赛，是天下最威信的打算机视觉寻衅赛之一。阿里安全图灵实验室之以是选择 Pascal VOC 寻衅赛，是由于几大缘故原由。首先，这一数据集已成为目标检测领域测评的威信数据集，很多论文以此作为模型的评估指标。其次，Pascal VOC 寻衅赛是面向天下环球进行公正竞争的寻衅赛，很多国内外科技巨子和研究机构都参与到了比赛中，有利于互换。末了，这一数据集供应的是通用的目标检测问题，可以很好地评价模型的根本能力。目前在榜单上，已有多家研究机构和公司的军队上榜，包括 UC 伯克利、多伦多大学、新加坡国立大学，以及谷歌、微软亚洲研究院、英特尔等。阿里巴巴 ATLDETv2 在近日的 comp4 上取得了 92.9 的综合得分。榜单地址：http://host.robots.ox.ac.uk:8080/leaderboard/main_bootstrap.php这样的成果是如何实现的，在阿里的哪些产品中实现了实际运用呢？根据图灵实验室供应的资料，机器之心详细理解了技能干系细节。冠军网络构造怎么样？在目标检测过程中，首先须要将骨干网络进行初始化，然后让图像通过骨干网络获取个中的特色。然后再在骨干网络后接续进行目标检测的网络。在阿里图灵实验室本次提出的模型上，研究者也采取了类似的策略。如下图所示，在骨干网络的选择上，图灵实验室利用的网络架构为 ResNeXt152-32x8d。在接续的目标检测网络上，则采取了「二段式」的目标检测方法。所谓的二段式目标检测方法，便是先让模型对须要检测的目标提出候选（proposal）边界框，然后再对选择的边界框中的目标进行图像分类和精确定位。虽然二段式的目标检测方法较一步到位的方法须要的打算量更大，且下贱任务随意马虎被边界框的划定影响，但其目标检测的准确性相对较高。
网络架构和其他方法结合后的总体流程图。在接续的目标检测网络设计的过程中，图灵实验室对其进行了很多架构上的改进和优化，使它在检测框的回归预测和图像特色的捕捉上更为精确和完善。从模型角度来看，最大的亮点在于利用 Cascade Anchor Refinement 方法——利用多级回归的办法预测边界框位置，以及在通道和空间层面加入把稳力层，以便更好地捕捉图像特色。多级回归如何精确定位检测框在目标对付骨干网络输出的特色图后，模型会利用 FPN 网络，从不同尺度的 feature map 上进行采样与领悟操作。和预先设置锚点的 RPN 网络，以及不须要设置锚点的方法比较，Cascade 使得边界框能够更好地和目标匹配。
边界框适配的架构示意图。Cascade 方法本身利用了多级构造，能够更好地调度边界框和实际目标的位置。目标检测中确定边界框位置实际上是一个回归问题，从实质上是在预测边界框和目标之间的偏移量。如果利用的是单级回归，则可能预测的边界框和目标会有偏差。而在多级回归上，每一级都能够从上一级的回归结果进行更风雅的学习。举例来说，假设第一层对付目标和边界框之间的 IoU 设定为 0.5，则多级回归能够让下一层进一步提升 IoU（如 0.6），再下一层则再次提升，通过逐级提升的办法，使检测框和目标的匹配变得更风雅。同时，随着风雅度的提升，背景中被误框的负样本则会随着层级的增加而逐渐被过滤掉。提升不同特色的权重考虑到在一样平常的目标检测过程中，从通道层面不同的通道对付目标检测结果的贡献不同，以及在图像空间上，不同的像素点对目标检测的过程也不尽相同，研究者在设打算法的过程中加入了把稳力机制。给不同的通道和图像空间采样增加了新的学习量，使模型更有针对性地进行采样，并忽略无关的通道或采样位置。相对应的，模型中加入了对应通道的把稳力机制（Channel-wise Attention：SE）和对应空间的把稳力机制（Space-wise Attention：DCN）。这两项技能共同授予图像的关键特色更大的权重，从而使得边界框能够更好地匹配在目标上。通道把稳力机制是基于对数据进行可视化剖析后提出的。研究者在实验中创造，在骨干网络（Backbone）的特色层中，同一层的不同通道分别捕捉着目标的不同局部特色，在终极相应检测的时候，不同的局部特色不一定会有同样的贡献程度。因此，须要一个参数，能够对不同通道产生的特色进行区分。因此，对应通道的把稳力机制应运而生。它可以被认为是一个位于通道上的参数，能够对贡献更多的通道给予更大的权重。类似的，在空间上，图像的不同特色对目标检测的结果也是不同的，例如，背景中的特色和实际目标的特色应该已某种办法进行区分。因此，在设计卷积采样的过程中，通过对采样窗口增加学习量（偏移量）的办法，模型实现了对不同特色的把稳力采样。
通过两种把稳力方法对图像处理后，特色可视化集中于人附近的图像上。终极，通过两种形式的把稳力机制，模型在检测的过程中能够更好地区分正负样本，捕捉关键特色。数据不足，自动增强来帮忙由于 Pascal VOC 数据集较小，利用更多数据提升模型表现也十分主要。除了前文网络架构上的创新和调度，阿里图灵实验室也在数据处理方面采取了一些方法。首先，Pascal VOC 各个种别数据不平衡，因此须要对演习集数据进行增强，以便于发挥模型最大的能力。
演习集中人类类别的图像非常多。在这一事情中，研究者采取了实例平衡增强（Instance-Balanced Augmentation）技能。详细而言，研究者会对图像按照特定的尺度（如 1.5 倍和 2 倍大小）进行缩放操作，即定义了一批大小不同的「滑窗」。同时，他们也会定义滑窗的步长。定义后，利用滑动窗口在样本图像中滑动，产生滑动区域。在这些滑窗中，选择包含少量目标的最优数据加入到演习集中。
示例平衡增强方法示意图。当然，在选择滑窗的过程有一定的规则。例如，滑窗在某个步长上和已有目标有界线重叠的滑窗目标不会被取用，同时滑窗目标的选择也会参考数据集已有的样本种别分布情形。当选择了一定的滑窗目标后，研究者会根据分辨率和尺度等进行一定的变革，加入一些随机扰动，使得选出的样本能够增强原有的数据集样本。利用了这一方法后，数据集的种别分布发生了一定的变革。
数据集种别分布的变革情形。此外，这项研究中还利用了一种名为「自动并行增强（Auto Affine Augmentation）」的方法。这项方法通过对原始演习集中的目标进行多种增强，以便增加演习集大小。详细而言，这些方法包括旋转边界框、白平衡、按照 x 轴或 y 轴进行截断等。COCO 加持，数据分布更丰富由于数据量依然不敷的问题，为了提升模型表现，研究者考虑了利用外部数据进行骨干网络初始化的方法。在研究过程中，他们找到了一个空想的数据集——MSCOCO（下文称 COCO 数据集）。COCO 数据集也是目标检测领域一个主要的数据集，是打算机视觉非常威信的目标识别和检测数据集，比较 Pascal VOC 具有更多的种别和更大的数据量。阿里图灵实验室的研究者们创造，利用 ImageNet 进行初始化可能会带来一些问题。首先，ImageNet 的初始化只能初始化骨干网络，对付接续骨干网络后的目标检测网络则无能为力。其次，ImageNet 具有更多的种别和图像数量，总体的数据分布和 Pascal VOC 有一些差异。而 COCO 数据集和 Pascal VOC 则在通用目标检测表征上有更多的相似之处。
COCO 数据集和 Pascal VOC 数据集的种别分布有很大的重合。因此，如果利用 COCO 数据集对全体网络进行初始化，厥后果比 ImageNet 的初始化更为空想一些。于是，在利用数据进行初始化的过程中，研究者采取了这样的步骤：1）利用 ImageNet 初始化骨干网络；2）利用 COCO 数据集初始化；3）终极在 Pascal VOC 上进行进一步的演习。然而，值得把稳的是，进行这样的多级迁移，可能会导致模型涌现「灾害性遗忘」。当终极进行 Pascal VOC 数据集上的演习时，模型可能会遗忘在 COCO 长进修到的特色。为理解决这一问题，研究者采取了创新性的迁移学习方法。在每次迭代的过程中，从 COCO 长进修到的网络权重予以保留，而在 Pascal VOC 网络进行演习时，加入特色对齐这一约束机制。约束方法上包括 L2-distance 和余弦间隔等，用于保留之前的 COCO 数据集学到的知识。这样一来，在知识迁移的过程中，模型尽可能地保留了之前初始化学习到的知识，还能够根据 Pascal VOC 进行进一步的演习。
利用 COCO 数据集在模型上进行了初始化后再提取关键特色。从效果来看，这一模型利用了多种数据增强方法和网络上的创新，从而在 Pascal VOC comp4 目标检测上取得了领先的水平。以下为干系算法在 Pascal VOC 榜单上取得的成绩，解释了算法的有效性和性能：
2018.03.26 ATLSSD Comp3 得分 74.8，刷新天下记录2018.08.13 ATLDET Comp4 得分 90.7，刷新天下记录2019.10.18 ATLDETv2 Comp4 得分 92.9，刷新天下记录
广泛运用，算法已成熟据阿里安全图灵实验室透露，目前这一算法干系的技能已投入到了阿里的实际业务中。紧张有以下几大领域：首先，在知识产权保护方面，这一算法可以进行商品的侵权检测。系统也和牌号网进行了打通，可以帮助检测牌号注册侵权。另一方面，这一算法在内容审核场景下也得到了运用，如对色情图像进行识别，对付违法的出版物（造孽舆图、标语和旗帜）等都能够进行良好的检测。终极，这一算法也运用到了一些运用上，如阿里开拓过的识别菜品运用等。
除了技能方面的问题，研究过程中也碰着的一些难点。除了前文提到的模型初始化等方面的问题外，图灵实验室也认为算法和实际工业结合进行运用也是一个较为困难的问题。之以是在工业运用方面更为困难是由于，模型所基于的演习数据集和实际运用中的数据分布不匹配所导致的。模型所办理的是通用的检测问题，而实际的运用则更倾向于特定的领域，因此如何检测在演习过程中没有涌现的目标（Zero-Shot），如何在仅有少量样本的条件下进行检测（Few-Shot），如何充分利用已经存在的构造化信息（Weakly-supervised）就更为主要。以侵权牌号检测为例，牌号网上的牌号信息是实时更新的，纵然采取在线学习的方法，模型能否来得及学习未见牌号的特色，数据集能否来得及进行标注，都会影响实际的效果，有时乃至须要借助一些检索的方法办理。其余存在的问题是跨域检测（Cross Domain Detection），例如，某些牌号的图片可能是一个白描图像，数据特色和以往的特色检测完备不同。若何捕捉这种类型的图像的特色就更为困难了。总而言之，本次阿里再一次刷新目标检测 Pascal VOC 寻衅赛天下记录，并将算法运用于实际工业中，解释的不仅仅是这一科技巨子刁悍的 AI 研发能力。同时也能够看到的是阿里根据实际的业务，借助高性能算法和实际的业务需求，发展精良产品的综合实力。人工智能的运用越来越广泛，阿里安全图灵实验室也希望能有更多该领域人才的加入，发挥前沿技能力量产生更大的代价。如果您有 2 年以上干系的研究经历，有该领域的顶会文章或 top 竞赛成绩，阿里安全也招聘研究型演习生和正式研究者，有兴趣的读者可以联系 maofeng.mf@alibaba-inc.com，或加微信 rickymf4。
