文 l 张飞

编辑 l 张飞

本文旨在提出并验证一种可靠的多旋翼无人机（UAV）检测机制。这样的任务需要在许多领域解决，例如保护易受攻击的建筑物或保护隐私。

我们的系统首先通过使用定向FAST和旋转BRIEF（ORB）特征检测器实现了标准计算机视觉方法。由于在实际环境中取得的成功率较低，机器学习方法被用作替代检测机制。

“常见上下文数据集”被用作预定义数据集，并通过从SafeShore数据集中添加1000个UAV样本进行了扩展。

我们的系统的有效性和可靠性通过四个基本实验得到证明——静态图像和视频中显示天空中的无人机，一张图像中的多个无人机，以及天空中有另一个飞行物体的无人机。在最佳条件下，成功检测率达到了97.3%。

现有的图像中物体检测和识别方法

背景减除

为了便于操作，背景减除方法是图像中检测物体的最基本方法之一。该方法需要准确识别背景模型。

完成这一步骤后，将背景模型与当前图像进行比较，并减去已知的背景部分。未减去的对象有一定的概率是前景中的新对象。

通常，背景被定义为场景中的任何静态或周期性移动的部分。整个场景可能具有时间变化的组成部分，例如树叶在某些时候移动，但在另一些时候是静态的。

旨在通过静态摄像机监视对象的系统的共同元素是一个模块，其任务是减去背景以区分静态对象和动态对象。

背景减除过程的一个重要且复杂的部分是维护背景模型。

在以下情况下，读取或检测背景比较困难：场景的不均匀和可变照明、照明的光谱特性变化，因此物体的颜色不同、重叠的物体、不同的摄像机角度和同一类别内的物体变化。这项比较的目的是找出哪些技术能够最好地应对上述问题。

轮廓搜索

在图像处理中使用轮廓的基本思想是产生一个曲线，该曲线包围图像中包含的对象。成功使用此对象边界方法取决于应用的图像预处理方法，例如图像平滑和形态学操作。

使用轮廓搜索的唯一条件是将图像分成所谓的正区域和负区域，其边界可以视为有界对象。在这种方法中正确设置参数可以保证正确检测图像中的轮廓。轮廓被定义为表示图像中的曲线的点列表。

这些曲线表示为序列，其中记录编码有关曲线上下一个点的信息。由于其结构，轮廓搜索函数可以构建所谓的轮廓树。因此，它可以确定哪个轮廓是根轮廓，哪些轮廓表示子轮廓。在检测图像中的对象的情况下，大多数情况下只需要限定对象的根轮廓。

左侧显示了分割的对象，右侧显示了轮廓勾勒的对象。还可以看到几个其他不同颜色的轮廓，表示根轮廓内的其他对象。由于记录的对象从未是均匀的，这种现象也可能发生在形态学操作和图像平滑之后。

选择性搜索

选择性搜索是寻找包含图像对象的子区域最有效的方法之一。该算法基于三个主要假设：

1.捕捉图像中所有可能的尺度——使用分层算法，选择性搜索试图考虑对象的所有可能尺度；

2.多样化——由于分析区域中的对象受到不同的变化，如光照、阴影等影响，选择性搜索不使用统一的子区域搜索策略；

3.计算速度——由于子区域搜索步骤仅是对象识别本身的准备工作，因此该算法旨在不会降低计算速度。

支持向量机(SVM)

支持向量机（SVM）适用于将对象分配到N个组中，其功能基于将数据投影到多维空间中。SVM搜索并确定通过哪个平面将数据分成组。

例如，如果存在一个维度为2500的特征向量，SVM会将此向量表示为2500维空间中的一个点。为了简化起见，让我们想象SVM对于具有2个维度的特征向量的功能。

使用计算机视觉方法进行无人机检测

我们的检测程序应满足以下要求和目标：识别图像中的移动对象，识别图像中的每个对象，正确匹配前一帧中的对象和当前图像中的对象，并在场景中绘制对象的路径。出于这些原因，使用计算机视觉提出了检测程序。

第一步是背景分割。在测试的方法中，选择了MoG（高斯混合）方法，原因如下：算法适应白天光照条件的变化（不是房间灯光的突然变化），背景对象的轻微移动不会对图像中的重要对象造成影响，同时还能处理被大型物体覆盖的图像。所有这些情况都可以在无人机检测的图像中出现。

接下来需要对输入图像进行滤波处理。这是为了去除噪声并使其更加平滑。经过比较各种平滑方法后，由于高噪声降低效率，选择了被认为是“最有用”的高斯滤波器，尽管它不是最快的。

然而，正确选择图像分割方法和适当的平滑滤波器仍可能导致图像中存在不匹配任何物体的区域。这些区域仅仅是由于照明条件、相机对焦或其他原因引起的噪声。

使用数学形态学的基本操作（侵蚀、扩张和形态学开运算）可以减少噪声并纠正属于图像中物体的区域的边界。

轮廓搜索方法确定图像中是否存在运动物体。采用矩形轮廓边界方法来描绘移动物体。

成功跟踪移动物体需要知道前一帧中分割的对象是否与当前帧中检测到的对象相同。如果只考虑一个对象，这个问题可以被忽略。

当然，这种情况可能会发生，但必须考虑到图像中存在许多对象的情况。因此，必须识别图像中的对象，并选择正确的方法来定义跟踪的对象。知道这些信息后，可以定义一个标识符，该标识符是清楚描述正在跟踪的对象的信息。

即使在位置、照明条件或其他变化的情况下，跟踪的对象也必须是可跟踪的，即使在其他对象的存在下也是如此。在这一点上，局部特征是合适的，用于定位和描述图像中属于特定对象的区域。

找到这些特征的过程包括检测这些特征并描述它们的周围环境。在中描述了用于搜索这些局部特征以创建不变的特征描述向量（位置、旋转和其他变化）的方法。OpenCV库中提供了几个局部特征检测器，并进行了测试和分析。

比较了以下检测器：尺度不变特征变换（SIFT）、速度鲁棒特征（SURF）、二进制鲁棒不变可扩展关键点（BRISK）、方向快速和旋转BRIEF（ORB）和加速KAZE（AKAZE）。本分析使用了两个显示一个对象（无人机）的图像。

在第一次测试中，测试区域中只有一个自由移动的对象。测试还模拟了一种情况，即对象曾经从感应区域中出来并以不同的角度返回。

还模拟了缩放对象的情况，这意味着对象的靠近和远离。在整个测试过程中，仅识别了测试区域中的一个对象，其标识符（对象本身）在每个额外的输入帧中更新到数据库中。

在进一步的测试中，感应区域中有两个对象。这些对象像第一种情况一样在感应区域内自由移动。由蓝线描述的对象曾经离开该区域并返回。

提出的检测程序是成功的，因为对象（无人机）被识别为同一对象。清楚地看到前一帧的对象总是被正确地分配给当前帧中的正确对象。

在下一个场景中，已识别的对象离开了感应区域。区域内识别了一个对象。该对象多次离开该区域并以不同的角度旋转，以不同的大小返回（无人机靠近和远离摄像头）。

从形状分析中可以看出，无人机是一个不变的对象，在许多情况下它看起来像一个不同的对象。因此，本方案在该场景中被认为是成功的。

在测试对象冲突的情况下，场景上出现了几个物体，它们部分重叠，并且它们的路径合并。所有物体在一段时间内自由移动并且在一段时间后重叠。

物体重叠在一起，所提出的检测程序将所有物体评估为一个物体。在这一步中，识别了上一帧中最匹配的物体。在这种情况下，中央的无人机被识别为唯一的物体。

因为在场景中只识别到一个物体，其他物体没有被跟踪。在下一帧中，当物体分离时，一些物体重新与数据库中的物体匹配，其中一些被评估为新物体。

在验证检测程序在各种场景下的可靠性之后，进一步评估了所选ORB检测器及其BRIEF描述符的可靠性。目标是评估在物体出现在场景中的整个过程中正确匹配的特征数量。这样，评估了物体多次从感应区域出现并以不同的角度和大小返回的情况。

最大检测和记录在数据库中的特征数量被设置为500。因此，正确匹配的特征数量将在0-500之间。测试视频长16秒，包括481帧。在整个测试过程中，每个帧中都检测到了一个单一物体的500个特征，当然在数据库中也记录了同样数量的特征。

实验

静态图像中的无人机

给检测器展示了具有不同背景和其他物体的场景中的无人机的静态图像。在大多数情况下，无人机被正确检测到。

在测试过程中，也出现了无人机被错误检测的情况。具体来说，当一个无人机被分成两个物体或一艘船被识别为无人机时，就会出现这种情况。

天空中的无人机

这种情况侧重于经典情况，即摄像机指向天空，无人机在感应区域内自由移动。在整个场景中，图像中没有其他物体。为了进行测试，使用了SafeShore项目开发人员的一系列数据中的视频。

在这种情况下，我们还监测了检测模型的成功率，取决于场景中无人机的大小。在这种情况下，无人机的大小与其与摄像机传感器的距离相对应。

在这个测试中，物体所占的图像面积从0.42％到3.43％。检测器在每个物体大小下都可靠地运行。

多架无人机在一个图像

在测试这种情况时，多个无人机出现在感应区域内。在整个测试过程中，所有无人机都被正确检测和限定。

无人机与天空中的另一个飞行物

在这种情况下，研究了检测器在感应区域内出现多个不同种类的物体时的反应情况。检测器在不同的物体和不同的类别上进行了测试。

还测试了无人机和鸟同时出现在场景中的情况。这两个物体是不同的类别，但在视觉上非常相似。因此，所提出的检测器在这种情况下失败了。

结论

通过使用TensorFlow库，成功实现了多旋翼无人机的可靠检测机制。为此，使用了“常见上下文数据集”，并通过SafeShore数据集增加了1000个无人机样本。在最佳条件下，成功实现了97.3%的检测率。

可以得出结论，所提出的检测原则在描述的测试情况下取得了成功。训练的检测模型在几乎所有测试场景中都取得了成功。只有当场景中存在具有相似特征的其他类别的对象时才会出现问题。检测模型的统计评估显示，在这种情况下，检测率仅为61.3%。

参考文献

1. 布恩，文学硕士；Drijfhout，A.P用于环境测绘应用的固定翼和多旋翼无人机的比较:案例研究。
2. 德加莫，未来国家空域系统中的未来无人驾驶飞行器操作。《第四届AIAA航空技术、集成和运行(ATIO)论坛会议录》
3. 用于小型无人机探测和跟踪的低成本声学阵列。2008年IEEE国家航空航天电子会议论文集，美国俄亥俄州代顿，2008年7月16-18日。
4. 布拉德斯基；凯尔勒。学习OpenCV:使用OpenCV库的计算机视觉；美国马萨诸塞州牛顿市，2008年。
5. 采用多种监视技术的反无人机系统:体系结构、实施和挑战。IEEE Commun。玛格。 2018, 56, 68–74.