基于DM8168高清视频自动跟踪模块

基于DM8168高清视频自动跟踪模块

AVT31是CASEVision公司最新的高清视频自动跟踪模块，主控芯片为多核DSP TMS320DM8168和FPGA，视频接口支持数字和模拟高清视频接口,模拟接口支持RGB、YPbPr分量输入,数字接口支持CameraLink，HDMI/DVI、SDI等数字视频标准,最高分辨率支持1080p@60Hz。AVT31是一款高性能低功耗小尺寸轻重量的嵌入式高清视频自动跟踪模块，它提供了目标捕捉、自动跟踪、多目标检测和跟踪、平台控制、OSD、图像缩放平移旋转、电子稳像、图像增强、视频融合、视频压缩存储与网络传输等强大功能，其开放式的系统结构，允许集成专门的特性和算法，使得其能够满足各种复杂的光电跟踪应用。解决了光电跟踪系统所需要的各种算法和技术问题，从而大大缩短了光电跟踪系统的研制周期，并使系统性能和可靠性大大提高。

典型应用方案示意图1，用户使用自行设计的嵌入式主控模块 + AVT31，构建自动视频跟踪系统。

典型应用方案示意图2，用户使用VTC81 + AVT31，构建自动视频跟踪系统。

典型应用方案示意图3，用户使用PC机 + AVT31，构建自动视频跟踪系统。

• 突破传统的视频目标取差器的设计理念，融合捕获和自动跟踪两种模式下的平台运动控制、传感器视场和指向等诸多信息对目标运动加以预测，使得跟踪更加可靠平稳，并具有良好的普适性。因此，AVT31不是单纯的视频目标取差器，而是一个完整的自动视频跟踪系统解决方案。
  • 内置多种图像增强预处理算法：白热、黑热、双极性、移动目标检测等。
    • 视频捕获：可根据目标的亮度、尺寸、外形比例、速度、运动方向等自动获取目标。
      • 视频跟踪：内置 质心、边缘、多目标、相关、相位相关、场景锁定等多种跟踪算法，支持多目标自动检测和多目标自动跟踪；目标短暂丢失智能锁定和重捕获 算法。
        • 可编程两轴平台驱动控制（PID）；支持速率和位置控制。
          • 算法的FPGA实现， 使得模块具有极低的延迟：输出偏差或平台运动参数延迟小于1帧时间，可同步输出，也可即时输出。输出偏差的低延迟，大大提高系统动态性能，适合于快速目标的跟踪 。
            • 图像处理功能： 基于场景锁定的极低延迟实时电子稳像、图像增强、视频融合等算法 。
              • 支持视频压缩、记录、网络传输等
                • OSD功能，支持标准的和用户自定义的字符和符号，如：跟踪窗口、符号标记、瞄准线、状态等等。
                  • 图像平移、缩放和旋转功能，以纠正传感器安装位置对视频的影响。
                    • 支持固定视场、可切换视场、连续变化（ZOOM）视场的摄像机。
                      • 支持模拟RGB、YPbPr分量高清视频输入；支持CameraLink、HD-SDI、HDMI/DVI等高清数字视频输入。支持隔行/逐行视频。最高分辨率可支持到1080p@60Hz。
                        • 结构紧凑、功耗低。
                          
                          
                          原理框图
                          
                          
                          
                          外形图
                          
                          自动获取目标 可根据目标的亮度、尺寸、外形比例、速度、运动方向等自动获取目标。
                          
                          
                          
                          跟踪算法 质心跟踪算法：这种跟踪方式用于跟踪有界目标，且目标与环境相比有明显不同灰度等级，如空中飞机等。目标完全包含在镜头视场范围内。 相关跟踪算法：相关可用来跟踪多种类型的目标，当跟踪目标无边界且动态不是很强时这种方式非常有效。典型应用于：目标在近距离的范围，且目标扩展到镜头视场范围外，如航行在大海中的一艘船。 相位相关算法：相位相关算法是非常通用的算法，既可以用来跟踪无界目标也可以用来跟踪有界目标。在复杂环境下（如地面的汽车）能给出一个好的效果。 多目标跟踪算法：多目标跟踪用于有界目标如飞机、地面汽车等。它们完全在跟踪窗口内。对复杂环境里的小目标跟踪，本算法能给出一个较好的性能。 边缘跟踪算法：当跟踪目标有一个或多个确定的边缘而同时却又具有不确定的边缘，这时边缘跟踪是最有效的算法。典型如火箭发射，它有确定好的前边缘，但尾边缘由于喷气而不定。 场景锁定算法：该算法专门用于复杂场景的跟踪。适合于空对地和地对地场景。这个算法跟踪场景中的多个目标，然后依据每个点的运动，从而估计整个场景全局运动，场景中的目标和定位是自动选择的。当存在跟踪点移动到摄像机视场外时，新的跟踪点能自动被标识。瞄准点初始化到场景中的某个点，跟踪启动，同时定位瞄准线。在这种模式下，能连续跟踪和报告场景里的目标的位置。 组合跟踪算法：顾名思义这种跟踪方式是两种具有互补特性的跟踪算法的组合：相关类算法 + 质心类算法。它适合于目标尺寸、表面、特征改变很大的场景。
                          多目标跟踪
                          多目标跟踪算法可以跟踪多于一个的目标，算法在跟踪窗口范围内，区分分离的目标，可跟踪多达5个目标，目标的瞄准点是主要目标的质心，它通过捕获目标符号来标识，次要目标使用检测目标标记来标识。
                          
                          
                          
                          低延迟目标偏差或平台控制信息的输出于实时视频的延迟时间小于或等于1场时间（PAL制场周期是20ms、NTSC制场周期是16.7ms），这种极低的延迟，使得控制系统的带宽大大提高，提高系统的跟踪精度和稳定性。偏差信息或平台控制信息的输出可以有两种方式：
                          在视频消隐期同步输出。计算获得偏差信息或平台控制信息后立刻输出。
                          
                          

                          不同类型摄像机支持

                          典型视频跟踪系统的镜头可能是：热成像传感器（它带有一个或多个固定视场）、带ZOOM镜头的彩色CCD摄像机，或窄视场摄像机（一般用于定点观察）。对于使用可变视场的多摄像机系统，AVT21提供了强大的支持，能实现视场变化时自动适应摄像机特性的变化，并保持视场和摄像机的切换不中断自动跟踪。

                          模块支持多种视频信号和标准：

                          隔行或逐行视频模拟高清视频输入：RGB或YPbPr分量数字高清视频输入：CameraLink、HD-SDI、HDMI、DVI等最大图像尺寸：1080p@60Hz
                          平台控制AVT21控制平台运动有两种模式：捕获模式（也即手动控制平台）和自动跟踪模式。
                          
                          捕获模式下的平台运动参数计算主要包括：对来自操作手柄的运动数据进行死区、增益、操控特性形状化等处理。跟踪模式下的平台运动参数计算主要包括：对目标偏差数据进行视场补偿、增益调整、积分处理等。平台运动控制算法是对来自两种模式的运动需求，通过PID算法，以及平台死区和饱和控制，最终形成平台运动参数（速度、方向）的输出。
                          
                          

                          
                          

                          
                          视频的旋转平移缩放功能图像旋转缩放平移用于补偿摄像机的安装位置，或者放大图像。例如安装在平台上的摄像机由于安装造成图像颠倒等。这时就可以使用这个功能把图像旋转180度就可以获得符合习惯的图像。
                          
                          OSD功能强大的OSD除了支持AVT31自身的一些状态条、跟踪窗口、靶心、目标标记等等信息外，还支持用户自定义的文本、图形和符号等的输出。OSD可以很方便地进行消隐和显示控制。有4个绘图平面：跟踪器文本、跟踪器符号、用户符号平面1、用户符号平面
                          电子稳像 很多应用中，摄像机安装在不稳定的平台上，如飞机、车、船等使用环境。且为了进行远距离观察，往往镜头视场小，这种情况下，轻微的机械振动会引起视频比较大的抖动，从而影响视频观察探测，AVT31使用场景锁定算法精确地测量场景的全局运动，实现电子稳像功能。
                          
                          
                          图像增强 在烟、雾、霾、水气、雨、雪、灰尘、昏暗等环境会使光电成像系统成像质量严重下降，图像朦胧不清，目标难以辨识，严重影响监视和探测效果。图像增强算法，显著提升图像视觉效果，使图像变得清晰透亮，让你看得更远更清晰。
                          
                          
                          
                          图像融合算法
                          图像融合技术是指将不同类型光电传感器获取的同一景物图像进行几何配准，然后采用一定的算法将各图像中所含的信息优势或互补性有机结合起来，产生新的图像，提高了光电系统的识别探测能力。 如图，通过融合技术，将电视和热像图像融合到一起，使得在热像视频中能看到了灯光，而灯光等信息对某些应用来说是非常重要的信息。
                          
                          
                          应用实例
                          机载光电观瞄系统车载光电跟踪系统舰船光电跟踪系统火箭发射、飞机起降、实时炮弹自动视频跟踪系统监视，如边防监视跟踪系统炸弹等武器系统指示器武器系统评估模拟器系统轨迹分析图像匹配跟踪系统自动校准激光系统对齐目标空间测量生物分析其他应用场合的自动视频跟踪系统