构建增强现实摄像机系统

2015-07-28

  【CPS中安网 cps.com.cn】2015年1月22日,微软向全世界发布了其应用增强现实技术的新产品—— 全息透镜(Microsoft HoloLens),引发了全球科技爱好者们掀起一场新的狂欢。近两年来,运用增强现实技术的产品越来越让人惊艳:可穿戴设备、车联网、物联网等,增强现 实可以发挥作用的舞台越来越大。虽然增强现实技术还处在成长期,但其实早已有许多专注于增强现实领域的公司深耕于此,如索尼早在 1994 年就在二维码的基础上开始了增强现实技术的研发,推出“Smart AR”智能增强现实技术,并成功用于电子游戏和手机摄像头。目前,国内已有几家安防厂商将增强现实技术应用于视频监控摄像。

  从虚拟现实到增强现实

  增强现实技术(AR)就是根据当前位置(GPS),和视野朝向(指南针)及手机朝向(方向传感器/陀螺仪),在实景中(摄像头)投射出相关信息并在显示设备(屏幕)里展示。其实现的重点在于投影矩阵的获取。

   技术的发展不是突进的,而是渐进式发展。增强现实技术离不开虚拟现实技术(VR)。虚拟现实技术是采用以计算机技术为核心的技术,生成逼真的视、听、触 觉等一体化的虚拟环境,用户借助必要的设备以自然的方式与虚拟世界中的物体进行交互,相互影响,从而产生亲临真实环境的感受和体验。典型的VR 系统主要由计算机、应用软件系统、输入输出设备、用户和数据库等组成。计算机负责虚拟世界的生成和人机交互的实现;输入输出设备负责识别用户各种形式的输 入并实时生成相应的反馈信息;应用软件系统负责虚拟世界中物体的几何模型、物理模型、行为模型的建立,三维虚拟立体声的生成,模型管理及实时显示等;数据 库主要用于存放整个虚拟世界中所有物体的各个方面的信息。

   虚拟现实技术与三维动画技术的本质区别在于其交互性上。三维动画技术是依靠计算机预先处理好的路径上所能看见的静止照片连续播放而形成的,不具有任何交 互性,即不是用户想看什么地方就能看到什么地方,用户只能按照设计师预先固定好的一条线路去看某些场景,用户是被动的;而VR 技术则通过计算机实时计算场景,根据用户的需要把整个空间中所有的信息真实地提供给用户,用户可依自己的路线行走,计算机会产生相应的场景,真正做到“想 得到,就看得到”。根据VR技术对沉浸程度的高低和交互程度的不同,将VR系统划分了4种类型:沉浸式VR 系统、桌面式VR系统、增强式VR 系统、分布式VR 系统。

  而增强式VR 系统简称增强现实(Augmented Reality),它既允许用户看到真实世界,同时也能看到叠加在真实世界上的虚拟对象,它是把真实环境和虚拟环境结合起来的一种系统。AR中真实物体和 虚拟物体与用户环境必须无缝结合在一起,而且真实物体和虚拟物体之间还要能够进行交互,这样才能实现真正的虚实融合。因此增强现实系统具有虚实结合、实时 交互、三维定向的新特点。

  增强现实系统的构成

  一个增强现实系统需要有显示技术、跟踪和定位技术、界面和可视化技术、标定技术构成。

  跟踪和定位技术与标定技术共同完成对位置与方位的检测,并将数据报告给AR 系统,实现被跟踪对象在真实世界里的坐标与虚拟世界中的坐标统一,达到让虚拟物体与用户环境无缝结合的目标。

  为了生成准确定位,增强现实系统需要进行大量的标定,测量值包括摄像机参数、视域范围、传感器的偏移、对象定位以及变形等。

   以智能手机为例,增强现实就是根据当前位置(GPS),和视野朝向(指南针)及手机朝向(方向传感器/陀螺仪),在实景中(摄像头)投射出相关信息并在 显示设备(屏幕)里展示。其实现的重点在于投影矩阵的获取。当然,在实际开发的时候其实android系统已经将投影矩阵封装的比较好了,可以通过接口直 接获取投影矩阵,然后将相关的坐标转换算成相应的坐标就可以了。

  移动增强现实系统应实时跟踪手机在真实场景中的位置及姿态,并根据这些信息计算出虚拟物体在摄像机中的坐标,实现虚拟物体画面与真实场景画面精准匹配,所以,registration(即手机的空间位置和姿态)的性能是增强现实的关键。

   对固定摄像机的增强现实系统,主要由图像采集系统和观察显示系统合在一起构成了望远筒式结构,体积相对庞大。为了减小系统的体积和重量,在设计中将这两 部分分离,摄像机系统仍然通过支架固定,而观察系统改为手持式设备或者头盔显示器,这样就省去了望远筒结构中的系统连接部分和支撑部分,支架承受的重量也 会大大减少。由于改用了较为轻便的结构,整套系统的维护和使用更加方便。在系统中采用双摄像机拍摄真实场景,并结合虚拟模型的立体成像实现了立体视觉的增 强现实效果,使系统的实用性得到大幅提升,非常适用于在安防监控中使用 。  安防监控中增强现实系统的硬件和软件

  通过使用电机结构来调节摄像机的角度,同时使用可以固定在用户头部的跟踪器才能实时测量观察者的头部运动。

  硬件系统

  计算机。计算机是整个系统的大脑,所有的图像、数据最后都会被汇总到这里,因此计算机需要进行大量的运算,包括惯性跟踪器测量结果的处理,随动电机平台的控制,虚拟世界的建立,虚拟摄像机的控制,立体图像的生成,增强现实效果的实现,等等。

   头盔式显示器。头盔式显示器是系统的显示输出设备,计算机常渲染后的带有立体视觉的增强现实图像会被输出到它上面供用户观察,因此头盔式显示器也是系统 中和观察者具有最直接联系的设备,用户沉浸感的实现在很大程度上取决于头盔显示器的成像质量和配带感觉上,而不是计算机渲染出的增强现实效果。所以头盔式 显示器在保证输出图像没有畸变的前提下,整体的体积越轻薄越好。

  惯性跟踪器。用来测量观测者的头部运动情况并实时将数据发送给计算机。为了实现各个设备以及虚实摄像机之间的匹配,所有设备公用惯性跟踪器的测量结果,因此惯性跟踪器相当于系统中的主控元件,其精度直接影响整套系统的精度。

   随动电机平台。该平台完成系统的真实场景采集任务,由双摄像机系统、随动平台以及驱动电机组成。双摄像机系统固定在随动平台上,与随动平台保持相对固 定,驱动电机控制平台转动。计算机获得观察者的头部运动数据后,经过分析计算出摄像机系统需要拍摄的方向并发送信号给电机,电机根据计算机的要求驱动随动 平台转动,从而带动摄像机系统改变图像采集方向。

  软件系统

  计算机作为系统的数据处理中心,在处理相关数据后,计算出电机的转动速度和距离,发送控制信号给平台,驱动平台上的真实摄像机改变拍摄方向。

  与此同时,随动平台将其当前位置反馈给计算机,作为计算机下一次计算的参考量,从而形成闭环控制。

   为了使最后的虚实图像能够匹配,计算机在控制随动电机平台的同时还需要对虚拟计算机的位置进行调节,使虚实计算机的拍摄角度始终保持一致。对于计算机系 统来说,每一帧图像都被传送给计算机,这些图像经过渲染与融合后生成增强现实的立体图像,并被输出到头盔显示器上供用户观看。

  在上述过程中,软件系统所要完成的任务,可以分为离线和实时两个阶段。在离线阶段需要对真实摄像机进行标定,同时计算头盔式显示器的畸变,生成畸变校正贴图。

   对真实摄像机进行标定是为建立虚拟世界、设置虚拟景物服务的。绘制畸变校正图像主要是用来调整需要显示到头盔显示器上的图像,使它们在显示前产生桶形畸 变,这样在经过头盔显示器的枕形畸变后,又会恢复到正常比例提供给用户观看。而且,在得到畸变校正贴图后,就可以将图像修正的工作放到GPU中进行,从而 能在很大程度上减轻CPU的负担,提高系统的速度。

  在系统实时运行过程中,一方面需要跟踪用户的头部运动,调整虚实摄像机的拍摄方向,另一方面需要采集虚实摄像机的图像,进行渲染和图像融合,最后输出供用户观看的图像。这两部分的软件相对独立,因此在不同的线程中进行。

  结束语

   目前增强现实还未普及和规模化发展,但其应用范围已经越来越广,从工业领域逐渐延伸到了医疗、娱乐、互动和游戏等诸多方面,特别受到了广告传媒行业的热 捧,未来发展空间极大。而随着技术、内容和应用场景的有效融合,以及硬件性能的发展和可穿戴设备的崛起,增强现实技术在安防监控中将发挥出极大的作用。


本网站由阿里云提供云计算及安全服务 Powered by CloudDream