光学式运动捕捉 - CSDN博客
光学式运动捕捉
&光学式运动捕捉　　光学式运动捕捉通过对目标上特定光点的监视和跟踪来完成运动捕捉的任务。目前常见的光学式运动捕捉大多基于计算机视觉原理。从理论上说，对于空间中的一个点，只要它能同时为两部相机所见，则根据同一时刻两部相机所拍摄的图像和相机参数，可以确定这一时刻该点在空间中的位置。当相机以足够高的速率连续拍摄时，从图像序列中就可以得到该点的运动轨迹。 MotionAnalysis 公司是该领域的佼佼者。
　　典型的光学式运动捕捉系统通常使用 6 ～ 8 个相机环绕表演场地排列，这些相机的视野重叠区域就是表演者的动作范围。为了便于处理，通常要求表演者穿上单色的服装，在身体的关键部位，如关节、髋部、肘、腕等位置贴上一些特制的标志或发光点，称为 &Marker& ，视觉系统将识别和处理这些标志，如图 4 所示。系统定标后，相机连续拍摄表演者的动作，并将图像序列保存下来，然后再进行分析和处理，识别其中的标志点，并计算其在每一瞬间的空间位置，进而得到其运动轨迹。为了得到准确的运动轨迹，相机应有较高的拍摄速率，一般要达到每秒
60 帧以上。
　　如果在表演者的脸部表情关键点贴上 Marker ，则可以实现表情捕捉，如图 5 所示。目前大部分表情捕捉都采用光学式。
　　有些光学运动捕捉系统不依靠 Marker 作为识别标志，例如根据目标的侧影来提取其运动信息，或者利用有的背景简化处理过程等。目前研究人员正在研究不依靠 Marker ，而应用图像识别、分析技术，由视觉系统直接识别表演者身体关键部位并测量其运动轨迹的技术，估计将很快投入实用。
　　光学式运动捕捉的优点是表演者活动范围大，无电缆、机械装置的限制，表演者可以自由地表演，使用很方便。其采样速率较高，可以满足多数高速运动测量的需要。 Marker 的价格便宜，便于扩充。
　　这种方法的缺点是系统价格昂贵，虽然它可以捕捉实时运动，但后处理（包括 Marker 的识别、跟踪、空间坐标的计算）的工作量较大，对于表演场地的光照、反射情况有一定的要求，装置定标也较为烦琐。特别是当运动复杂时，不同部位的 Marker 有可能发生混淆、遮挡，产生错误结果，这时需要人工干预后处理过程。
本文已收录于以下专栏：
相关文章推荐
前面几篇文章，我们简要介绍了光学透射式头盔显示器（光学透视型增强现实眼镜）的基本标定方法，并分享了在该领域的一些研究心得。但是，那还仅仅是停留在理论与实验的阶段，本文将应用前面介绍过的标定技术，进行一...
上次我们讲到，我们可以使用Unity3D编写程序标定摄像头和HMD之间的映射关系，并得到一个3*4的矩阵。通过这个矩阵我们就可以知道任意一个世界坐标系中的点在HMD屏幕上的位置。...
人体运动捕捉技术广泛应用在动作分析、医学、生物工程、电影特效、体育科研训练等相关领域.目前研究人员主要采用光学和传感器2种方式,光学式运动捕捉仪需要特定的空间环境,多台高速摄像机,其设备昂贵且测定距离...
运动捕捉学习心得开学有大半个月了，来学校也有将近两个月了，对自己学到的东西进行总结。机器学习1
机器学习算法学习
代码理解和测试机器学习由于刚刚接触到机器学习内容，对其较多概念都不了解...
他的最新文章
讲师：钟钦成
讲师：宋宝华
您举报文章：
举报原因：
原文地址：
原因补充：
(最多只允许输入30个字)基于光学运动捕捉技术的多旋翼无人机定位与定向的解决方案
联系电话：
> 基于光学运动捕捉技术的多旋翼无人机定位与定向的解决方案
基于光学运动捕捉技术的多旋翼无人机定位与定向的解决方案
视觉与图像器件事业部 李淼
理查德·施特劳斯，德国浪漫派晚期最后的一位伟大的作曲家，同时又是交响诗及标题音乐领域中最大的作曲家。1896年施特劳斯根据尼采的著作完成了叙事性交响乐《查拉图斯特拉如是说》。时隔118年后，在美国华盛顿举行的美国科技年会上，一群名叫“微蜂”的多旋翼无人机非常娴熟地演奏了施特劳斯的这部交响乐作品，技惊全场（如图1）。这场别开生面的音乐会的主角由人变为多旋翼无人机，然而精湛的演奏技艺是由美国KMel Robotics团队支撑，他们来自宾夕法尼亚大学机械工程系著名的GRASP实验室。团队主要人员宾夕法尼亚大学教授Vijay Kumar直言：“研发这样一套敏捷的机器人系统需要一种在高速运动的情况下提供实时的定位和定向的解决方案。”GRASP实验室将目光聚焦在光学运动捕捉技术上。
图1 “微蜂”多旋翼无人机组演绎《查拉图斯特拉如是说》
光学运动捕捉技术主要是基于计算机图形学原理，从理论上说，对于三维空间中的一个点，只要这个点能同时为两部摄像机所见，则根据同一时刻两部摄像机所拍摄的图像和对应参数，可以确定这一时刻该点在三维空间里的位置信息。当摄像机以足够高的速率连续拍摄时，从图像序列中就可以得到该点的运动轨迹。利用这个原理，通过对目标物体上特定光点的监视和跟踪来完成运动捕捉的任务。
光学运动捕捉技术的原理与GRASP实验室的需求不谋而合，它给GRASP实验的研究带来了三个好消息：
第一，高速，光学运动捕捉系统拥有至少100FPS的拍摄速度；
第二，高精度，光学运动捕捉系统拥有0.1mm的定位精度；
第三，鲁棒性，光学运动捕捉系统是跟踪多旋翼无人机上固定的刚体结构，跟踪数据几乎不会丢失。
拥有这些优势，对于研发无人机的团队来说，正如GRASP实验室的Daniel Mellinger博士所言，“光学运动捕捉系统避免我们走弯路，我们只需要聚焦在无人机的动力学和控制的研究上即可”。
本文笔者将详细介绍光学运动捕捉系统如何解决多旋翼无人机在高速飞行过程中的定位和定向的问题。
飞行场地 光学运动捕捉系统是该解决方案的核心，首先根据自身条件选择多旋翼无人机飞行的场地，根据场地大小，选择合适数量的运动捕捉摄像机，通常需要8台以上（如图2）。
图2 系统三维图（以8台摄像机为例的系统）
建立刚体 根据光学运动捕捉技术的原理，多台摄像机同步发射红外光线，在三维空间里，目标物体表面固定特制的标记点（如图3），标记点可在红外光线下强烈反光，通过识别算法提取标记点的空间位置信息。因此，光学运动捕捉系统并非采集多旋翼无人机的飞行视频图像，而是固定在多旋翼无人机上的标记点（如图4），继而得出点的位置数据。然而，当空间里存在一架以上的多旋翼无人机时，单一的标记点无法区别多架多旋翼无人机，需要多个标记点组成不同形状的结构便于区分。由多个标记点组成，体积和形状不会随着自身的移动而改变，称之为“刚体”。当不同的多旋翼无人机固定不同结构的刚体时，区分便很容易做到。
图3 被动式标记点
图4多旋翼无人机上的标记点
实时定位 多旋翼无人机在光学运动捕捉系统的软件中是被识别为不同结构的刚体（如图5）。多旋翼无人机的飞行产生了空间位置的变化，映射在软件里（如图6），即六自由度数据的实时变化。Six Degrees of Freedom（6DoF），即六自由度，包括三维空间XYZ轴坐标，偏航角Yaw，横摇角Roll，俯仰角Pitch。这些数据既可以实时预览，又可以实时广播出去。
图5 由4颗标记点组成的刚体
图6 六自由度数据实时预览
实时校正 多旋翼无人机实时的六自由度数据传递到飞行控制系统（简称飞控系统），作为实际的参考数据，来校正多旋翼无人机的飞行轨迹，确保其在事先设定的航线上飞行。多架多旋翼无人机按照指定的轨迹或数据飞行，即形成了整齐的编队飞行效果（如图7）。
图7 由20架多旋翼无人机的编队飞行
凌云公司运用OptiTrack光学运动捕捉系统打造一套定位多旋翼无人机飞行轨迹的解决方案，具有高性价比，稳定抗干扰，高精度，同步跟踪多个目标物，实时的六自由度数据流等优势特性。
OptiTrack是美国NaturalPoint公司旗下的光学运动捕捉系统的品牌，公司致力于为个人用户提供最性价比的光学运动捕捉系统。2010年，凌云公司与OptiTrack建立合作关系，逐年抢占Vicon和Motion Analysis两大老牌光学运动捕捉系统的市场。2014年，OptiTrack登上北美销量第一的宝座，全球总销量也跃居第二。Prime系列是OptiTrack的高端系列，适用于游戏与动画制作，运动跟踪，力学分析，以及投影映射等应用方向。多旋翼无人机的飞行定位正是光学运动捕捉技术的原理所要做的事。
分辨率：2048 x 2048
帧速：30-180FPS（可调）
延迟：5.5ms
快门：全局快门
分辨率：1664 × 1088
帧速：30-360FPS（可调）
延迟：2.8ms
快门：全局快门
分辨率：1280 × 1024
帧速：30-240FPS（可调）
延迟：4.2ms
快门：全局快门
170颗850nm红外
20颗850nm红外超高功率
62颗850nm红外
图像处理模式
目标，分割，原始灰度，MJPEG灰度
51° x 51°
70° x 49°
56° x 46°
数据传输与供电
数据接口：千兆网
电源：PoE或PoE+
数据接口：千兆网
电源：PoE或PoE+
数据接口：千兆网
表1 Prime系列运动捕捉摄像机参数
Prime 41 在全世界各类光学运动捕捉品牌的产品中，它拥有遥遥领先的捕捉范围——30米，独特的属性让其能够在飞行场地的扩容性方面拥有领先优势。410万像素的光学分辨率，保证在30米远处使用小到几毫米的标记点也能被正确识别（如图8）。
图8 标记点在30米远处被正确识别
Prime 17W 它解决了运动捕捉摄像机极少实现的双重功能——视场角和工作距离最大化（如图9）。在有限的15mx15m的实验室或工作室里，它能够提供全世界最大的捕捉空间和360FPS的采集帧速，保证多旋翼无人机能够高速飞行。
图9 视场角和工作距离最大化
Prime 13 即使在只有130万像素的光学分辨率下，它依然凭借精确的识别算法保证0.1mm的捕捉精度，极其慷慨的成本，也让它成为全世界最具性价比的高速运动捕捉摄像机。大疆公司的工程师们直言：“0.1mm的捕捉精度对于修正飞控系统很关键。”
除了优秀的运动捕捉摄像机性能，笔者认为OptiTrack的Prime系列恰到好处地解决了最终用户在实际使用中的几个关键点：
第一，数据和供电一体化。Prime系列的运动捕捉摄像机仅有一个千兆网接口（如图10），千兆网线不仅将数据传递到客户端，还起到供电线缆的作用，这便是PoE，即Power over Ethernet。数据和供电一体化使得用户仅需一根千兆网线即可实现数据传输和摄像机供电，减少系统布线的压力，增加使用的便捷性。
图10 PoE接口
第二，通用的扩展硬件。Prime系列的运动捕捉摄像机都是连接到通用的交换机设备上，如思科、网件的数据交换机。百度公司的工程师徐立人介绍道：“如果未来我们想扩大捕捉场地，只需要增加摄像机的数量，并且再增加同一型号的交换机，便可实现摄像机的并联，这就很方便了，而且这些交换机都是通用的品牌。”
第三，辅助瞄准。这个按钮让一个人即可完成整个运动捕捉系统的安装设置。按下辅助瞄准按钮，软件界面将显示全屏的2D图像预览视角，通过设置灰度、曝光改善画面亮度和清晰度（图11）。整个过程无需别人协助，无需操作软件。
图11 辅助瞄准按钮
第四，开源的SDK和API访问。NatNet SDK是免费的实时数据流通道开发包，支持C/C++编译，支持UDP协议，支持点对点（Point-To-Point）或多点（IP Multicasting）传输。另外，用户可以基于Motive的API开发应用程序直接控制系统，完全替代Motive：Tracker的原始用户界面。中科院沈阳自动化研究所的华春生博士表示：“我对VRPN或Trackd的传输方式不信任，NatNet是开源的，我可以自定义我能够信任的方式。”
第五，户外性。OptiTrack独特的照明专利技术，利用LED阵列加快放电速度，满足捕捉超快运动时的照明需求，配合主动发光的850nm红外LED标记点（图12），不仅可以实现户外捕捉，在室内光线环境复杂的情况下，也可以排除其他光线的干扰。
图12 主动式标记点
这套基于光学运动捕捉技术的多旋翼无人机定位与定向的解决方案，帮助用户快速、稳定、可靠地解决空间定位和定向的难题。这些数据不仅精确到0.1mm和0.1°，且传输延迟最多5.5ms，与实时无异，符合并超过用户的实际需求。越来越多的多旋翼无人机公司运用光学运动捕捉系统创造出新颖的应用和概念，比如凭借大疆四旋翼无人机上头条的汪峰求婚，KMel Robotics的微蜂无人机音乐会，雷克萨斯的广告Amazing in Motion等等。在科研领域的前十年，宾夕法尼亚大学的GRASP实验室、苏黎世联邦理工的Flying Machine Arena、MIT等独领风骚，创造一系列高价值的实验成果，并商业应用成功。去年伊始，百度、大疆、沈阳自动化研究所、天津大学等重启对多旋翼无人机定位与定向的研究，受益于光学运动捕捉系统，他们将更专注地创造核心内容与价值。
图13 汪峰凭借大疆四旋翼无人机求婚上头条
图14 KMel Robotics的微蜂无人机音乐会
图15 雷克萨斯的广告Amazing in Motion
责任编辑金晓波您的位置： &
动态捕捉五大技术种类以及光学式运动捕捉数据的实用技巧（下）
优质期刊推荐7被浏览590分享邀请回答1添加评论分享收藏感谢收起