基于多摄像机视角插值的近期足浗比赛赛虚拟视角回放 摘要本文提出一种新颖的方法来合成虚拟视角,
通过在一个体育场安装多个摄像头进行采集图像使得观众可以观看整个真实的足球场景。本文所提出的方法是通过被选的视角旁的实际摄像机查看插值，从而生成任意视角的图像在这种方法中,不需要呔强调相机的校准，因为我们将摄像机投影几何学运用于插值覆盖为了避免复杂和不可靠的3D恢复过程，根据场景的几何属性对象场景被分割成几个区域。考虑到真实视角之间存在对应关系因此生成中间视角十分有必要，这个过程是将投影几何学运用到每个区域自动生荿的通过叠加所有区域的中间图像，可以生成整个足球场景的虚拟视角该方法可以不必强调校准摄像机，也不需要手动调整使其对应匹配因此，可以很容易地将该方法应用到在一个大范围的动态事件其中一种应用就是，通过视角合成的算法处理实验结果来观察一场囸常近期足球比赛赛的回放这为通过任意一个视角查看整个动态事件提供了一种新方法。
关键词动态事件 多相机 投影几何 近期足球比赛賽 视觉插值 虚拟视角合成 1 引言
信息和通信技术的发展使我们能够欣赏来自世界各地的体育和娱乐活动除了转播事件外，现今的电视广播吔提供了多种视觉效果的娱乐举个与这些影响相关的例子，视觉系统被CBS用于直播第三十五届超级碗在这个系统中，使用超过30个摄像头采集多个视频流然后，用不同视角的视频图像序列来创建一个3D的视觉效果使得视角在某一暂时固定的时刻可以围绕在对象事件周围。該系统采用简单的视频图像切换的视觉效果并且计算机基础视觉技术可以提供更具吸引力的视觉效果，如合成任意视角图像的虚拟视角
虚拟现实[1]，这是一个开创性的项目在这一领域，要实现这样的虚拟运动的动态场景需要利用计算机视觉技术，从多个视角重建目标場景中对象的三维模型随后，将真实图像中的色彩用于合成3D模型的纹理；并且使用传统的渲染技术将会生成带有颜色纹理3D模型视觉图潒。
在一个大的空间中为动态事件提供视觉效果的技术最近已被提出[2]、[3]，它们使球员能够从球员周围的视角查看某个特定领域的球员茬[2]中，三维物体的形状由一组平面描述以便有效地合成物体的一种新的视角。在[3]一个特殊的3D坐标系统，建立在相机的极线几何用于無需摄像机标定的3D模型的重建。在这些方法中目标区域是在一个大的空间，其中一些球员存在某一局部区域另外，在近期足球比赛赛Φ的任意视角运动的方法已被提出[4]在这种方法中，球员所代表的简化3D模型重建使用多个视角，然后虚拟视角图像的球员被呈现在一个虛拟的体育场虽然观众可以从任意的角度来观看整个足球场景，但所呈现的体育场并不是一个真正的体育场而是一个计算机生成的虚擬模型。
我们的目标是实现对于一整个体育场的实际体育赛事的虚拟视角合成整个场景，包括球员、球场和体育场都是一个重建的目标即对象面积大于以前的方法中描述的[1] 、[3]。此外在虚拟视角中体育场也应该使用采集的场景合成，而不是计算机生成的模型
在本文中，对整个足球的场景的虚拟视角生成我们提出了一种新奇的方法，在真实的球场使用多个未校准相机如果不使用3D模型，只有相邻相机の间的投影几何是用来合成新的视角图像[5] -
[7]视觉插值[8]可以通过实际的摄像头来从任何中间的视角重建整个足球场景。首先相邻的相机之間的射影几何从图像序列获得。通过叠加所有区域的中间图像虚拟视角中整个足球场景的整体外观可以更加容易地以一种逼真的方式合荿呈现。
此外我们引入了“看近期足球比赛赛录像点播系统”。现有的电视广播只提供预先制作的内容在生产中手动选择视频摄像机轉播体育赛事，这本质上是单向通信另一方面，互联网有利于广播电台和观众之间的互动交流内容可以根据观众的需求进行交互修改。如果观众可以选择自己喜欢的视角他们将从观看这些激动人心的场面中获得极大的乐趣。我们证明了需求系统的视角可以作为互动通信媒体的一个例子使用所提出的系统，用户可以在观看比赛的同时自由选择自己的首选视角。他们可以专注于一个特定的球员在特写鏡头或可以使用变焦虚拟相机跟踪球运动
本文的结构如下，在第二节中相关工作的虚拟视角合成，在三种方法中引入了代表性方法概述所提出的方法是在第三节。第四节解释了如何评估投影几何用于视角插值随后，在第五节提出将视觉插值技术运用于大型活动的整個场景第六节展示实验结果，然后在第七节提出关于需求系统的观点在第八节提出的讨论之后，我们最终在第九节中总结了我们的工莋 2 相关工作
在计算机视觉领域，从一些实际相机图像合成的虚拟视角图像的技术自20世纪90年代就已经开始研究[9]-[11]这些技术，称为基于图像嘚绘制（IBR）可以分为三类，基于模型的方法、基于转换的方法、和采用全光函数的方法通过使用基于模型的方法，它是能够构建3D模型嘚对象以生成所需的视角。如前文所述美国的虚拟现实[1]项目，例如电影中采用在任意视角合成以及重建带有彩色纹理的三维模型等惠勒等[12]提出了一种利用多视角图像进行三维重建的方法。由这些方法生成的虚拟视角图像的质量取决于3D模型的准确性对象周围的大量摄潒机或范围内的扫描仪被用来构建一个精确的模型。此外摄像机标定[13]通常需要将图像中的二维坐标与物体空间中相应的三维坐标相关联。由于它是必不可少的测量对象空间中的几个点的3D的位置校准变得困难，特别是在一个大的空间由于这些原因，这种方法的对象区域┅般仅限于几立方米
另一方面，通过使用基于传输的方法它是能够合成任意的视角图像没有一个明确的3D模型。塞茨和戴尔[14]使用变形技術[15]合成静态场景之间的一对图像的新观点陈和威廉姆斯[8]也提出了一种方法，在中间变量的中间视角的变形率的方法Avidan和Shashua
[16]采用三焦张量图潒传输。在这些方法中密集的原始图像之间的对应关系，需要产生中间视角对应的往往是根产生的手动或通过光流；因此，目标几乎嘟是静态图像或稍有不同的图像如面部表情。
最近Manning和Dyer已经扩展视角变形[14]刚性物体的平移，即动态视角变形[17]Wexler和Shashua提出了一种方法，让运動物体从三个视角沿着直线路径来变换动态视角[18]而以上两种方法只涉及转换过程，肖等人已经把变形技术扩展到旋转的情况下并将其應用于非刚性物体的复杂运动[19]。所有这些方法计算的运动参数的对象以插值的移动物体的外观。将这些方法应用到包含复杂运动（例如體育比赛）的多个物体的场景中是不实际的
至于采用全视函数，它描述了所有的辐射能量通过在空间和时间中的任何点的观察员认为，这可能是从一组样本图像创建新视角这允许用户任意平移和倾斜的虚拟摄像头，并交互地探索他/她的环境在其最一般的形式，全视函数是一种七维函数由于它的高维性，数据压缩或压缩的全视函数是必不可少的最近，Shum等人[22]提出了一种新的基于图像的绘制技术称为哃心马赛克虚拟现实应用他们提出的3D全视函数和同心马赛克的压缩算法。这种方法提供了更好的图像质量和较低的计算需求渲染比基于模型的方法然而，它是不适合大型事件因为它是不可能的描述所有的辐射能量。
在相关的方法康纳等提出了一种利用分层表示方法實现对图像之间动态合成的方法[23]。前景对象被表示为具有一个背景的多个层随后，通过估计的分层模型的参数生成新的视角图像。在該方法中在初始帧中的相应区域的近似选择是必要的层表示。层的数目不随时间变化因此，它不能被施加到一个长的图像序列另一方面，通过应用所提出的方法我们可以自动合成的动态区域的虚拟视角图像，并表示在每个帧中的整个足球场景我们将方法应用于长達几分钟的图像序列。此外本文采用的视角为内插三视角。
3 方法概述 图像的任意视角由实时摄像机图像之间的视觉插值所产生由多个攝像机选择由用户选择的虚拟视角附近的两个或三个摄像机。虚拟视角图像是通过性选择的相机之间的响应由于我们的目标是在一个大嘚空间中的动态事件，我们的对象场景分割成动态区域和静态区域然后在每个区域独立执行视角插值。 图1 处理方法
图1描述了所提出的方法的概述我们的做法如下首先，多个视角之间的投影几何这是基本的单应矩阵矩阵[24]和[24]，被用于估计选择某一帧的图像序列足球场景通过背景减法分为动态和静态区域进行视角插值。
根据足球场景的属性静态区域也可以被划分成几个平面区域。一个是背景区域它可鉯近似为一个无限远的平面。其他的区域如地平面和目标，它可以近似为一组平面中间的图像是通过每个平面区域对应变换合成。由於背景区域和字段区域被认为是稳定的它们可以通过人工检测，并且虚拟视觉图像可以预先通过一个中间视角生成虽然可能无法采集所有的观众的动作，我们并不认为这是一个问题因为观众的运动不是必要的足球场景表示。如果拍摄的场景光线变化背景图像可以由烸一光照条件下采集的序列产生，这在第V-B章节有解释
至于动态区域,视角插值在每一帧都是必要的,因为一个物体的形状或位置是随时间变囮的。然而,我们的方法,结合在线和脱机流程为了有效地渲染场景在脱机过程中,每名球员区域分割和自动标记。标记区域相同的球员在相鄰的视角中通过对应变换通信在线过程,应用基本矩阵获得稠密对应每一个标记的区域以及球形区域。变形技术通过参考摄像机图像生成Φ间视角图像如果捕获的场景中球员和球有阴影,中间图像也生成阴影。最后,通过叠加中间图像背景区域和动态区域,我们就完成由用户选擇的整个足球场景的虚拟视角
4 投影几何的估计 A.基本矩阵 两摄像机之间的对极几何的基本矩阵表示（表示为矩阵的下方）F，这是一个33矩阵如果点P在三维空间投影到在第一点P1和P2的第二点，对应的图像点满足如下方程 0 （1）
P1和P2分别为P1和P2的均匀坐标F是一个有7个自由度的秩为2的均勻矩阵，因此它可以由至少两个视角中7路通信进行非线性计算。考虑到在立体匹配中对应点的搜索可以减少搜索面积。假设一个点在苐一个视角中是已知的那么第二个视角中的对应点必须位于 （2）
其中L和x分别表示L和x的齐次坐标。因此搜索不需要覆盖整个图像平面，並可以限制到极线在所提出的方法中，采用矩阵获得稠密对应的动态区域 B.单应 在第一个视角中平面图像点与其对应的第二视角中使用單应矩阵H的图像点相关，如 （3） 其中P1和P2是对应图像点的均匀坐标是尺度因子。H是一个带有8个自由度的3 *
3的矩阵因此，它可以计算由至少兩个对应的两个视角通过同一图形变换，一个视角中的点决定了另一个视角中的一个点该方法采用跨层应在静态重新获得致密的对应區域。 5 视觉插值 A.静态区域 在每个区域中的视角插值的方法描述如下为了简单起见，我们考虑插值两个视角的情况此方法也可应用于三視角（见第六节）。
由于静态区域被认为是很少或根本没有变化随着时间的推移视角插值实现只有一次在选定的帧中，既不存在球员也鈈存在球如果在捕获的图像序列中不包含这样的图像，则可以通过将图像序列的模式值设置为每个像素来构造因此，不包括动态对象嘚图像从而产生每个摄像机。如果捕获的场景有变化的照明背景图像需要生成的序列中的每一个照明条件。在我们的实验中我们预先合成的背景图像的图像序列的每150帧。
1）场域在足球场景中地面和球门可以被视为一个平面和一组平面。然后运用到平面单应获得的中間视角生成所需的对应关系方程（3）产生两个平面视角的像素明智对应。表示地面目标提供密集的通信在这些区域的平面单应矩阵我們首先生成两个插值图像在相同的虚拟视角使用两个定向对应，从视角1到视角2和从视角2到视角1分别。然后两个扭曲的图像被混合到一個单一的图像。为了扭曲图像图像的位置和值由图像变形转移，由下列方程描述
（4） And （5） 其中P1和P2是图像中的I1和I2分别对应点的坐标，和I（P1）和I（P2）图像中的I1和I2分别对应点的像素值。P代表插值坐标和I（P）代表的插值像素值
定义了分配给各个实际视角的插值权重，如图2所礻两个扭曲的图像生成使用上述过程中，它们被混合成一个单一的图像这是在中间视角的目标图像。在混合这两个图像如果一个像素的颜色不同于这些图像，在虚拟视角中的相应的像素呈现的颜色的平均值否则，所呈现的颜色是提取任一实际图像图3给出了实例产苼中间图像的场区。图3（a）和（d）显示真正的摄像机图像和（b）和（c）显示从（a）和（d）的内插图像。的虚拟视角的插值权重的真实视角是4至6（b）和6到4（C）
图2图像变形的对应传输 图3 足球场区域实时图像例子 2）背景区域背景被放置在与摄像机的视角位置成距离的区域，这樣它可以被看作是一个单一的、无限远的平面我们从每两个实际的视角合成图像，以便产生马赛克这是各自的全景图像的背景。在这裏我们假设的背景相邻的观点有重叠的区域。从这些全景图像中提取中间视角图像
我们开始通过单应矩阵组合两个视角的坐标系统，咜代表从第一视角到第二视角关于背景的变换接下来，我们混合的重叠的像素值是这样的在交界处的像素颜色可以顺利地连接两个背景。拼接图像中的像素值由以下方程给出 6 图5
V1和V2的I1和I2的像素值和X1和X2是左边和右边的重叠区域的坐标，分别为（如图4所示）然后从全景图潒中提取每个虚拟视角所需的局部区域。以下的单应矩阵Hb然后用于坐标变换来完成背景区域的中间视角 （7）
其中α为插值权重，E为33单位矩阵。图5（a）和（b）举个例子说明真实相机图像中背景区域以及（c）显示（a）和（b）组成的合成图像。图5（d）和（e）当前背景图像的中間图像其内插权重对d中的图6为4，对e中的图4为6 图4 图像合成 图5 背景区域实时图像例子 B.动态区域
动态区域的视角插值方法如下。在这些区域Φ随着形状或位置的变化随着时间的推移，视角插值实现为每个帧该过程分为脱机和在线过程的有效性。在脱机过程中所有帧的动態区域中提取的减去从原始图像的背面。既不是球员也不是球存在的图像被用作每个相机的背景如果视角插值被施加到序列中有变化的照明，我们选择一个背景相同的光照条件动态区域和静态区域的分割有时是困难的。因此我们提取动态区域的背景减法，不仅使用强喥但也有颜色矢量，它有三个组成部分红绿，蓝它们被认为是相同的像素分配到当前帧图像和背景图像之间的静态区域，而它们在動态区域的像素变化
图6 动态区域提取 图6显示了背景减法的结果。动态重新为用上述方法大大提虽然这种分割是必要的应用视角插值，峩们不直接解决这个问题这是因为主要观察本文目的是产生虚拟视角视频效果点重播在动态区域正确提取条件。
由于提取的区域通常包含几个球员和一个球可能还有阴影部分，我们分别处理这些动态对象如果阴影包含在对象场景中，我们首先分割阴影区域和球员/球区域几何信息和颜色信息都被用于这种分割。据推测阴影通常投射在地面上的足球场景。我们发现一个阴影区域的候选人通过接地平面嘚所有提取的动态区域相邻的两视角矩阵这种检测基于单应经常包括球员的脚的一部分。因此我们还使用像素颜色的阴影提取，通过HSI變换的候选人在每个视角图像在当前帧图像和背景图像之间的阴影区域的像素的色调几乎是相同的，而它是不同的播放器/球区域图7显礻的分割结果，在上面的方法这是组合方法的几何变换；矩阵变换和颜色变换；HSI变换，比较的方法只使用单应变换或HSI变换很明显，合並的方法在动态区域中对阴影部分和球员/球的处理好于独立处理的方法
分割后，视角插值被分别施加到阴影和球员/球区域在经典的处悝方法中，它是可以通过在一个环境中估计光源从而在另一个视角中合成的阴影；但是，这需要大量的计算成本另外,在该方法中,我们鈳以使用投影几何从参考图像转移主体阴影中间视角图像的阴影区域。因为考虑到阴影被投射在地面上将单应变换应用到阴影区以及其怹区域。阴影区域的中间视角使用的接地平面的单应变换这在第V-A节中有解释。
图7动态区域分割结果的比较
接下来我们生成的球员/球区域的虚拟视角图像。标记过程被用来分割每个球员和球随后，利用地平面如图8所示的单应得到相应的剪影这是基于这样的假设，一个浗员的脚总是与地面接触即使玩家的跳跃，在跳跃引起的误差很小；因此表示地平面的单应矩阵仍然可以找到对应的剪影。然而由於封闭，有些球员可能没有一一对应在这种情况下，使用前一帧的分割轮廓来处理球员的分离如图9所示，在封闭的球员的脚的位置是甴相邻地平面的单应矩阵计算的观点然后从边界框（矩形周围的分割球员）的上一帧投射到当前帧。因此封闭的球员也可以有一个正確的对应。如果在两个视角中检测到封闭则将球员视为一个大目标。对于在线过程无论是标记的图像和剪影对应存储在每两个相邻的觀点。这就是脱机完成过程
图8 动态区域对应 图9 覆盖区域对应
在线过程使用存储信息，例如关于选择虚拟视角附近的两个参考视角，标記的图像和对应的轮廓通过绘制在两个不同的视角，例如视角1和视角2的极线使用一个矩阵，我们得到的像素对应的轮廓在每一个极線，交叉口与边界如A1和A2，B1和B2图8首先获得轮廓内的对应关系，该对应关系是通过以下方式获得交点的线性插值在获得整个轮廓的稠密對应之后，将像素位置和值从视角1的源图像中转移并以相同的方式在图像区域中以图像的方式查看目标图像的2。然而视角插值只产生Φ间视角的图像，其中真正的相机的缩放比是相同的为了提供自由视角观察的缩放效果，它是必要的控制的3D的位置的虚拟相机或它的焦距由于所提出的方法，它是基于视角插值不能直接处理的外在和内在的参数，我们处理一个缩放功能扩展或收缩图像视角插值修改洳下方程给出的，而不是（4）
（8） 其中C1和C2图像I1和I2分别对应主点坐标，和F1、F2
1和2相机的焦距分别。f表示虚拟摄像机的焦距这个方程可以通过实际相机的焦距和虚拟相机的焦距的焦距比的扩展和收缩，进行大概的放大或缩小使用（5）传输像素值。通过混合两个扭曲的图像苼成虚拟视角上述算法适用于每一对轮廓。根据视角的距离合成它们后所有的球员/球区域被覆盖到阴影区域上。这总结了动态区域的視角插值最后，在背景区域中、其他区域和动态区域进行图像叠加的排序完成所选择的视角的整个场景的虚拟视角图像。
图10 体育场摄潒机布局 6 实验结果
在三个足球场中我们将所提出的方法应用到了实际近期足球比赛赛，通过多个摄像机采集多个图像序列；在日本东京嘚江户川田径体育场、千叶体育场和鹿岛大分的大分体育场如图10所示，在所有的三个体育场的一个侧面放置了一组四个固定摄像机以拍攝罚球区相邻的相机需要重叠区域的背景图像拼接。采集的视频被转换为BMP格式的图像序列由720个480像素，24位的RGB彩色图像然后用于虚拟视角合成。
在这个实验中我们手动选择50对应点的三维位置。
图11给出了在江户川竞技体育场中足球场景生成的中间图像的一些结果图11（a）-（d）展示使用真实相机拍摄的图像和其他方法提出的虚拟视角图像。球员的位置和背景的位置逐渐改变取决于虚拟视角的角度这是由两個真正的相机视角之间的插值权重决定的。例如虚拟视角（E）是位于一个相对重量的摄像机之间的1和2位8。虽然我们的方法涉及到渲染的汾离区域合成的图像出现非常逼真的，由于该区域之间的边界是不可见的图12介绍了从不同角度重建球员。不仅整个场景的全局外观洏且该球员的本身外观可以在很大程度上展示出来。
我们也有实验结果的评价如图13可见，该方法适用于计算机生成两视角图像绘制的OpenGL那里的四个长方体放置在一个平面上。图13（c）显示由（a）和（b）内插权重值为0.5的方法所生成的合成图像这个结果是通过叠加虚拟视角图潒是平面区域上的虚拟视角图像合成的立方区域。图13（d）显示由OpenGL绘制的图像与（C）相同的观点。（c）和（d）之间的色差呈现在（e）尽管在物体的边缘可以看到误差，但合成图像的大部分区域在外观上几乎相同这一结果表明，该方法表示的对象在正确的位置在中间视角圖像具有一定的色差像素对应错误是导致颜色差异的重要部分。
图14比较了足球场景的虚拟和真实摄像机拍摄的图像在江户川竞技体育场使用相机图14（a）和（c）显示了从使用相机2拍摄的真实视角图像生成的虚拟视角图像4。图14（b）和（d）显示使用相机3拍摄的真实视角图像虛拟摄像机被放置在插值权重为5至5之间的位置的相机2和4，这是接近但不符合相机的位置3通过比较虚拟和真实的图像，我们看到现实的圖像没有失真。在虚拟视角图像中正确地重建了由两个真实摄像机捕获的播放器区域和字段区域球员的位置略有差异导致虚拟相机和真囸的相机产生的视角位置的差异。
接下来我们所提出的方法在鹿岛体育场应用于三视角拍摄。在三个视角均存在视角插值的情况下视角的位置是由重量α和重量β决定，如图15所示。从三个真实视角图像合成的虚拟视角图像变形的情况下两个视角。使用下列方程代替（4）和（5） （9） And （10）
其中P1P2，P3是坐标的对应点在图像I1、I2、I3，分别I（P1），I（P2）I（P3）的像素值的对应点在图像I1，I2I3，分别当参考相机的數目为三，混合的参考图像的颜色为所有点可能会模糊的虚拟视角图像然后，我们使用的像素值的最近的相机的边缘点图15给出了合成嘚图像从三视角图像的结果。足球场景包括从真正的三个视角的阴影是从虚拟视角。
我们还得到其他的场景包括在大球场拍摄的阴影效果在视角插值函数的两个视角之间进行（见图16）。图16（c）显示了当图像插值被应用到阴影和球员/球区域分割后得到的图像而（d）显示沒有分割的结果。虽然图16（D）缺乏部分或整个阴影中的球员但所有的阴影预计正确（C）。这表明通过变形的阴影区域，我们可以成功哋重现另一个视角里的他们
图11在江户川竞技体育场中从采集一帧来合成整个虚拟视角的足球场景 图12从不同角度重建球员 图17给出了一个虚擬视角重放的图像序列的例子。自由视角观察是通过选择参考摄像机和插值重量为每帧帧1462和1468包含一些封闭，但对封闭的球员不断跟踪怹们的外观很好地利用相邻的摄像头信息和以前的帧信息进行合成。
最后我们通过改变视角的位置以及球的运动制作了一个视频1，以便觀众观看整个足球场的近期足球比赛赛另一个例子是一个视频，创造了一个3D的效果走动的动作场景的电影“矩阵”我们已经创建了两個视频来比较所提出的系统和“视觉”系统。这种比较表明旋转的虚拟摄像机通过视觉插值，使虚拟摄像机的视频比起真正的摄像机可鉯得到更有效的切换 7 需求观点
作为该方法的一个应用，我们已经开发了一个系统称为“视角需求系统“，观众可以从自己喜爱的观点看近期足球比赛赛回放图18给出了系统的接口。根据虚拟摄像机的位置和缩放比例将生成的虚拟视角图像显示在窗口的中心。由（8）内插权重α所给出的虚拟摄像机的位置由窗口底部的水平滑动杆决定。缩放比例，这是由f和F1和F /
F2在（8）是由右侧的窗口的水平滑杆决定。一旦用户选择他们喜欢的场景渲染的虚拟视角，其位置和缩放比例已初步定义在观看视频时，用户可以随时使用两个滑动条来改变视角
我们成功地完成了从头到尾的几个完整序列的观测。图19给出了系统窗口上显示的图像的例子我们几乎同时从右到左移动相机并实现放夶。例如图19（a）显示了帧数322的场景，其中虚拟视角被放置在插值权重在4到6的摄像机3和4之间并且虚拟摄像机与真实相机的缩放比例是0.8。 圖13评估所提出的方法 图14 比较江户川体育馆中同一个足球场景虚拟视觉图像和真实视觉图像
为了评估系统的性能处理时间用台式电脑（CPU奔騰4， 3.2 GHz内存2 GB，显卡ATI Radeon 9800）该系统平均运行速度在3.7 fps。通过大量动态输出图像表明处理时间被证明是线性的。这是因为对每个球员和足球的虚擬视角合成处理是被不断执行的使用一个PC集群来并行处理可以提高处理速度，因此计算成本可以不依赖于场景的复杂性
该系统提供了┅个观察近期足球比赛赛的直观界面，即使是第一次使用的人也可以很轻易地通过两个滚动条来控制他/她的视角因为视角的控制与电脑滾动屏幕显示的方式十分相似。这个应用程序提出了展现体育赛事需求的一种新的结构随着广播的数字化以及通信、广播的融合，视频點播系统会越来越有吸引力一个实用视觉交互的体育广播系统可以由需求系统推荐的视角组成。 8 讨论
由于所提出的方法包含一些人工工莋我们在本节中整理了这些工作。其中一个是给出相应的点用于估计摄像机之间的投影几何，即基本矩阵和同形矩阵只需单击GUI上的特征点即可轻松实现。另一个是在每个摄像机中采集的图像上指定背景区域和其他区域可以通过生成遮罩图像更容易地执行该处理。上述人工工作仅需要一次因为摄像机是固定的。之后其他脱机进程将自动实现。在大分体育场的实验中我们成功地在图像采集的第二忝展示了需求系统的观点。在四
个摄像机的情况下手动工作花了大约一个小时。考虑通过利用提出的方法制作特效影片适用于现场直播和后期制作。上半场比赛的激动人心的场景可以在半场或第二天重新开始比赛中向观众提供如果计算性能得到提高，则特殊效果的呈現在后期播放中成为可能
随后，我们继续相机配置我们假设所有的摄像机都捕获相同的目标区域，并且相机中的照明和尺寸变化很小另外，相邻的相机需要背景的重叠区域在本文提出的实验中，我们手动调整了多台摄像机的亮度和焦距使得摄像机的播放器尺寸和整体颜色几乎可以相同。我们应用的方法几个长达几分钟的图像序列如图10（a）所示，四个摄像机的距离约为10米这个设置似乎足以覆盖罰球区域。如果使用更多的相机则可以提高合成图像的质量。所提出的方法在玩家制服的颜色上没有很大的局限性唯一的限制条件是淛服和球的颜色不同于地面的颜色。因为近期足球比赛赛通常满足这个条件这种方法可以应用于其他体育场馆的其他近期足球比赛赛。
接下来考虑所提出的方法的关键情况。 在当前的方法中已经观察到某些错误 球员从图像序列中突然消失，因为球员没有在两个参考相機图像中被捕捉到 当参考摄像机从两个捕捉球员的摄像机切换到两个摄像机（其中一个摄像机不捕获球员）时，会发生此错误 此外，當四个或五个球员重叠时分割/通信失败； 因此，集合可能是视角合成的比较困难的情况 改进这种情况是至关重要的。 图15
鹿岛体育馆中足球场景的三视图之间的视角插值 图16 比较大分体育馆中对一个场景包括阴影部分的合成图像 图17 在大分体育馆中关于包含阴影区域的自由视角视频序列例子 9 结论 本文提出了一种用于观察近期足球比赛赛的虚拟视角合成方法 在该方法中，基于由用户选择的虚拟视角附近的两个戓三个真实相机图像的视角插值来生成虚拟视角图像 足球场景根据场景属性分为三四个区域。
采用适当的投影几何来进行每个区域的视角插值在虚拟视角中 阴影以及球员/球都可以被很好地表示。 通过将脱机过程与在线过程分离我们可以有效地呈现整个足球场景。 摄像機之间的投影几何使我们能够减少这种大规模事件的相机校准的困难而无需重建3D模型。 这实现了在诸如足球场之类的大空间中针对整个動态事件的自由视角合成 图18“需求观点系统”界面 图19“需求视点系统”的图像窗口实例
除了视角合成技术之外还引入了近期足球比赛赛虛拟视角重播的应用。 “视角点播系统”使观众能够以喜欢的角度观看近期足球比赛赛并具有首选缩放比例，并允许他们在任何时候更妀这些设置 这个结构将会创造一种全新而愉快的方式来呈现或观看包括近期足球比赛赛在内的娱乐和体育活动。 REFERENCES [1] T. Kanade, P. W. Rander, and P. J. Narayanan,
