计算机研究与发展
JOURNAL OF COMPUTER RESEARCH AND DEVELOPMENT
1999年　第36卷　第11期　Vol.36　No.11　1999



VR环境图像生成中几项关键技术研究
于洪川　吴福朝　阮宗才　韦　穗
摘　要：文中讨论了基于图像的VR环境图像生成中，未标定旋转图像序列的插补、整合及全景图的生成3项关键技术问题，并给出插补、整合及全景图生成方法.所给方法有以下优点：插补和整合图像是源图像对应的摄像机在新视点下的视图，这保证了插补和整合图像的真实性；控制参数α变化，可得到所需视点方向的插补与整合图像，即可以控制视点方向；在此基础上开发的切点累积全景图生成技术克服了传统方法中技术缺陷，实用性强；此外，所给方法不需要事先标定摄像机.实验表明该方法处理简单，效果理想.
关键词：匹配矩阵，图像插补，图像整合，全景图生成
中图法分类号：TP391
THE STUDY OF SEVERAL KEY TECHNIQUES IN
BUILDING VR VISUAL FIELD
YU Hong-Chuan, WU Fu-Chao, RUAN Zong-Cai, and WEI Sui
(Institute of Artificial Intelligence, Anhui University, Hefei 230039)
Abstract　In this paper, three key techniques are discussed in building VR visual field based on real images. They are interpolation, registration, and panorama of uncalibrated rotating image sequence. The merits of their implemented methods include the following, (1)The interpolated (registration) image accords with perspective geometry. This one ensures that the interpolated (registration) image is real; (2)When the coefficient(α) is changed, the inter polated (registration) images corresponding to different views can be obtained. It means that the view direction can be controlled;(3)The tac-point cumulation method of panoramic images overcomes some drawbacks in the previous methods; (4) The camera needn't be calibrated. The experiment indicates that the effect is very ideal. 
Key words　matched matrix, image interpolation, image registrati on, panoramic images
1　引　言
　　基于真实图像的VR环境生成技术的研究，是目前VR技术研究中最为活跃的研究课题之一.与 传统计算机图形学中重构场景的根本区别在于：它不依赖于几何模型，而是利用事先获取的一组图像序列，对环境进行编码，并通过适当地变换这些图像生成位于不同视点的新视图，最终实现环境的完全漫游.其最礧优点在于，生成的环境是这组图像所反映的客观真实场景.它涉及到下述3个基本问题：
　　(1) 给定某一真实场景的两个不同视点下的场景图像，如何生成这两个视点间新的场景图像，即图像插补问题；
　　(2) 给定某个真实场景的一组局部图像，如何生成包含这组局部图像的新视图，即图像整合 问题；
　　(3) 如何将多幅实景图像拼接成全景图.
　　对于第1个基本问题，目前大多使用Image Morphing技术，所有的方法都是基于源图像间的 像素位置和颜色的内插，所生成图像的真实性没有判断标准.一个自然的真实性标准应是：所获得插补图像是否是同一场景或物体在某个新视点下的像.研究表明：现行的Image Morphing技术不能保证这一点，即使是2D场景也不行.Seitz等人［1］提出的View Morphing技术能保证插补图像的真实性，但事先需已知摄像机内外参数或已知场景的深度信息.如何从未标定图像序列中插补出所需视图则是我们研究重点.在文献［2］中我们提出一种与视点对应的未标定图像序列视图插补技术，这种技术能够保证插补图像是某一摄像机在某一新视点下的视图，即物理可实现，因而克服了View Morphing技术的缺陷.但如何获得与当前摄像机对应的插补图像，如何得知与插补图像对应的视点的方位及姿态(方向)，这些仍有待进一步研究.本文仅针对未标定旋转图像序列提出一种与当前摄像机在某一确定姿态下对应的视图插补技术.
　　对于第2个基本问题，其核心是寻找一个变换，使图像间相重叠的部分对准，并“缝合” 成一个新的更大视场范围的视图.这就涉及到图像间匹配部分的对应关系和实现对应部分对准所需的变换.目前大多使用的技术所获得的整合图像难以保证透视关系.本文讨论由摄像机旋转运动产生图像序列的像整合问题，所给方法有以下优点：整合图像仍满足透视几何关系，这保证了整合图像的真实性；整合参数的变化，对应于在不同视点下的整合，即可得到不同视点下的整合图像；此外，该方法不需要事先标定摄像机.
　　对于第3个基本问题，目前全景图基本可分为柱面、球面、立方体等形式，以柱面全景图最 易实现而普遍采用［4,5］.传统的构造全景图方法是，要先确定相邻图像重叠范围，去掉重叠，接缝处经“缝合处理”，再拼接成360°柱面全景图［4］.由于重叠范围确定困难，接缝处“缝合处理”复杂且真实感差，拼接全景图时要求摄像机预先标定等技术原因，一幅较理想的全景图构成十分困难.近年来这方面的研究较多，尤以McMillan［6］ ，Szeliski［7］等人工作最为突出.他们都是依据简化的摄像机模型，通过图像序 列估计出焦距及摄像机姿态，完成对摄像机的标定，以此来生成全景图.这样做的直接后果 是处理复杂、计算累积误差较大，下文将作进一步分析.为克服了上述缺陷，本文提出切点 累积全景图生成技术.
2　旋转图像间的匹配矩阵
2.1　匹配矩阵定义
　　摄像机模型采用针孔模型.令摄像机先摄取的图像为I1，旋转运动后摄取的图像为I2，可分为两个部分Ii1与Ii2，I11(I21)为I2(I1)非重叠部分，Ii2为运动前后公共视场部分 (如图1所示).


图1　旋转图像间的投影关系(箭头表示光轴方向)
　　在齐次坐标系下，设旋转矩阵为R，并令P1=(u1,v1,w1)∈I1,P2=(u2,v2,w2)∈I2为空间点X在像平面I1,I2上投影点，则
p1=KX, p2=KRX 
其中，K为摄像机内参数阵(通常有5个参数)，有
　　　　　　p2=KRK-1p1　　　　(1)
令M=KRK-1=(mij)3×3，则称M为I1到I2的匹配矩阵.直角坐标系下，匹配矩阵M在相差一常数因子时是唯一确定的.不难看出只有预先已知摄像机内参数阵K，才可采用三参数算法［7］求解M.摄像机未标定时，通常采用八参数算法［8,9］.
2.2　匹配矩阵的求解
　　通过两幅图像I1,I2之间的N(≥4)对匹配点，应用八参数算法可以确定匹配矩阵M初值.
　　(1) 求初值m
　　令(xi1,yi1)∈I1，(xi2,yi2)∈I2为一对匹配点，i=1,2,…,N，由式 (1)每一对匹配点可以得到两个线性方程：　　
(xi1,yi1,1,0,0,0,-xi1xi2,-yi1xi2)m=xi2
(0,0,0,xi1,yi1,1,-xi1yi2,-yi1xi2)m=yi2
其中，m=(m11,m12,m13,m21,m22,m23,m31,m32)T
于是我们可得到2N个关于参数(m11,m12,m13,m21,m22,m23,m31,m32)的方程.写成矩阵形式：
Am=b
方阵ATA的最小特征值所对应的特征向量，即为m的最小二乘解［10］.
　　(2) 求精m
　　由最小二乘法所求的m是下述意义
min‖Am-b‖
下的解，因此将(xi1,yi1)代入式(1)所得的与其匹 配点(xi2,yi2)仍有一定的误差.
　　下面我们给出的求精算法，使误差达到最小.令

显然求精m，就是求一具体的m*使
G(m*)=minG(m)
这是非线性最小问题，可以利用Levenberg-Marquardt算法［10］来求解.该算法已成为求解该类问题的标准方法. Szeliski提出的三参数算法中，则采用逆Hessian矩阵方法求解3个参数.而Levenberg-Marquardt算法是在逆Hessian矩阵方法的极限和最 速下降法之间作平滑调和，即后一方法在远离最小值时运用，当接近最小值时则逐渐切换到 前一方法.从算法本质来看，它们都无法克服对初始值选取敏感，不能保证收敛到全局最优解等先天缺陷，且收敛速度无明显区别.而初始值选取则依赖于摄像机是否严格绕光心旋转，匹配点选择是否精确等因素.通常初始值误差在一定范围内，利用求精算法，可以匹配点的误差控制在0.1个像素范围之内.初始值误差较大时，则必须事先校正匹配点. 三参数算法较八参数算法突出特点是，待定参数少，但它依赖于对摄像机内参数阵的估计精度.
　　McMillan［6］试图通过柱面极几何约束实现匹配点自动匹配.而极几何约束核心基础 矩阵(或本质矩阵)对误差过分敏感，导致匹配结果无法实用.目前这方面研究还仅局限于匹 配点错误匹配时如何校正，而对于匹配点匹配精度控制研究刚刚起步，还没有一个理论框架 .
3　旋转图像序列视图插补
3.1　通过旋转图像I1,I2插补视图Iα
　　如图1所示，摄像机绕光心旋转前后所获两幅图像为I1,I2，二者间的匹配矩阵 M=KRK-1，M与R有相同的特征值1，e±iθ, R是旋转矩阵，θ为旋转角.为了对M作进一步分解，先引述以下引理，该引理在文献［11］中已得到严格证明 .
　　引理. 设ti(i=1,2,3)为T的第i列向 量，则T为MT=TRz(θ)的非奇异解f=t1+it2,=t1-it2,分别为M的特征值e-iθ, eiθ,1的特征向量.其中：

　　根据该引理摄像机关于光心绕任意轴旋转所获两幅图像间的匹配矩阵，均可唯一分解为 M=TRz(θ)T-1，由此不难构 造出旋转角变为αθ时所对应的匹配矩阵：
　　　　M(α)=TRz(αθ)T-1　　　(2)
M(α)有下述性质：
　　① M(0)=I，I为单位矩阵；
　　② M(1)=M；
　　③ M(α)M(β)=M(α+β).
　　至此，由两幅源图像不难内插出，同一摄像机旋转过程中任意旋转角所对应的插补图像Iα.定义插补图像Iα中匹配点Pα的齐次坐标为
　　　　　　(3)
其中：0≤α≤1，称为插补参数.
　　显然p1∈I1与p2∈I2为一对匹配点时
M(α)(u1,v1,w1)T=M-1(1-α)(u2,v2,w2)T
　　不难看出，Iα对应的摄像机投影矩阵为Π=KR(αθ)，即 同一摄像机旋转至αθ角所获视图就是插补图像Iα.
　　为了式(3)实用化，将其表达为下述直角坐标形式：

其中：

这里，(mij(α))3×3=M(α),(mij(1-α))3×3=M-1(1-α).
　　摄像机未标定时，通过匹配矩阵分解仅能确定两幅图像间的旋转角，而无法确定旋转轴.插 补图像仅是旋转视点在旋转轴不变时旋转到某一旋转角下所对应的视图.当摄像机标定后，内参数阵K已知，式(2)可进一步分解为
R=K-1MK=K-1TRzT-1K
则特征值1所对应的特征矢量n=K-1t3 即为旋转轴方向矢量，通常内参数阵是难以获得的.本文主要讨论摄像机未标定情 形. Szeliski三参数算法迭代求解的3个参数即为旋转轴方向矢量，而内参数阵则采用 简化形式以便于预先对其估计.
　　无论Szeliski三参数算法还是McMillan投影校正方法，都是在焦距预先估计后，迭代校正外参数，因此焦距估值直接影响匹配矩阵M精度.仅通过源图像序列，难 以获得焦距精确估计值，且误差较大，代入校正的外参数，误差必然被累积放大，所获得的 匹配矩阵精度难以控制.本文提出的匹配矩阵分解法，仅从原始的匹配矩阵M出发，不做任何近似和估计，将旋转变化约束为一个可变因子并加以控制，所引入的误差 仅是计算误差不会被累积放大，所获得的匹配矩阵精度可以有效控制，鲁棒性强.
3.2　几何解释
　　当插补参数α=0时，I1不变，I2中I21的部分被投影到I′1，此时插补图像 Iα=0=I1∪I′1的摄像机投影矩阵为Π=K，与 I1相同，见图2.


图2　插补参数α=0时
　　当α=1时，I2不变，I1中I11的部分被投影到I′2，此时插补图像Iα=1=I2∪I′2的摄像机投影矩阵为Π=KR(θ)，与I2相同 ，见图3.


图3　插补参数α=1时
　　当0＜α＜1时，I1与I2的公共视场部分I12与I22，被投影到I(1,2)α，I11被投影到I(1)α，I21被投影到I(2)α，此时插补图像Iα=I(1)α∪I(1,2)α∪I(2)α的摄像机投影矩阵为Π=KR(αθ)，见图4.


图4　插补参数0＜α＜1时
　　插补参数α取不同值，图像Iα对应于同一摄像机不同旋转角下的视图.
　　Seitz提出的View Morphing技术为实现摄像机平移运动视图插补，需要对非平行视图预先校正.本文提出的方法仅限于旋转图像序列插补，无须预先校正视图.此外，无须标定摄像机.
3.3　生成图像像素颜色
　　令(xα,yα)∈Iα，按下述公式确定其颜色：
(4)
其中：c(x, y)表示点(x, y)的颜色.精确匹配时，插补点应满足所给颜色公式(4)，如有误差是因摄像机未绕光心旋转，及光照条件改变所致；光照条件改变会导致插补图像颜色变化不连续，为确保颜色变化连续，可采用淡入淡出法来处理插补图像；摄像机未绕光心旋转所引入的误差通常会导致插补图像重影(模糊)，只要误差不大，与最近邻域法相类似采用由插补图像反演到源图像方法可有效克服图像重影，并能确定插补图像重叠范围，为颜色值淡入淡出处理提供依据.
4　图像序列的整合
4.1　将旋转图像序列整合为图像Iα
　　将任意两张相邻旋转图像整合，其处理方法与第3节中视图插补技术相同.而对于旋转图像序列整合则需作以下变换.
　　令任意两张相邻旋转图像间匹配矩阵Mi=KRiK-1, Ri为图像Ii相对于Ii-1的旋转矩阵，有
p1=M1p0
p2=M2p1
……
pi=Mipi-1
由此不难推出旋转图像Ii与I0间匹配矩阵所对应的旋转矩阵旋转角θ(i)=∑ik=0θk，仿照式(2)匹配矩阵也有类似分解
M(i)(α)=TR(i)z(αθ(i))T-1
这里，α被称为整合参数，0≤α≤1.同样有类似的整合公式

上述整合公式仅是首尾两幅图像被整合在同一视点下的变换关系，中间图像序列整合与之类似，匹配关系可递推导出.
　　令：整合视点相对于初始图像I0所旋转角度为βi=αθ(i)，首尾图像整合后，旋转图像Ii-1和I1整合时，βi与θ(i)应作适当调整，即βi-1=βi-θi，θ(i)=θ(i)-θ1-θi，则整合参数调整为

匹配矩阵也应调整为由此不难导出n幅旋转图像序列整合公式
(5)
整合图像Iα所对应的摄像机投影矩阵Π=KR(αθ(n)).
4.2　几何解释
　　图像整合的几何意义与上节视图插补的几何解释相类似.图5表示3幅图像整合关系.可以看到图像I0,I1,In中非重叠部分被分别整合到I(0)α,I(1)α,I(n)α,重叠部分I02与I11被整合到I(0,1)α，I12与In1被整合到I(1,n)α，此时整合图像Iα=I(0)α∪I(0,1)α∪I(1)α∪I(1,n)α∪I(n)α. 整合参数α取不同值，图像Iα是同一摄像机对应于不同旋转视点下的整合图像.


图5　图像整合的几何意义
　　单从两幅源图像无法获得绕不同轴旋转的插补图像，必须增加另一幅绕不同轴旋转的源图像，仿照式(5)将相邻两幅图像对逐一处理(串型处理)，可获得绕不同轴旋转的插补图像.
5　全景图生成
　　全景视图(panoramic images)是一种利用实景图像组成全景空间的技术，以柱面全景图最易实现而普遍采用. Apple Inc公司推出的Quicktime VR系统［4］，是通过全景图上开窗口实时生成用户所要观察的虚拟环境，经不同全景图间的切换来实现在虚拟环境中的漫游，使用户能主动地从不同视点和方向了解环境.全景图生成方法很多，但普遍存在相邻图像重叠范围确定困难，接缝处“缝合处理”复杂且真实感差，拼接全景图时要求摄像机预先标定等缺陷，McMillan和Szeliski都未能避免这些问题.而本文所提出的切点累积全景图生成技术则有效地克服了上述缺陷，并获得满意效果.
　　如图6所示投影柱面俯视图，图像I投影到柱面时，除切点C不改变外，其它线段则投影到弧A′C，CB′，发生变形，保留弧A′C,CB′必然会带来相邻图像间重叠范围确定，接缝处“缝合处理”等问题.因此若生成360°所有旋转视点下的像，并将其切点累积，则可避免上述问题并生成所需的全景图.第3节中提出的旋转图像序列视图插补技术，可插补出相邻两幅图像间所有旋转角度对应的视图，因此逐一将旋转图像序列中每相邻图像对间所有旋转角视图插补出来，并累积保留切点，即可获得全景图.需要注意的是插补参数(变化步长决定了“切点”部分宽窄，应根据图像横向分辨率而定.)


图6　投影柱面俯视图
6　实验结果
　　运用本文提出的视图插补技术实验，由于误差会造成重叠区域插补图像模糊和色彩过渡不连续等问题.通常误差较小时，通过图像反演和色彩值淡入淡出处理可获得较为满意的效果.
　　图7(a),(b),(c)分别为摄像机关于光心绕同一轴旋转所获图像序列，图7(d)是这3幅图像在同一视点下的整合图像.整合参数 α=0，即图7(a)所对应的视点下的整合.从图7(d)可以看出整合的结果是非常理想的.



图7　绕同一轴旋转图像序列的整合.(a)，(b)，(c)是源图像，(d)是整合图像，整合参数α=0
　　图8中(a),(b),(c),(d)分别为摄像机关于光心绕不同轴旋转所获图像，(e),(f)是这4幅图像在同一视点下的整合图像.整合图像对应于源图8(a),(d)间α=0.5处视点.


　　
图8　绕不同轴旋转图像序列的整合.(a),(b),(c),(d)是源图像，(e),(f)是整合图像，整合参数α=0.5
　　图9是通过10幅旋转图像序列生成的全景图.可以看到没有接缝痕迹，效果理想.由于全景图过于细长，人为显示拉宽后纵横比有些失调.


图9　切点累积法生成的柱面全景图
7　结束语
　　本文较圆满地解决基于图像的VR环境生成中，视图的插补、整合及全景图的生成3项关键技术问题.所给方法有以下优点：插补和整合图像是源图像对应的摄像机在新视点下的视图，即插补和整合图像满足摄像机透视几何关系，这保证了插补和整合图像的真实性；控制参数α的变化，即可得到视点相对方向确定的插补与整合图像；在此基础上开发的切点累积全景图生成技术克服了传统方法中技术缺陷，实用性强；此外，所给方法不需要事先知道摄像机的内、外参数.实验也表明处理简单，效果理想.因此本文所提出的方法在虚拟现实环境生成、图像计算等领域中必将具有非常广泛的应用价值.如何实现全景图对间的插补则是实现虚拟现实环境漫游的关键，这也是我们下一步研究的重点.
*本课题得到国家自然科学 基金(项目编号69875001)资助.于洪川，男，1969年6月生，博士研究生，主要研究方向为计算机视觉、虚拟现实技术.
作者简介：吴福朝，男，1957年10月生， 教授，主要研究方向为计算机视觉、神经网络等.
　　　　　阮宗才，男，1970年 5月生，博士研究生，主要研究方向为计算机视觉、虚拟现实技术等.
　　　　　韦穗，女，1946年2月生，教授，博士生导师，主要研究方向为计算机视觉、虚拟现实技术、图像处理等.
作者单位：安徽大学人工智能研究所　合肥　230039
参考文献
1　Seitz S M, Dyer R. View morphing. In: Proc of ACM SIGGRAPH96, New Orleans, 1996. 21～30
2　Yuan Bo, Wu Fuchao, Yu Hongchuan, Wei Sui. Image interpolation correspondence with viewpoint. In: Proc of Int Symposium on Multispectral Image Processing, SPIE Vol 3545, Wuhan, 304～308
3　Werner T, Hersch R D, Hlavac V. Rendering real-world objects using view interpolation. In: Proc of ACM 15th Int Conf on Computer Vision, 1995(ICCV). 957～962
4　Chen S E. Quicktime VR: An image-based approach to virtual environment navigation. In: Proc of ACM SIGGRAPH95, Los Angeles, 1995. 29～38
5　http://www.bdiamon.com
6　McMillan L,Bishop G.Plenoptic modeling:An image-based rendering system.In:Proc of ACM SIGGRAPH95,1995,Los Angeles.39～46
7　Szeliski R, Shum H Y. Creating full view panoramic image mosaics and environment maps. In: Proc of ACM SIGGRAPH97, Los Angeles, 1997
8　Irani M, Anandan P, Hsu S.Mosaic based representations of video sequences and their applications. In:Proc 5th ICCV95. 1995.605～611
9　Szeliski R. Video mosaics for virtual environments. IEEE Trans Computer Graphics and Applications, 1996, 16(2): 22～30
10　Press W H, Teukolsky S A et al. Numerical Recipes in C: The Art of Scientific Computing(2nd Edition). Cambridge University Press, 1992
11　吴福朝,于洪川等. 摄像机自标定—理论与算法. 自动化学报, 1999, 25(6)
　　(Wu Fuchao,Yu Hongchuan et al.Camera Self-Calibration—Theory and Algorithms.Acta Automatica Sinica(in Chinese),1999,25(6)
原稿收到日期：1999-03-17；修改稿收到日期：1999-06-21.
