前言

虚实融合技术旨在将虚拟世界中的数字信息与现实世界中的物理环境相互融合，以实现对现实世界的信息增强与扩充，是元宇宙、增强现实、混合现实、扩展现实等领域的共性关键技术。借助于计算机图形图像处理、计算机视觉、认知科学等理论与技术，虚实融合技术可实现虚拟物体与现实环境的自动注册与融合，营造出虚拟世界与真实环境共享同一空间的沉浸式体验，使科幻片中的场景成为可能。在现实生活中，外科医生借助虚实融合的手术导航指引，显著提高了手术的精准性和安全性； 各大博物馆纷纷推出了增强现实讲解应用，帮助游客更为生动、形象地了解每件藏品背后所蕴藏的故事和文化； 利用虚实融合技术制作出的绚丽的舞台效果通过电视屏幕呈现在千家万户面前。可以看到，虚实融合技术已经走入人们的现实生活，并影响着现代社会。

虚实融合的终极目标是使虚拟景物与真实场景之间的融合毫无破绽。为了实现这一目标，虚实融合系统需要满足几何一致性、光影一致性和交互一致性。其中，几何一致性指虚拟物体与真实场景必须具有一致的几何关系，包括与真实相机一致的位置姿态、协调的透视效果、正确的几何遮挡等，虚拟物体注册与相机跟踪等技术是解决几何一致性的主要手段； 光影一致性则需要保证虚拟物体与真实场景共享同一个光影环境，这要求虚拟物体的外观应与它们所处的真实场景一致，例如，虚拟物体应与真实环境具有协调的亮度与颜色，同时还需要正确模拟虚、实场景之间的阴影投射效果及其他观影效果，为了模拟上述效果，需要通过光照计算和阴影计算技术对真实场景的光影环境进行建模，其中光照计算技术主要用于恢复场景的光照分布，阴影计算技术则主要解决真实阴影检测与去除，以及虚实阴影相互投射与融合等问题； 交互一致性则要求虚实物体间的交互必须符合客观规律，接受现实环境的约束。

我国对于虚实融合技术的研究始于20世纪90年代末。2009—2013年，浙江大学CAD&CG国家重点实验室承担的“混合现实的理论与方法”研究课题获得国家重点基础研究计划（973计划）立项资助，重点对混合现实的基础理论与方法展开研究。虚实融合技术是这个项目的关键研究问题之一。本书作者在浙江大学攻读硕士和博士学位时有幸参与了这个项目，重点研究虚实融合中的光影一致性问题，先后提出了若干真实场景的光影环境重建方法。参加工作后又得到四川省重点研发计划“沉浸式文化旅游体验关键技术研发及应用示范”的资助，进一步在该领域开展了深入、系统的研究，提出了虚实阴影交互及更为复杂的光影效果的模拟方法等，形成了光影计算理论与技术，所获成果发表在IEEE TVCG、IEEE MM、CGF、ACM MM等重要学术期刊和会议上。

当前，学术研究对虚实融合的三个一致性大多集中于几何一致性研究。因为相机跟踪等技术较为成熟，所以常用的增强现实软件平台(如苹果ARKit、谷歌ARCore等)均配备了较为稳定的相机定位跟踪及地图构建功能。但是在光影一致性方面，仅有少数平台具有简单的光照计算功能，大多数平台并不具备任何光照处理功能。随着虚实融合的应用日益深入，人们对融合的外观品质的要求越来越高，虚实融合中的光影分析和处理日益重要。但迄今为止，鲜有虚实融合光影一致性分析与处理的专业书籍出版，影响了虚实融合沉浸式技术的发展，限制了虚实融合技术在多行业多场景的落地应用。本书围绕高真实感虚实融合中的光影计算这一主题，结合作者过去十余年的研究成果和国内外前沿进展，根据虚实融合技术的核心研究内容撰写而成。书中汇集了虚实融合光影计算的前沿核心算法，不仅介绍了相关技术的基本概念和算法，还较为详细地阐述了虚实融合关键技术的算法原理和实现，为广大从事增强现实、扩展现实、元宇宙技术与系统开发的研发人员提供了重要技术参考。

本书共7章。第1章为虚实融合概述，带领读者认识虚实融合的一致性条件、虚实融合的基本流程及虚实融合与增强现实/混合现实/扩展现实/元宇宙等研究的关系，并对虚实融合的主要应用领域进行了阐述； 第2章针对虚实融合中的光影一致性问题，介绍光影计算的相关工作，包括自然场景的光影特点分析、光照计算的概念与流程、光照计算的已有方法； 第3章对室内场景的光照计算方法进行细化讲解，包括空间变化的单幅图像室内光照自动重建方法、室内场景动态光照的在线采集与计算方法及基于光照变化预测的深度室内动态光照计算方法； 第4章重点说明室外场景的光照计算方法，包括基于交互的室外场景光照计算、基于统计学习的室外场景实时光照计算、基于基图像分解的室外场景实时光照计算、无阴影的室外场景实时光照计算、基于完备天空光模型/球面调和函数的实时光照计算及移动视点下基于特征点跟踪的实时光照计算； 第5章介绍本征图像分解与图像重光照技术，详细阐述两种本征图像分解技术、一种针对室外场景的重光照方法和一种针对人脸图像的光照归一化技术； 第6章讲解室外场景的阴影检测与阴影去除技术，以便为后续虚实阴影的交互模拟奠定基础，具体内容包括两种对于单幅图像的阴影检测方法、一种基于边缘跟踪的在线视频阴影检测技术和针对单幅图像的阴影去除方法； 第7章阐述室外场景虚实景物的阴影相互投射与融合方法，包括虚拟景物在真实景物表面的阴影投射方法和两种分别基于阴影体和阴影纹理来实现虚实阴影交互的方法。

全书由刘艳丽、邢冠宇和袁霞定稿。刘艳丽制定编写大纲并撰写了第1～4章的大部分内容，邢冠宇和袁霞合作撰写了第5～7章的内容，袁霞还参与了第3章部分内容的撰写工作。魏后胜、张琦、杨雨泓、郭子昊、王振、刘桐源、邱汇迪、吴沂桓、汪志恒、张林成、李宏等研究生参与了材料的整理工作。

由于作者水平有限，书中疏漏之处在所难免，敬请读者批评指正。

作者2025年5月