VR环境之高级户外摄影与大场景建模
本文翻译自 Valve 开发者社区Advanced_Outdoors_Photogrammetry一文，原作者为Harborough Rocks, Derbyshire, UK作者、Valve 员工Cargo Cult，本文翻译由梓喵出没博客独立完成。
引言
目前大部分摄影测量教程的关注点都在单个物体上，而为数不多的关于大场景的教程通常都是室内等封闭区域。
本教程阐述了一个可行的工作流程，即数字化一个广阔的户外场景，使其在虚拟现实（VR）世界中拥有无尽的沉浸感——其内容包括更遥远的几何结构以及周围环绕的天空穹顶。尽管这篇教程面向高级用户（用户具有摄影、三维建模、纹理编辑等专业能力），但对于普通人来说，本教程仍可以帮助他们捕捉真实世界。
本教程简单介绍了 SteamVR Home 中的摄影测量内容，对于全面的 VR 摄影测量学概念，我建议阅读这些文章。
我使用一组规模较小的照片集进行演示，这些照片是我在英国过圣诞节时拍摄的。当时正处于暴风雨的间隙中，我趁着为数不多的晴朗天气出去遛狗，顺便拍下了这组照片。
本工作流内容包含制作高细节的近景几何数据；低细节的中距离几何体数据；以及由投影照片制作的天空盒（远景）。演示照片的拍摄地是铁路旁的一个后工业地区，它虽然不是一个风景如画的旅游景点，但整个数字化过程与 SteamVR Home 中的火星、英国教堂等场景是相同的。
虽然本场景制作过程中涉及很多特定软件，但大部分想法和建议都是通用的，即使使用不同软件，这些东西也能派上用场。你可以试验一下，找到最适合你的工作方式。
拍摄照片与后期
我使用佳能 EOS 7D 搭配 EF-S 10-22mm 镜头拍摄，拍摄时镜头焦距为 10mm 广角端。相机设定为手动曝光，参数为 f/8,1/60s,iso 100。手动曝光是为了保证拍摄的照片具有一致的光照信息。照片保存格式为 RAW，以提供最优的后期处理能力。
在导出图片前，我们需要对图片进行一些后期处理，大部分基础的后处理使用 Lightroom 就可以完成。我做的后期处理包括调整合适的白平衡、调整阴影和高亮、修正色相差与镜头暗角。注意，所有照片应该使用相同的后期处理参数（以保证图像一致）。
8bit TIFF 图像可以直接使用，但由于传输网络的要求，我使用小尺寸的照片文件（转换成了 jpeg）。
近景
在 Reality Capture 中重建三维信息
我使用 Reality Capture 来生成高精度的前景 mesh，尽管软件的部分功能还在开发中，但它已经足够从照片中提取精细的几何细节了！我做了一个相机对齐，然后设置重建区域为相机位置附近所有区域。我做了一个普通精度的细节重建来测试之前的参数，然后进行高细节重建。重建完成后，整个重建模型大约有 7900 万个三角面，对于 VR 来说，这些面数太多了，可能无法正常渲染。同时我还做了一个Colorize(软件内功能，彩色重建）来生成顶点颜色，这是为了执行快速渲染来测试某些参数。
之后，我使用“Simplify Tool”工具对 mesh 减面，最终将模型面数减小到 175 万三角面。对于 VR 来说，300 万面是一个合理的最大值，而当前这个场景有限的大小及并不复杂的特点使我不需要那么多面。之后我使用Unwrap工具展 UV——本例中只有一个纹理贴图（不适合最终渲染，更适合效果展示），生成贴图后，我将它们分别导出为 OBJ 文件(模型)与 PNG 文件(贴图)。
两个小提示：
- 用旧版 Reality Capture 展 UV 时请确保之前没有已经存在的 UV 信息，不然替换时会出现问题，而新版软件修复了这个 bug。最大纹理数这个值作用不太大，最终纹理数的值有可能远小于该值。要在几何插值过程中获取足够的纹理信息，请确保
Large triangle removal threshold设置的尽量高，我一般将这个值设置为 95 。 - 对于对比度特别大的场景（例如阴影接近纯黑高光接近纯白），可以在展开设置中增加
Gutter size值来增加 UV 间隔，以减少因为 mip-map 导致的远距离贴图纹理交错现象。纹理交错可能产生奇怪的微弱闪光线或者阴影区的不明高光点。对于本例，我使用 8 像素的间隔。
在 MeshLab 中修复破面
从 Reality Capture 中导出的 Mesh 可能包含破洞、破面等，他们可能是几个小三角形，也有可能是肉眼可见的一整片区域。相对于手动修复来说，我更倾向于使用免费开源的MeshLab软件来自动修复，这款软件在处理超多多边形网格时非常好用。
我使用了这些过滤器（调整器）：Remeshing、Simplification以及Reconstruction : Close Holes，所有参数均为默认。
修补破面后，我将它重新保存为 OBJ 文件并使用 Modo 打开（你也可以使用其他 3d 模型编辑软件）。
在 3d 软件中清理 mesh
由于 Reality Capture 和 Modo（作者使用的 3d 软件）对于上方向的轴定义不同，我首先在 Modo 中调整了轴向。
RC 的 mesh 通常是封闭的，也就是说分割的每个 mesh 都是一个完整且具有体积的集合体。在 VR 场景渲染中，我们并不需要侧面和底下的面，因此最初的清理工作是删掉这些面。
我一直在努力删除不必要的几何图形，并填充MeshLab未修复的偶尔可见的破面及坑洞，至于不可见的部分我们无需处理，之后我们将 OBJ 倒回到 RC 中。
由于 RC 对于导入的 OBJ 文件有很苛刻的条件，因此我重置了定位器上的旋转，从Modo的“列表”选项卡中删除了网格的 UV 和曲面法线，将所有面的材质绑定为单个材质，并将平滑角度设置为180°，然后将模型导出为新的 OBJ 文件 。（最新版 RC 似乎修复了大多数 OBJ 文件导入问题，网格 UV 和平滑角度等不再需要特意调整）
导入到 RC 后，我再次使用Unwrap工具（最大纹理设置为 10）重新生成纹理，然后再次导出网格。我在 Modo 与 RC 间导入导出过多次，直到近景的几何形状与纹理让我满意为止。
中景
使用 PhotoScan 重建三维信息
对于 VR 中完整的场景来说，提高沉浸感的关键是让场景完全包围玩家——不管是几何体还是远处的贴图天空盒。对于某些场景，仅仅使用近景几何体和一个天空和就够了，而对于其他场景，中等距离上的低精度低细节的几何体也是不可缺少的。一个 alpha 通道可以让中等距离的几何体贴图混合到天空盒中，这样用户就很难看出模型与天空盒的交界（提高沉浸感）。
中景的处理阶段我使用Agisoft PhotoScan进行操作，因为在后面的过程中我需要根据相机的位置来创建天空盒纹理，而 PhotoScan 的工作流更有利于进行单摄像头纹理投影。
PhotoScan 的操作过程与 RC 操作差不多，我添加了 Lightroom 导出的所有照片，生成了稀疏点云（在执行相机优化之前，我删掉了一些错位和不明所以的点），之后生成了一个低细节密集点云。
低细节点云在天空和地面以下有许多不必要的点，因此在生成 mesh 前，我手动删掉了许多不必要的点。
提示：
- PhotoScan 中的
Dense Cloud :: Select Points by Color工具非常实用，尤其是当我们清理天空中的点时。调整一下参数（色调与饱和度加上淡蓝色），你就能删掉一大堆不需要的点。使用这个工具进行清理工作，结果非常整洁。
最终的结果可能是一团一团的混乱物体，非常奇怪。不要担心，这是正常的，因为我们的目的只是创建一些基本的几何体来进行纹理映射，从而得到远景的纹理比例和视差。之后我成生了一张纹理贴图（全新生成，重新展 UV 并使用一张 8k 贴图），之后将模型以 OBJ 形式导出，方便使用 Modo 编辑。这里要特别说明，纹理只是为了视觉展示，而不是要特地保留某些信息，因此我后面很快就丢弃了这些内容。
我删除了远处没有连接的区块，然后尽可能去掉（自动生成的）蓝天几何体信息。在天空和地面之间有一个三角形区域，我保留了它，以便接下来在天空盒贴图上使用 alpha 通道来制作一个漂亮的边缘过渡效果。
自动生成的工厂区网格细看非常糟糕，我其实可以创建一些简单的低多边形建筑（来替换它们），但我想展示的是，自动生成的远处几何体有多糟糕，当然，单摄像机纹理投影仍然有效。在这里我唯一增加的几何体是一个简单圆柱体，用来当作烟囱。玩家移动时，这个烟囱可以让玩家更有沉浸感。
合并几何体（mesh）
我们使用 RC 和 PhotoScan 生成了两个单独的网格，虽然它们描绘了一些相同的区域，并且使用相同的数据构建，但是它们的比例和旋转等都有很大的不同。高精度的近景 mesh 和低精度的中景 mesh 需要对齐，才能在 VR 中显得真实而不穿帮。我使用 3d 软件导入了近景网格，并仔细调整了比例、位置和旋转，直到它与中景的低细节几何体匹配。我删除了两者重叠的区域，并添加了一个微妙且没有间隙的过渡（即连接顶点等），二者连接的边界略微扭曲，但无伤大雅。
删除了多余天空和顶点的中距离网格显得非常干净，我将特别远的边缘部分向外略微移动，并使用一些平面填充孔洞。远处 UV 有一些重叠，我稍微调整了一下，增加了这些 UV 贴图所占的面积。
提示：
1. 注意重建网格中的“气泡”和空洞会导致UV密度过大或重叠等问题。删除有问题的部分并修补产生的孔，或者为这些部分单独展 UV。
2. 导出在 SteamVR Home 中使用的模型时，请确保所有指定材质的“面平滑”都为最大值，且没有额外的顶点法线设置。虽然不调整也可以正常导入 SteamVR Home，但处理它们可能需要更长的时间（而导致卡顿等）。
天空盒（天穹）
不可缺少的天穹形状
对于场景中物体布局，我有一个很好的想法。我打算创建一个天空穹顶来笼罩整个场景，并给这个天空穹顶贴上等比例的投影照片。
天空穹顶是一个围绕整个场景的简单球体，我切掉了球体底部约三分之一的 mesh，从而得到了一个比普通半球稍大的半球体。我将这个半球体的 UV 展到一个平面上，然后略微调整了 UV，使贴图产生了鱼眼效果，从边缘到中心，贴图一直向上延伸。不要着急，我们所需的图像数据会在后续步骤中生成。
由于我们使用的是无缝的圆形纹理，因此在编辑边缘时可能稍微有些别扭（地平线是弯曲的），但这种 UV 分法让编辑天空本身的过程变得简单。使用这种分法，我们很容易在 Photoshop 中用克隆和渐变工具填充天空缺失的部分。
提示：
1. 在导出为 OBJ 或 FBX 之前，我们最好将基于四边形的几何体转换为三角形，因为不同的软件可能对四边形三角切分有不同的处理过程。例如，将未做三角形转换的模型导入到 SteamVR Workshop 工具时，天空纹理中会出现轻微的波浪线。因此，在导出模型时，务必将其面转化为三角面，以保证在不同软件中几何体一致。
在 PhotoScan 中生成初始天空贴图
对于这个步骤，我已经做好了大部分准备工作：我给中距离模型分配了一个材质，而为天空穹顶分配了另一个材质；我还复制了前景模型的材质以及平面投影 UV，当然，它的意义只是为了防止摄像机将不需要的部分投射到远处的模型(azimiao.com)上。（另一个方法是使用之前预先存在的材质，但将废弃部分的 UV 压缩到一个不相关的小角落。或者，网格和材质可以保持原样，但是生成更多纹理时会有计算成本，而这些纹理是不必要的）
我重置了模型旋转，并删除了不不要的部分，之后将组合体网格导出为 OBJ，以便在 PhotoScan 中进行纹理处理。
我们的纹理虽然适合近距离的物体，但对于较远区域来说，这些纹理却显得模糊，阴暗，甚至重叠。因此，我们需要使用不同的技术来处理它们。
单摄像机投影
现在我有了一个很好的操作基础，我在 Modo 中重新分配纹理以便使用新生成的纹理，同时我将场景（天空盒、中距离几何体和前景几何体）导出到一个 FBX 中，以便将它导入到 SteamVR Home 里。我把它们放到一个基础(梓喵出没azimiao.com翻译)的地图中，按比例粗略缩放了网格，这样就可以开始处理纹理工作了。纹理工作主要包含为中距离模型和天空盒创建新的 PSD 贴图，并在Material Editor中重新分配材质。
回到 PhotoScan 中，我禁用了所有摄像机，除了一个指向合适方向的摄像机：这个摄像机指向水库和风力涡轮机。之后，我再次重建纹理，并将纹理导出为 PNG，然后将新的超清晰纹理用于天穹和中距离几何体，并在 Photoshop 中将它们仔细混合在一起。
调整相机位置，重复操作过程，不断生成天空盒和中景贴图。将新生成的贴图导入 PS 处理并保存，Hammer 中会自动更新视图。在 VR 中测试，你会发现某些区域需要更精细的调整，同时你也会发现一些屏幕上看起来非常糟糕的部分在 VR 里显得还不错。
半透明混合
为了将中距离几何体混合到天穹中，我添加了第二个纹理以便在Material Editor中用作半透明。我使用 PhotoScan 最初导出的第一个纹理的 alpha 通道，并仔细地进行裁切、模糊等编辑，使它能够给几何图形提供正确的自适应边缘。工厂的建筑被仔细地用锐利的边缘勾勒出来，而原野的一部分被淡出以隐藏一个可见的过渡。我在这上面花了大量时间，因为它对提升场景效果有非常大的作用。
为了更好地对透明层进行排序，我在Modo中复制了中距离 mesh，使其与原始副本完全对齐，并为其分配了另一种材质，之后将它重新导入到 SteamVR Workshop Tools 中。我修改了材质以使用 PSD 贴图，这意味着我可以为中距离几何体设置第二种材质。这次我将材质设置为’Alpha Test’而不是’Translucent’，且 Alpha Test Reference’设置得相当高，以将硬边缘隐藏在半透明层中。虽然网格的模糊边缘可能导致渲染错误，但它远不如不透明部分明显。（我还在英国教堂场景中的树木和其他树叶上使用了这个技巧，出奇地有效）
真实世界缩放
为了获得精确的缩放比例，可以借助谷歌地球中的测量工具测量地标间的距离，之后按比例缩放模型。
如果你的扫描场景在地图上不可见（例如在室内、地下等），你可以使用任何已知的长度来确定缩放比例。
完成场景的收尾工作
烘焙到世界
在导入模型并放置在 Hammer 地图上之后，我在对象属性中选中了Bake to World。在地图编辑室，大的 mesh 将会被分割成更小的部分，这样计算机渲染压力较低。
灯光
有关场景中存在的动态灯光对象的完整描述，请参见同样以该地图为例的摄影测量场景照明设置教程。
实体
除了上面说的光照实体之外，我还添加了一个出生点和一些盘旋的乌鸦。
在最近的更新中，我开启了平行光阴影，并将所有地形材质设置为接收但不投射阴影，以防止自阴影瑕疵。这样设置的目的是为了让玩家化身和道具显得更真实（有影子）。我还添加了一个简单的传送区域网格，让玩家可以自由漫游。
最终场景
我已经将场景上传到 Workshop 中，如果你有任何疑问，请随时在此处或 SteamVR 社区站点的“讨论”选项卡中提问。
本博后记
翻译了整整三个晚上，终于将这篇 VR 大空间扫描建模教程翻译完毕。本教程由 V 社官方员工撰写，对于想了解大空间扫描建模的同学来说是一份非常好的入门材料。