第一个5年来临之际，VR已经拥有了Oculus quest和Alyx这样优秀的软硬件产品。另一方面，既宝可梦GO后，新的马里奥赛车live会成为下一个AR爆款吗？比起AR更进一步的MR又会带来怎样全新的游戏形态？通过微软、任天堂和万代南梦宫近年来的探索，本文带你走进这一未来的游戏概念。

9月4日的发布会中，老任公布了马里奥赛车的新作，出乎意料的是，作为switch单作销量最高的IP，马车的新作竟然是一款用到了混合虚拟现实(MR)的产品。在继续谈论这款产品前，请允许我先插入一段介绍，厘清一下几个基本概念。

一、是什么？虚拟现实的分类：VR、AR、MR和XR

Milgram在1994年的论文《Augmented Reality: A class of displays on the reality-virtuality continuum（增强虚拟现实：一类关于现实-虚拟连续性展示）》中将纯碎的现实世界和纯粹的虚拟世界放在一条连续轴的两端。

VR（Virtual Reality）：可以看作纯粹的虚拟世界，用户能看到的一切都是虚拟的，和周围的现实世界完全隔离。

AR（Augmented Reality）：在现实世界之上叠加虚拟的影像，但是用户无法和虚拟影像交互。

MR（Mixed Reality）：基于现实世界生成虚拟图像，然后叠加现实，用户可以和生成的虚拟影像进行互动。能否互动，是否基于现实世界生成是MR和AR的主要区别，即MR=AR+互动。另一个区别是MR中现实物体可以遮挡虚拟物体，而AR中一切虚拟显示都会浮在现实之上。

XR：这里的X可以取代任何字母，可以看作是现实和虚拟之间的一个合集，从2018年开始GDC将子会议VRDC更名为XRDC以包含更多的虚拟现实技术。

二、为什么？AR/MR技术具有颠覆性的潜力

2.1 任天堂对新技术的野心

回到一开始的马里奥赛车，尽管很多新闻里称其为一款AR游戏，但参考上文AR和MR核心区别中互动性这一条，本作已经可以算向MR迈出了坚实的一步。因为借助实体玩具车的帮助，玩家可以和建立在现实之上的虚拟场景以及其他玩家进行互动。玩家只需将配套的指示物放在地面上，再配合赛车实际跑一圈就可以设立想要的赛道。更妙的是这一套玩具还支持好友联机。

 

这不是任天堂第一次接触AR/MR了。事实上早在3DS时期，任天堂就已经利用3DS简陋的硬件实现了“扫脸生成Mii形象”和“飞行大脸射击”等简单的AR应用。任天堂还推出了配套的AR卡片供玩家扫一扫。

对于热衷于将新技术和主机融合开创新市场的任天堂来说，3DS的裸眼3D远没有达到NDS的触摸屏、Wii的体感这样的高度，AR的尝试也和3DS的停产一起淡出了视线，并没有继承到switch上。但是任天堂带着LABO VR和马里奥赛车live这样的产品再一次回到了虚拟现实的舞台，马里奥赛车live也向我们展示了一个MR游戏的潜力。只要得到硬件的支持，MR将分分钟颠覆传统的聚会游戏。

2.2 MR会定义未来的联网和交互形式

上面的动画片段展示了MR应用的一个假想场景。毫无疑问，一旦硬件突破，配合云和AI，MR将成为万物互联的下一代互联网入口，成为个人电脑、互联网、手机之后新时代的生产力工具。事实上手机作为最廉价的AR终端已经拥有了大量应用，大家对于扫一扫获得更多信息的操作早已习以为常。而MR能做到的更多，它可以提供更海量的显示，并且可以与用户进行直接的交互，不仅是展示，更是操作接入的窗口。

而且MR相比VR更接近生产力工具，其优势有两点，一是兼容现实场景展示，二是社交性更强。

例如下图中，通过摄像头将眼前的现实展示给另一端的支持人员 ，对方同时可以做出标记指导用户进行维修。

再如多人社交的情况下，MR可以保留人和人面对面沟通的可能，可以打破使用智能机或VR时人和人逐渐孤立的社交窘况。

三、怎样？MR游戏的设计理念和实践

3.1 基于现实、虚拟现实交互、以及社交性构成了MR游戏的核心特点

抛开深度摄像头、语音和手势控制等等高大上的硬件优势，让我们回归MR和AR的定义，我们认为MR游戏有以下3个核心：基于现实生成，和现实的交互性，人和人之间的社交性。

基于现实：游戏的关卡是根据现实所生成的，宝可梦GO就只用到了位置和地标，并没有用到具体的现实场景。

交互性：玩家对游戏中虚拟物品可以做的交互，宝可梦GO就只有捉宠，而MC地球就可以采集、建造和战斗。

社交性：最大限度发挥MR可以面对面交互的优势，设计多人参与的玩法。

3.2万代南梦宫的MR游戏实践——全新的游戏体验

万代南梦宫从16年开始就尝试进行了MR游戏的研发。本山博文领导并制作出3个实验性的游戏。这3个游戏有一个共同的特点就是以人作为控制器本身（相对于主机以手柄操作，更像一个完全的体感游戏）。这样的游戏体验更接近儿时户外的游乐，和万代南梦宫的线下游戏厅相性也不错。

三个游戏中最典型的是MR吃豆人。在规定的场地中玩家佩戴hololens进入后可以看到迷宫和敌人，需要在限制的时间内一边躲避巡逻的敌人一边吃到100豆子。另一方面，围观的观众可以看到处理后的游戏画面。

但是万代南梦宫的野心不止于此。为了扩大游戏场地的规模，更好地基于现实生成虚拟场景，万代南梦宫与东宝、专业建筑师合作，试图打造更大规模的MR游戏。

不妨想象一下，MR与密室逃脱、剧本杀相结合，只要提供基本的场地就可以自动生成不同剧本需要的场景和道具。更大一点，MR与主题公园想结合的话，类似目前环球影城中的VR过山车和哈利波特城堡的可玩性会更上一层楼。MR所创造出的是和现有的游戏截然不同的全新的市场。

3.3基于现实世界中进行关卡设计

和传统的游戏开发相比，MR增加了现实环境的信息，因此会多出额外的一步，收集并处理数据化的现实场景信息。

如吃豆人中，首先用hololens取得建筑的网格信息后，再结合平面图确定游戏区域。之后再开始根据场地信息设计迷宫和敌人等并在游戏引擎上完成虚拟物品的配置。

扫描之后首先进行处理，去掉不需要的信息，例如天花板、地板、玩家不会涉足的地方。然后确定游玩的路线，再依据路线和现实网格进行敌人和场景装饰的配置。

可以看到围绕着圆形天窗配置了绕圈巡逻的敌人，各个支撑柱也成了迷宫墙壁的一部分。另外设计关卡的时候还需要考虑到这是第一人称视角，和吃豆人原作的俯视角不同，因此需要把墙壁的高度调低，露出敌人的脑袋，以降低玩家躲避敌人的难度。

在扫描技术提升的基础上，这套流程进一步优化。通过游戏引擎（Unity/虚幻）对接外部测量获得的数据后进行关卡设计，然后再针对关卡进行玩法设计。

相比于直接在办公室就可以完成场景布置的常规游戏来说，MR游戏需要结合现有的环境进行考量是对游戏开发者而言最大的难点所在。对于一般的MR游戏来说，可能不像万代南梦宫有条件固定游戏场地后针对性设计，但是也可以像马里奥赛车live那样把赛道设计交给玩家，让玩家根据现实场地进行调整。

四、MR娱乐的未来目标

本山博文认为，2020年XR的发展方向可以归纳为3点，超现实、以人为本和扩大化的现实空间。

超现实是指在现实中呈现任何虚拟效果的能力，为此万代和电影公司东宝合作开辟了大型的实验场地，并且大量利用电影技术研究场景的实现。未来持续的虚拟现实将替代现在单次、短时间的体验而成为常态。

以人为本就是充分发挥MR的社交性，将MR下沉到各个最底层的人群，例如学校、地方兴趣团体、商业综合体等。让更多人体验MR游戏的乐趣，并且以创造全新的娱乐方式为理念。

扩大化的现实空间是指可以纳入MR的空间越来越大，目前的尝试大多都是在室内，但是未来必然会扩大到都市乃至国家级别，甚至同一个都市还会有不同服务器分线。为此需要扫描和积累现实空间的数据，进一步研究将现实空间数字化表示的技术。

五、小结

尽管目前MR离消费者级还有很长的路要走，但是VR、AR的普及和MR在商业端的潜力展现无不预示着MR游戏将来的巨大前景。而且MR具有和现在PC、手机或主机都截然不同的游戏理念，以人为操作本体，以社交性和现实交互性为核心，可能和当年的Wii一样创造出完全不同于现有游戏市场的新蓝海。

---

参考文献

[1]本山博文, 豊田啓介, 現実空間をレベルデザインする。建築・都市領域と共創することで「新しいアソビ体験を生み出す手法」とゲーム開発者の新たな領域と役割について, https://cedil.cesa.or.jp/cedil_sessions/view/2203

[2]本山博文, 岩田永司, 現実が主役！未来のリアルワールドエンターテインメントにむけた挑戦, https://cedil.cesa.or.jp/cedil_sessions/view/2011

[3]Bart Trzynadlowski, HoloLens and Beyond: AR Game Design Challenges and Open Problems, https://www.gdcvault.com/play/1024862/HoloLens-and-Beyond-AR-Game

[4] Dioselin Gonzalez, Looking to the future of mixed reality, https://blogs.unity3d.com/2017/09/05/looking-to-the-future-of-mixed-reality-part-i/?_ga=2.2459376.1122127052.1600502081-1018626842.1600502081

[5] John Hanke, The State & Future of AR Games: Rose-Colored Glasses, https://www.gdcvault.com/play/1025779/The-State-Future-of-AR