//
VR, AR, MR, XR
//
虚拟现实，增强现实，混合现实……
The Augmented Age
虚拟技术，增强技术将不可避免地改变建筑师的设计方式……
“The technologies we are exploring today, such as artificial intelligence, nanoscale manufacturing, autonomous vehicles and embedded computing, are radically going to redefine the next age of humanity. I propose we should call this next age the Age of Augmented Intelligence, or just simply the Augmented Age, whichwill bring about a massive rethink of processes involving dynamic decision making, pattern recognition and advisory services as machine intelligence optimizes those processes and feedback loops.” by Brett King
本篇推文，小编将与大家一起来看看近期学术领域有关VR，AR以及MR的研究类项目，其相关的研究思路，以及与其他技术等的结合形式。更多关于VR，AR，MR的设计交互类项目，也将在之后不断更新。
1. VR、AR、MR、XR的基本概述与设计主要应用
2. 相关学术研究项目与论文
3. 相关学习平台与产品
文章全长字6000，阅读时间12分钟
VR、AR、MR、XR的基本概述与设计主要应用
VR、AR、MR、XR的基本概述
关于VR虚拟现实 & AR增强现实的发展简史与背景，小编搜索了相关资料，有兴趣了解可以查看以下两篇相关文章的链接：
VR | Virtual Reality
“纯虚拟代替视觉”
通过佩戴设备，利用电脑模拟三维虚拟世界，呈现给用户全封闭与沉浸式的虚拟环境，并加入听觉以及触觉等感官体验，较多的应用于游戏设计（交互式空间设计）。
Zaha Hadid Virtual Reality “Project Correl”建筑空间设计展示
AR | Augmented Reality
“将2D虚拟加入现实环境”
将虚拟的物体、场景或系统信息叠加至真实的环境中，虚拟画面与真实环境可同时体验。AR按照原理与应用，主要分为：
a）标记识别类：预先设定好的图案，通过摄像头进行识别，以呈现预先设定的虚拟物体；
b）地理位置类：通过实时位置数据的提供，利用摄像头拍照，屏幕可以显示道路以及商品等的相关信息，以进行实时导航；
c）场景表达类：通过识别，将信息附加与表达至现有的场地环境；
Foreach Lab Augmented Reality 室内设计与同步效果展示
MR | Mixed Reality
“3D虚拟加入现实环境，代替视觉”
合并现实和虚拟世界而产生的三维实时互动式可视化环境。
Fologram Holographic Fabrication of Woven Steel Structures 2018 CAADRIA workshop 项目
XR | Extended Reality
扩展现实是指利用虚拟技术和可穿戴设备产生的所有人机交互和环境的组合。扩展现实包括以上所有描述性形式，如增强现实（AR）、虚拟现实（VR）、混合现实（MR）
VR，AR，MR，XR在设计领域中的应用主要有：
1）Conceptual Design Tool
使用虚拟／增强现实传达与展示设计概念
2）Data Visualization Tool
数据在虚拟／增强环境空间结构中的可视化（如声学，采光，通风，行为活动等数据）
3）Interaction and Responsive System
用户与动态响应系统的互动（交互设计领域的应用）
4）Assembly Analysis
对于（自动化／传统手工）建造的引导作用
VR的空间沉浸式体验，the ability to“walk-through” the model
建模和虚拟编程环境的连接，虚拟现实数据的可视化流程
选自文章“Experimental Applications of Virtual Reality in Design Education”
相关学术研究项目与论文
Discretization & Virtual Fabrication | 离散化与虚拟建造
论文: “DisCo: Choreographing Discrete Building Blocks in Virtual Reality”
构件之间设定的连接与对齐的方式，与控制器的互动操控
DisCo的项目以LEGO乐高的为参考，研究了如何将模块化木构件和直观的空间设计，集成与实时展示于虚拟现实中的应用程序中。这种组装机制通过一系列漂浮分离的数字积木相互作用，以控制器直接对其施加力，将这些建构模块聚合，用户与构件的交互过程成为了形态生成的方法。
构件整体形态的生成与装配规则建立于Wasp的算法逻辑基础之上，构建块通过其几何体定义为三维网格，并通过其与其他块体的连接定义为零件几何体面上的定向平面。相比于完全基于从下而上的生成规则，随机位置的木构件可以对用户控制器的移动方向以及移动位置做出响应，从而形成一个全局可预测，但局部不可预测的形态。
用户连接与捕捉模块的过程，与空间分区网络
通过将模型导入 Unity之后，虚拟可视的环境中可响应的构件不断寻找附近开放的连接，如果接近和对齐的条件得到满足，则连接生成（需提前设定接近度与对准度的阈值），连接形态也同样可以根据规则的设定影响生长的模式。最终确定的形态也可以导入回rhino在Wasp中进行二次设计操作，导出的程序设定可以保存作为之后的初始设定，用户也可以加入其他形态或者自定义的环境以丰富环境空间。
连接筛选要求（左），和构件的聚合模拟过程（右）
构件最终部分的形态（左上），预计的木构件搭建效果（左下），和VR虚拟环境中的连接形态效果（右）
[方法论类似的论文] “Combinatorial Design”
单体构件的连接方式（左），预期的整体效果渲染（中），实际搭建的模型（右）
本项目与DisCo类似，也研究了在虚拟现实环境中使用离散集和组合的策略。不同于DisCon中单体的游离状态，用户可以互动影响单体的移动状态；本项目通过研究基本的单体以及单体的连接形态，用户可选择单体的颜色，摆放不同位置，不断重复复制以构件的体量（可设定生成的规则，以制定可预计的形态）。
预期的整体效果渲染（左），预期的VR中的搭建互动（右）
论文：“Sound Space”
An Interactive VR Tool to Visualize Room Acoustics for Architectural Designers
单点源声波模拟
Sound Space项目侧重于评价空间在互动和视觉体验中的声学性能，以协助设计师用虚拟的工具模拟声音在建筑空间中的真实感。原本的信息被材料化与可视化成三维的设计数据，同时通过在虚拟环境中的暂停、倒带和声波快进的功能，也使设计师能够对声音有更好的控制，以影响他们的设计决策（如学校、医院或博物馆等环境）。
声波波形的剖面图与传播图
BIM数据操作与VR软件以及相关设备之间的连接
在项目发展过程中，计算声音属性的算法被简化，可视化脚本工具将声波再现为三角形网格球体，球体中心点沿着跟踪向量逐渐移动。整个计算系统通过输入所在空间的几何图形、房间表面的材料以及声源所在的位置，以及分贝与距离与材料等的相关计算关系，得到基本的Revit数据模型；之后导入且使用Unity内置的光线投射功能，实现光线投射模拟的声音网格，可以在VR设备中被可视化。
虚拟现实的视觉效果
Unity 3D的游戏引擎提供给用户交流以及与数据互动的可能，即设计师可以通过调整声源所在的位置，分贝，以及声音反射的角度等直观感受声音环境的变化，数据的几何图形也可以替换以丰富可视化表达。
AR、MR & Assisted Manufacture（MRM）
Material & Craftsmanship | 数字化下的材料研究与匠工制作
The Craftsman in the Digital Age
机器辅助与手工建造
“Human capabilities in architecture-scaled fabrication have the potential of being a driving force inboth design and construction processes. However, while intuitive and flexible, humans are still often seen as being relatively slow, weak, and lacking the exacting precision necessary for structurally stable large-scale outputs—thus, hands-on involvement in on-site fabrication is typically kept at a minimum. Moreover, with increasingly advanced computational tools and robots in architectural contexts, the perfection and speed of production cannot be rivalled. Yet, these methods are generally non-engaging and do not necessarily require a skilled labour workforce, bringing to question therole of the craftsman in the digital age. ” —— 文章“Human Touch in Digital Fabrication”
在近阶段的发展中，数字建造与机器人技术为复杂形态的设计与建造，提出了新的建造方法与效率上的提高。然而对特定工具的掌握，如工业机械臂的初始成本以及对于程序的操作，对设计师自身的技术能力提出了一定的要求。是否有其他的设计方法，能够在现有的技术基础之上，以机器和设备为辅助，同时结合设计师／用户常用的建造方法……
论文: “Human Touch in Digital Fabrication”
方法论实验的建造结果
本项目重新分配了人与机器之间的关系，考虑了人类如何在设计与建造领域中起到引导与结合的作用，由团队提出依据人体运动的增强现实互动式建造方法。整个方法包括1）环境场地扫描，2）人体的运动形式与现场的定位，3）轻量化，能够快速挤出与塑形的材料（以及配套的操作工具，干泡沫喷枪设备），4）优化后的结构设计与实时反馈系统。
扫描的人体运动（“S”表示开始，“G”表示目标），以人的伸展姿势模拟之后合适的建造路径（上）；不同扫描的移动路径，两两的匹配连接的过程（左下）；将两两匹配的结果组成之后预实现的桶装结构中（右）
整个研究思路的核心，是依据混合现实技术的人与实时建造。设计形态通过记录人手臂常规挥动的范围与弧度，相互两两组合，上下连接成预建造的桶装结构。为能实现曲线状的快速搭建，团队选用了附着力强和易操作的速干泡沫与喷枪式的装置，以直接从下至上的喷涂。
泡沫喷射的效果，以及置入速干泡沫的喷枪装置
扫描仪（左上），AR定位标记（左下），
整个增强建造的步骤：1.地面AR码扫描，2. 导向放置夹具，3. 构件喷涂，4. 完成层，5. 层扫描，6.结构重新校准和后续层结构验证，7. 所有层重复该过程（右）
同时，为了在建造现场指示每个人的搭建运动以实现目标的几何图形，增强现实指导系统引导了每部分曲线的起点，终点与连接点的位置。且完成一层后，使用扫描系统将目标模型与实际喷涂的几何形状进行比较。扫描在两种类型的视觉中心进行的：1）受控的视觉中心决定运动的起始点和终点；2）不受控制的视觉中心决定两个不同的运动轨迹的交叉点。使用地面标记作为参考点，数字模型构件的垂直面可以在三维空间中进行定位，使得原始模型根据定位结果进行更新。之后不断重复定位、喷涂、扫描校准的步骤以完成对整个结构的建造。
论文: “Bent”
Holographic handcraft in large-scale steam-bent timber structures
最终建造的效果
本项目所研究的全息木材增强建造方法，将Microsoft HoloLens 与Fologram的插件结合起来，将模型导入与空间定位，利用HoloLen显示镜片中所映射与指示的木材弯曲角度以及搭建位置，可直接手工将较为复杂的小型结构快速地搭建完成。AR以及MR的技术链接了设计，建模以及建造的过程，成为了评估与参考的依据。其主要设计与操作方法，分为以下几个步骤：
步骤1.结构设计+步骤2.虚拟建模：
主要弯曲与组装点，结构平面性分析，以及最终决定的1.5ft重叠的拼装方式
整个装置为6.5’x 12.5’x 8’，结合所用木材的自身性能所设计的弯曲结构。形态设计过程由每块木条的平面性进行分析，最终得到优化的形态结构、木条之间的连接方式、预留的合适空隙宽度，以及空隙之间的Z字钢支架的合适尺寸。在Rhino参数化建模过程中，通过将横截面与沿中心线采样点处的曲率切线对齐，可导出每块木板的曲面模型，以此得到之后在建造过程中所需弯曲方向与弯曲角度。通过全息模型并基于Fologram的Grasshopper插件，设计过程中的模型也可以实时传输至AR设备（HoloLens或者手机）以进行真实比例的展示及调整修改。其技术应用的同步与互动性，节省了原本在设计、虚拟模型的不断测量校准、及修改的时间。
步骤3.全息建造
模拟得到固定的构件角度与AR可视化的弯曲角度
建造的过程再细分为固定，校准与组装三步。木条主要通过预先加热以提高柔韧性，依靠结点固定以生成弯曲形态。之前在Grasshopper中导出的角度，也将作为固定木构件的角度依据。通过每块木条在全息影像中显示的对应摆放位置，并不断调整固定与弯曲的位置以至木板的弯曲角度与全息影像重合，之后确定固定点，等待木条弯曲生形。HoloLens中设定的信息和弯曲木板的顺序，也可以通过手势互动调节，最终得到所有的弯曲木条，分组拼装后完成整个装置。
弯曲的操作工具，以及木板之间的连接细节
主要结构部分的最后组装
[方法论类似的设计项目] “Steampunk Pavilion”
整体结构与细节
Steampuck Pavilion与以上项目类似，也同样使用了蒸汽弯曲全息建造的方法与步骤。通过在真实环境中叠加同比例的3D全息影像，设计师／装配人员可手工组装弯曲木条。制造过程主要有两种反馈形式：1）全息模型为制造者提供了关于成形过程精度的清晰视觉反馈，并允许他们直观地调整材料或模板位置，直到组装的真实结构在可接受的公差范围内与数字模型相匹配。2）物理部件也可以通过结点式的定位，将实体建造的结构数字化并反馈到Rhino模型中，以允许在必要时修改与调整设计。
论文: “Flowmorph”
Exploring the human-material interaction in digitally augmented craftsmanship
材料选择Polycaprolactone (Polymorph)
本项目系列也详细阐述了混合现实（MR）辅助建造（MRM）的概念，为既不能由制造商以及传统机器人制造进行有效管理的高度复杂的几何体，提出了设计与制造同步的辅助方法与材料模版化的概念。在MR的应用上与之前的项目有相似之处，在整个设计过程中，也加入了一定的互动性与人机反馈的过程。该团队选用热塑性塑料，可在一定温度下熔化，也容易冷却定型，有较好的弹性与韧性。
Jellyfish 形态算法生成模拟 （基本形态可沿设定的路径不断复制交叠）
步骤1.形态生成与系统交互：
基于塑料材料的灵活性，团队们设定了基本的球型连接形态，球形为两端固定，两球的连接为软性塑料；再选择了弹簧粒子系统为算法依据，由简单形态，尝试复杂的整体效果（关于算法生成的变量设定，可搜索该算法的基本逻辑与操作方法）。
AR手势识别，控制形态生成
在这个过程中，团队也基于AR设备的跟踪能力，加入设定了更多的识别系统，如识别放置的塑料球体；与手势操作，如设定参数之后，用手势控制绘制路径，以呈现实时的形态效果，以便提高设计的效率进行及时的调整。
初始增强建造实验
步骤2.：混合现实建造
在虚拟实验后，不同尺度的结构将进入实际建造以尝试与优化材料与形态结构。在初步的小结构实验中，一位设计师带有HoloLens以根据全息影像的指示摆放球体，另一位确定摆放位置与热弹性塑料的链接，得到软性塑料可以被拉伸的合适长度，以优化之后大结构的形态与搭建顺序。
最终结构的搭建效果
[方法论类似的设计项目] Bloomshell, iBrick & Neo-Natur
同为Bartlett RC9的AR&MR研究课题，也有如以下两个项目，其基本的研究方法与实践步骤相似：混合现实的单体组装式结构。
项目“Bloomshel”
片状结构的搭建顺序与路径研究，实体小结构的落实，以及大型建筑结构的设计预想
项目“iBrick”
木结构的搭建顺序与路径研究，小型家具的落实，以及建筑结构应用的预想
项目“Neo-Natur”
by ART+COM Studios collaborated with Futurium and Schiel Projekt
结构设计平面与剖面图，以及搭建的脚手架
本项目在形态生成上参考准晶的非周期链接结构，以下为每个部分的组装构件。在搭建的方法上也将传统手工建造与HoloLens的增强现实技术相结合，也可互动式选择单体的组装顺序。
1500个组装模块
增强现实单体零件的组装过程
最终的组装效果与细节
[方法论类似的论文] “Augmented Construction”
Impact and opportunity of Mixed Reality integration in Architectural Design Implementation
（项目的方法与以上几个Mixed Reality的项目较类似，因此做了概括性的总结，若有兴趣，可以联系学术客服获取完整文章）
搭建结构的优化，不同的颜色分区标记不同组群以指示搭建顺序
实时搭建的虚拟影像与实际搭建效果
相关的学习平台与产品
国内外VR、AR、MR相关产品的公司较多，小编在本期整理了部分，若有兴趣也可以查阅与尝试（支持的软件有：Unity，Blender，3ds Max，SketchUp，Maya等）：
Unity VR AR的官方课程
Gravity Sketch + Google Tilt Bruch平台（VR）
Gravity Sketch的官方链接：https://www.gravitysketch.com/
（产品设计领域的应用为多，也可以用于室内和建筑的初步设计与效果展示中）
Gravity Sketch是通过虚拟互动实时绘制与展示，配合VR设备，用户可以在空中用手势和触控就能够向数码设备输入数据，以在虚拟空间中绘制三维图纸与模型。整体操作流程较为简便，虚拟空间中的所创作的作品可以传输至电脑程序或打印机；或也可以在触摸屏和Wacom手写板上绘制设计3D模型，通过VR虚拟现实设备，使用VR手柄在立体空间中进行深入的模型设计。
Gravity Sketch的Youtube官方教程平台（GK官网也有教程的分享）
Tilt Brush的官方链接：
Tilt Brush的产品概念以及功能与Gravity Sktech类似，也属于早期既有VR绘画也有3D建模功能，主要是以艺术创作为主，整体功能操作简便。
Youtube基本操作讲解，有兴趣可以学习
模袋Modelo平台（VR为主)
官方网站：
Modelo主要提供两种类型的解决方案：1）演示平台：将原本的平面文件，用3D、VR和漫游全景图像的形式用以展示；2）设计资产管理（DAM）平台：快速搭建数据的三维可视化，其功能包括构建信息建模（BIM）数据，环境分析数据，以及场景的快速特效效果，以提供数字孪生的解决方案，智慧商圈可视化平台，智慧楼宇管理系统，智慧办公管理系统等。也可以申请官方免费账号进行尝试（模型可以直接拖拽，即用网页的形式展示与调节）。
官方功能介绍
ARKi平台（AR)
官方链接：
ARki整合了3D建筑模型与AR技术，为空间设计与展示目的提供了互动功能。ARki同时可以在IOS / Android设备上使用。它可以将三维模型导入并且覆盖到现有的二维平面图上或者现实的环境中；其互动方式可以进行设计上的调整；在真实环境中的光影模拟；或者材料的选择等。官网的教程内容包括模型的定位，在AR环境中建立图层，模型的导出等适用的操作。
ARki 过往的项目
Fologram平台
官方网站：
Fologram为通过混合现实连接设计与建造的平台（Fologram也为以上BENT和Steampunk Pavilion项目的设计与建造团队）。HoloLens全息透镜可以将导入的三维模型展示于建造者，也可以省去二维图纸表达的过程，直接利用实时跟踪定位修改设计，也可以将影像作为建造的依据，达成计算机互动与辅助建造的作用。关于结构形态设计，以及在Grasshopper中手机AR的操作方法，可以参考同济2020 DF Workshop的视频。
Fologram官方2020 Digital Futures同济Workshop课程视频
“Introduction to Fologram & Grasshopper Webinar”研讨会视频中关于Fologram过往主要项目，以及Fologram app与Grasshopper的操作教学与互动方法
Fologram food4Rhino插件下载
Fologram 官方流程与教程
VR、AR、MR学习的相关院校
(研究结合数字建造／大数据分析／视觉互动展示的方向为多)
MIT Media Lab | 麻省理工学院媒体实验室
University College London |伦敦大学学院
Architectural Association School of Architecture| 建筑联盟学院
University of California, Berkeley |加州大学伯克利分校
The University of Southern California | 南加州大学
The Universityof Tokyo| 东京大学
RMIT University| 皇家墨尔本理工大学
