全国统一客服热线:020-87723075

首页 > 项目管理 > 行业划分

VR培训整体解决方案

VR培训整体解决方案

广州建软科技股份有限公司


目录

1. 方案背景1

2. 解决方案1

3. VR软件开发3

3.1 3d引擎的选择3

3.2 U3d中常用的交互4

3.2.1 注视交互5

3.2.2 手柄交互6

3.2.3 头盔交互7

3.3 U3d在工业仿真培训方面的运用8

4. 硬件选择9

4.1 立体展示部分9

① 立体投影系统9

② 立体显示器10

4.2 虚拟现实交互部分10

① 力反馈设备10

② 数据手套10

③ 位置追踪器10

④ VR触控笔、VR眼镜11

4.3 方案可行性设备采购方案11

① 培训室的采购方案12

② 演练室的采购方案13


1.方案背景

  本方案是由广州建软科技股份有限公司VR开发部推出。

  广州建软科技股份有限公司是致力于软件开发,侧重于水利电力方向,VR开发部门的发展倾向于工业仿真的虚拟现实,有丰富的经验、相关的水利电力资源,具有浓厚扎实的水利电力知识。我们可以加专业地展示相关的电力知识。

  方案主要通过开发VR虚拟现实教育系统。虚拟现实(VR) 是采用以计算机技术为核心的现代高技术生成逼真的视、听、触觉一体化的特定范围的虚拟环境,是一种新的人—机界面形式, 它追求的是将传统的计算机从一种需要人用键盘、鼠标对其进行操作的设备变成了人处于计算机创造的人工环境中。通过感官、语言、手势等比较“自然” 的方式进行“交互、对话” 的系统和环境。将虚拟现实技术引入电力系统的仿真培训, 不但可以降低培训系统的硬件投资, 而且能给培训系统增添真实感和沉浸感, 让培训人员产生身临其境的感觉。

  本方案除了突破平面及视频的教学,让培训人员对教学内容具有现实感。更突破一般虚拟现实的桌面虚拟的单一与局限。本方案具有增强虚拟性,培训内容的场景及设备已经立体地展示到电脑屏幕外,培训人员仿佛进入虚拟的三维世界,身临其境的感受场景内容,并可以随意地对培训内容进行操作。

2.解决方案

  利用自主研发的VR虚拟现实教学的引擎系统,针对于行业生产过程的安全生产、安全教育及技能教育的需要进行针对性的系统开发,对需要进行的管理和维护的设备进行三维建模的基础上,对关键操作设备和操作过程进行三维仿真,实现计算机上完成更加直观、逼真且更具有互动性的操作及维护培训,从而实现对现有视频教材及模拟器培训方式进行补充,在降低成本的同时也将大幅度提高培训和管理效率。

  实现虚拟现实技术和行业培训相结合的核心是以场景,动画,交互以及硬件设备构成,这些可以由VR 3d引擎集成到一起,实现用户和场景的交互,而交互部分是连接它们的桥梁。

1.png

  方案对培训人员的培训阶段和实操检验分别使用以下的系统:

桌面虚拟教学系统及增强教学虚拟系统:打破传统的平面和视频的教学,在对在职学生和在岗员工的工业专业知识培训阶段中,师生通过VR触控笔对VR虚拟现实的场景进行工业电力知识的授教及实操。

  沉浸虚拟现实系统:本方案为培训人员在实操演练阶段提供了完全沉浸的体验,培训人员可以置身于虚拟境界之中,此系统是利用沉浸式虚拟头盔及VR手套、手杆。把培训人员的视觉、听觉和其他各种感觉封闭起来,提供一个新的,虚拟的感觉空间,是培训人员产生一种身临其境、全心投入和完全沉浸其中的感觉。

开发构架

2.png

3.png


3.VR交互开发

3.1 3d引擎的选择

  VR行业目前来说主流的软件有两个:UE4(unreal engine 4)和U3D(unity3d),可以通过比较两者的优势和劣势来选择合适的3d引擎。

  Unity的优势包括:轻量级,安装、调试和打包方便,配置VR项目十分简单,开发成本低,资源也比较丰富。劣势是:渲染差,光照系统糟糕,相对ue4画面效果不佳,一些如手柄震动、VR控制器空间定位的功能引擎未集成,需要第三方插件或额外代码。Unreal的优势:画面效果水准高,材质系统先进,对于手柄、VR控制器支持良好,内置蓝图系统用于可视化编程(针对策划,美工等非编程人员,可实现特定的功能)。Unreal的劣势:开发成本高,对硬件配置要求较高而且编译引擎复杂,打包部署不方便等。

  就电力培训系统而言,重点在于教学和交互,那么,首选unity3d引擎,目前该引擎比较成熟,应用广泛。


3.2 U3d中常用的交互

  交互是实现用户和计算机之间的信息传递的桥梁,可以说是核心的核心。在U3d中的交互有这样几类,包括凝视交互,游戏手柄,头盔移动等,当然,传统的鼠标键盘交互方式也应用比较多,而实现沉浸式交互则用到前面三种交互方式(随着科技的发展和产品的更新,今后会出现更多交互方式,值得一提的是,当前出现了力反馈设备,用在工业行业模拟触电在合适不过了)。在u3d中编写交互脚本使用c#编程语言,相对于ue4使用c++或蓝图更方便。提到交互又不得不说u3d自带的事件系统,是实现交互的基础。

4.png


3.2.1 注视交互

  在VR中侦测玩家正在查看的方向是很重要的,关系到是否允许用户和物体互动,激活动画等等。我们引用的这个动作,在VR中叫做“gaze”(注视)。由于大多数头戴式显示设备还不支持眼球追踪,我们现在只能估算玩家的注视。因为镜片的扭曲,这意味着玩家基本上是朝前看的,所以有一个简单的解决方案。就像在概述中提到的,我们只需要在摄像机中心朝前发射一条射线,然后查找这条射线所有碰撞的物体。当然,这意味着任何物体能被碰撞(或者通过注视进行互动)的物体都要有碰撞盒。

  在用户进行注视交互时,有个重要概念叫做准星,准星可以帮助指示出玩家的视野中心,作用和鼠标左键类似。准星可以是一个简单的点,或者是个交叉十字线,这要看项目的需求。

  在传统的3D游戏中,准星通常被设置为空间中固定的点, 通常是屏幕的中心。 在VR中定位一个准星要更复杂:用户在VR场景中观察环境,视线会聚集到离摄像机比较近的物体上。如果准星有一个固定的位置, 用户会看到两个:可以把手指放在眼前然后看远处的物体来模拟一下这个感觉, 如果你聚焦到你的手指,背景的物体看起来会变成两个, 反之同样。

  要避免用户观察环境时和注视不同距离的物体时看到两个准星,需要把准星放到物体表面正在被观察的点,然后根据摄像机到这个点的距离对它进行缩放。

5.png


  在电力培训系统中,可能需要在场景视图中规划好一些UI界面,主要是一些选项按钮,用于实现不同的功能,比如切换相机试图,项目设置,退出系统等,传统的用户界面需要用户手动点击鼠标或使用键盘来完成这些动作,而我们在沉浸式虚拟环境中一般不使用鼠标。

6.png

  要实现注视触发按钮,要提前给这些按钮注册消息响应事件,u3d的ugui系统自带了这些机制,如下图所示:

7.png

3.2.2 手柄交互

以htc vive为例,如下图所示

8.png

手柄是HTC Vive的重要交互手段,我们通过第一个图片应该对其有一个直观的了解了,总共是九个按钮:

第一个是菜单按钮;

2,3,4,5分别对应的是Trackpad/Touchpad的上下左右,有时候对应的是XBox手柄的▲OX囗四个按钮或者摇杆;

6对应的是系统按钮/Steam;

7是Trigger/扳机,对应大多数FPS游戏里面的枪械的Shoot/Fire;

8对应的Grip/紧握在手柄的左右两侧各有一个,有时候我们用它来翻页;

9其实是Trackpad/Touchpad在Z轴的一个延伸,相当于是点击事件Click.

可以看到htc vive上有较多的按钮,其实对应的就是键盘和鼠标上的按键,用于触发一些特定事件,比如开始移动,触发动画事件以及代替鼠标和注视交互实现点击UI按钮等。通常可以控制受训人员在特定环境下的移动漫游,操作设备,比如一个开门的动作,在制作场景过程中会把这个动作做成动画,为其添加响应事件,在发布后的场景中,用户就可以使用手柄模仿手臂开门的动作,激活这个响应事件,从而激发开门的动画。在很多的第一人称射击游戏中,都是利用了手柄来模拟玩家手中的武器,当然也可以用来模拟用户的手臂。如果要模拟更加逼真的现场环境,那么在自然情境下会发生的事件都可以提前做好动画,给这些动画添加相应的相应事件,利用手柄去触发即可。

3.2.3 头盔交互

  HMD(头戴式显示设备)旋转和坐标的明显的用途是用来观察环境,通常在制作场景过程中为头盔显示设备制定相应的相机,相当于制作第一人称游戏。头盔设备在移动和旋转过程中,其自带的感应器会将其坐标和角度实时发送到场景中,实现试图的实时变化,例如受训人员在戴上头盔设备后,置身于虚拟场景中,转动头部就能观察到周围的环境。不同VR设备的厂家都会提供程序接口,也就是驱动程序,需要程序开发时调用以实现相应的功能。

  把旋转作为一种输入类型的示例,基于头部旋转来精确的旋转一个菜单或者其他物体。可以看到物体会根据玩家查看的方向进行旋转,如下图所示:

9.png

3.3 U3d在工业仿真培训方面的运用

  最容易理解的方式是根据实物场景制作与之对应的三维模拟场景,这一步需要在三维建模软件中实现,可以使用3dmax或其它三维建模软件,因为不论u3d还是ue4不能支持建立复杂模型;同时也要注意,动画系统最好也是在三维软件中做好,比如意外情况的报警,开门,开箱等等。建立好的模型和动画导入到u3d引擎中,通过给用户的不同操作添响应的事件,即可完成数据的准备,为接下来的教学展示和虚拟实操做准备。

1)平面设备展示

  用户在3d环境中进行漫游,操作设备的画面,通过连接到外界设备比如投影仪可以实时进行演示。即用户计算机同时接入输入设备,如手柄,鼠标等用于操作,同时也可以接入输出设备,如显示器,投影仪等用户对外展示。

10.png

2)沉浸式操作

  受训学员通过佩戴头盔设备和手柄可以在三维场景中漫游和操作设备,这里场景可能是变电站之类,设备可以是电力方面的比如变压器,实现原理是触发提前内置的事件,激发动画或其它类型的消息。学员转动头盔即可观察周围的环境,也可以改变学员的前进方向,手柄用于模拟手臂进行相应的操作,如果需要,可以在场景中制作好需要的UI,使用头盔凝视或手柄点击来激活不同ui对应的事件。

  可以想象这样的场景,首先学员点击手柄上的按钮实现向前移动,到达门的位置,通过点击另一个按钮接触到门上锁的位置,然后激发开门的动画。

11.png

4.VR硬件选择

  整个培训系统的硬件分为展示部分的硬件和沉浸式交互部分的硬件。

4.1 立体展示部分

  立体投影系统、立体显示器等。

① 立体投影系统

  立体投影系统有被动式立体投影和主动式立体投影,被动式立体投影是通过光的偏振原理来实现的,即采用两台投影机同步放映图像,将两台投影机前的偏光片的偏振方向互相垂直,让产生的两束偏振光的偏振方向也互相垂直。而偏振光投射到专用的投影幕上再反射到观众位置时偏振光方向须不改变。

产品推荐:单通道三维投影、多通道环幕投影、多通道平板投影、沉浸式CAVE系统、球面体投影系统。

② 立体显示器

  立体显示器有裸眼立体显示器和偏振立体显示器之分。裸眼立体显示器不需要用户戴眼镜即可感觉到立体效果,裸眼立体显示器大多处于研发阶段,并且主要应用在工业商用显示市场,所以大众消费者接触的不多。

推荐品牌:

  Exceptional3D裸眼立体显示器、TRIDELITY裸眼立体显示器、Visumotion裸眼立体显示器等。

4.2 虚拟现实交互部分

  借助于一些面向特定应用的特殊虚拟外设,它们主要是6自由度的虚拟交互设备,

  推荐设备:力反馈设备、数据手套、位置跟踪器、3D鼠标等等。

① 力反馈设备

  所谓力反馈,它利用机械表现出的反作用力,将游戏数据通过力反馈设备表现出来,可以让用户身临其境地体验游戏中的各种效果。 力反馈技术能将游戏中的数据转化成用户可以感觉到的效果,例如道路上的颠簸或者转动方向盘感受到的反作用力,这些效果都是力反馈控制芯片“播放”出来的,

  推荐品牌:HAPTION力反馈设备、Sensable力反馈设备。

② 数据手套

  数据手套是虚拟仿真中最常用的交互工具。数据手套设有弯曲传感器,弯曲传感器。

  推荐品牌:CyberGlove数据手套、DGTech数据数据手套、5DT数据手套。

③ 位置追踪器

  位置追踪器又称空间位置跟踪器,是指作用于空间跟踪与定位的装置,一般与其他VR设备结合使用。

  推荐品牌:Polhemus 电磁式无线追踪系统、Xsens惯性位置追踪器、Ascension电磁式位置追踪器。

④ VR触控笔、VR眼镜

12.png

  VR触控笔具备多自由度的传感器,多个导航设置键等可实现对虚拟立体空间内的虚拟物体的操作。

  推荐产品: zSpaceVR触控笔

  目前市面上使用最广泛的VR眼镜有HTC vive,Oculus Rift,都具有较好的性能,提供用户完美逼真的虚拟场景画面,并且都具有手柄系统和音频系统,是沉浸式交互不可或缺的产品。


4.3 方案可行性设备采购方案

13.png


  VR培训机构有VR硬件设备、教育资源来完成,教育资源指我们开发的VR云课程,对这两大类,我们做了以下合理的解决方案:


① 培训室的采购方案

14.png

培训室采购设备统计表:

15.png


② 演练室的采购方案

16.png

实操室采购设备统计表:

17.png