一．作品设计、发明目的

  在新工科卓越工程师教育培养计划2.0背景下，国家大力支持机械专业人才培养，不断加大对各高校实习实训教学投入，随着机械专业招生人数不断扩大，我国实习实训教育发展进入新阶段。各高校对质优价廉的实训设备需求紧俏，以缩短人才培养周期，提高人才培养质量，紧跟“新工科”时代潮流。然而，各高校实习实训中存在诸多不足：

1.实训成本过高

    实训基地的建设需要大量的经费，比如一台DMG数控车铣复合中心至少需要300万元，再加上在实训过程中材料以及刀具等物品的消耗，对于开展实训的高校是巨大的考验。

2.实训项目脱离生产一线

    当前的实训项目还停留在传统的车、铣、钳、焊等传统机械加工练习，在数车、数铣等先进制造技术方面只是简单的操作训练，这样就造成学生难以跟上工业智能化的潮流。

3.实训方法缺乏创新

    现在机械工程实训还停留在老师讲解示范、学生模仿的教学方法，学生在整个教学过程中基本上都在进行重复性、简单性的模仿操作，很大程度上限制了学生对于机械加工的思考，不利于学生实践及创新能力的提高。

4.实训师资力量匮乏

    现阶段实训教学主要以大班教学、一对多的教学方式为主，老师指导每位学生的时间非常有限，学生锻炼的机会较少，实训效果大打折扣。

5.实训安全问题频发

    实训要与机械、电工类设备接触，由于学生无法充分意识到实训设备的危险性，可能出现操作不规范等行为导致伤亡事件。部分高校为了避免学生动手操作危险系数相对较高的实训项目，只以教师的讲解与操作演示为主，这样违背了实训教学的初衷，学生技能得不到任何锻炼。

    现阶段，市场上有多种虚拟现实仿真系统，但这些系统并不能完全针对上述问题提供解决方案。因此需要研发出一套专门针对工程实训的虚拟现实仿真系统，来提高工程实训教学的经济性、高效性以及创新性。

二．基本思路

   智能制造全工厂虚拟仿真系统完全是按照国家标准和智能制造体系规范，以虚拟现实交互技术为核心，采用了三维建模仿真技术、大数据的MES系统数据库、传感器技术及系统集成技术等。

 

图1 智能制造全工厂虚拟仿真结构图

   智能制造全工厂虚拟仿真系统的总体设计思路如下图2所示，主要包括以下几个方面：

    1.为了完成智能制造全工厂三维模型建立及动画设置，通过比较选择3DS Max，采用模型数据转换，即上流平台数据向下流软件传递，将SolidWorks设计的全工厂模型导入到3DS Max中进行模型处理，最终进行整个生产流程规划及动画设置。

    2.为了对模型进行虚拟仿真，将3DS Max中三维模型导入到Unity3D虚拟仿真平台。在Unity3D中进行虚拟场景编辑，包括虚拟场景处理、脚本设计、三维模型与MES系统大数据的整体联动等。

    3.进行虚拟仿真教学系统的用户操作界面设计，遵循形象简明直观、元素贴合主题、功能菜单布局合理等原则，用PhotoShop设计出系统界面效果图，并利用Unity3D的第三方插件NGUI搭建用户操作界面，提高系统的人机交互性。

    4.进行丰富多样的虚拟现实交互方式设计。主要设计了两种交互方式。

    沉浸式交互设计：为了增强用户的体验感和沉浸感，使用HTC Vive等设备，通过C#脚本控制，完成了对射线追踪、碰撞检测、模型拾取的设计。学生可以在虚拟工厂里进行简单的加工装配操作。

    桌面式交互设计：为了方便师生全工厂漫游，通过C#脚本控制，用户可借助头盔和键盘实现场景的任意漫游，自由观察各个生产加工环节，对工厂的生产过程有一个整体的了解。

    5.考核功能设计。为了让学生能够进行自我检测和教师考核，系统设置了考核模块，内置打分系统与回放查看功能可以让学生检查自己对所学内容的把握程度。

    6.整理封装系统文件。为了使学生自主学习、自我学习、自助学习，生成网络可发布的文件或编译独立执行文件.EXE，学生可以在Web端完成工程实训。

 

图2 智能制造全工厂虚拟仿真系统的总体设计思路

    本系统提供了一个高度仿真的实习实训基地，突破了高校实训教育的时间空间限制，增加实训机会，丰富实训内容，使学生对机床的控制与使用不再局限于“纸上谈兵”。

 

图3 智能制造全工厂虚拟仿真系统的架构图

三．创新点

1.将完整的VR智能制造工厂应用于机械类大学生工训教学

本系统搭建了一个以机械类大学生工程实训为中心，集智能制造、设备运行、功能查询、装配训练、远程培训、动作示范等功能于一体的智能制造虚拟仿真工厂。本系统通过视觉、听觉和触觉让学生身临其境地体验现代化的智能制造工厂，使学生在学校就能够熟悉智能制造的生产加工、装配运输等各流程环节，为学生更好地找准学习方向和毕业后能够无缝对接岗位打下良好的基础。

基于虚拟现实技术，配合系统集成技术，将VR与智能工厂整合，创建智能工厂知识资源子系统、智能工厂数字模型资源子系统以及智能工厂虚拟装配子系统等，开发了可用于工程实训的智能制造虚拟仿真工厂。学生可以通过智能制造虚拟装配子系统，在网页端或者执行程序端进行装备的虚拟拆卸与组装，不用通过实际的装配过程以及实际参与智能加工工作过程就能了解各部分的结构与运行状态，提高工程实训教学的安全性和高效性。

    同时为了达到场景真实感与实时性的平衡，利用3DS Max技术对场景进行优化。主要的优化手段如下：

    采用近平面合并算法将三角形面片合并成多边形面片从而优化模型面数；通过Edit Mesh或者塌陷命令合并相同材质的模型从而优化模型数量；对贴图进行烘焙处理从而提高渲染速率；使用Optimize或MultiRes优化命令定量的对模型的面数及项点数进行控制。

    同时还采用了细节层次技术（LOD技术），当相机距离物体模型较近时，将模型渲染至二维图片的像素量就越多；反之，其渲染的像素量就越少。

 

图4 虚拟数控机床和机器人

2. MES系统与虚拟场景融合大幅增强系统的真实感和专业性，实现智能工厂的完全仿真

    为了对工厂进行完全仿真，除了要仿真整个工厂的设施和布局之外，还要实现智能制造虚拟仿真工厂的数字化、智能化、信息化，形成闭环优化体系。

 

图5 MES系统的功能组成

    将Unity 3D中的虚拟场景与加工中心已有的制造执行系统（MES）数据库实现连接：将System.Data.dll、System.Drawing.dll和MySql.Data.dll拷贝到Unity 3D工程目录下Assets文件中，在Unity 3D项目中创建C#脚本，使用Visual Studio 2015编辑该脚本，运行脚本，使虚拟场景与MES系统实现数据联动。

    学生能够在虚拟场景中了解到整个智能生产过程，同时通过虚拟数据平台了解智能工厂的后台管理系统，熟悉整个生产过程的调度、分配、布局和优化，积累企业生产管理经验，为国家培养优秀的企业管理人才。

3.多人联机技术与进阶式虚拟实训考核模块相结合

    为了满足教学特点的需要，将智能制造虚拟仿真教学系统开发为多人联机模式的教学系统。在Unity 3D的HLAPI服务器系统下，利用NetworkManager组件就可以完成一个简单的联网程序搭建，将学生与老师纳入到同一个局域网中，互相可以观察到每个人的操作，这样不仅能够使学生自主学习还可以相互学习。

     同时在系统中设计了进阶式虚拟实训考核模式。进入虚拟工厂以后，由老师在虚拟场景中指导学生如何进行规范的虚拟装配操作，包括各个单元操作步骤规范、产品码垛封装流程规范、加工中心物料配送流程规范、物料出入库流程规范等。待老师讲解完毕，由学生在虚拟场景中独自操作，系统自动对其进行考核。

 

图6 指导老师对学生的装配操作进行考核

四．关键技术

1.虚拟仿真环境构建技术 

    通过综合运用各种建模技术、建模工具、图形库开发引擎、纹理映射技术、分形技术、粒子系统、多分辨率显示以及图形加速卡等软硬件技术对物体进行计算机建模，从而得到逼真的计算机视觉环境，并且能够流畅地显示和交互。

    根据工厂的实际布局，收集整理规划图、效果图、现场照片等，然后设计相应的场景。利用三维建模软件，绘制与编辑样条线、车削、倒角等。绘制模型贴图，创建灯光系统烘焙贴图，将烘焙好贴图的模型导入Unity 3D进行下一步制作。最后按照实际工厂中设备的运行动态将模型的动画与实际数据进行绑定，实现数据联动，构建出虚拟环境。

2.虚拟仿真交互技术

    除了场景模型的建立之外，交互操作也是虚拟仿真项目的关键。从组成上看，虚拟现实交互技术包括检测模块、反馈模块、传感器模块、控制模块以及建模模块等。在该系统中，主要采用了动态环境建模技术、实时三维图形生成技术、立体显示和传感器技术及系统集成技术。Unity3D负责整个场景中的交互功能开发，是将虚拟场景与用户连接在一起的开发纽带，协调整体虚拟仿真教学系统的工作与运转。

    虚拟现实交互技术主要有以下四个特征：***8194;强烈的临场感、友好的交互性、多感知性、虚拟现实世界的自主性。

五．技术指标

1.单场景模型总面数保持在100万面以下；

2.贴图分辨率：重点模型贴图烘焙分辨率1024***13809;024，次要模型贴图烘焙分辨率256***13810;56或128***13809;28；

3.用户佩带VR头盔后，双眼分辨率要求2K以上，能够获得真实的虚拟画面；

4.画面帧数至少保证90帧/每秒，确保佩带头显的视觉舒适度；

5.系统延迟控制在20ms以内，实现流畅的操作体验，可以避免用户眩晕；

6.位置追踪系统要确保较高的精确度；

7.头部抖动误差小于0.3mm，保证系统稳定性同时，带给用户较强的沉浸感。

六.作品科学性分析

1.虚实场景最大限度无差别

    完全按照国家标准和智能制造体系规范，实现高逼真度仿真，使虚拟场景与现实场景最大限度无差别。不同于生活中常见的VR产品，智能制造三维工厂的虚拟仿真具有严格的科学性和技术性标准。在产品的研发初期，多次实地考察智能制造生产车间，采访工厂相关负责人，拍摄大量实景照片。除此之外，本系统严格参考了工业信息化部和国家标准管理委员会共同组织制定的《国家智能制造标准体系建设指南（2018年版）》，整理了部分国内外智能制造工厂建设规划图，力求做到虚拟场景与现实场景无差别。利用三维建模软件，通过绘制模型、贴图、渲染烘焙等一系列步骤，经过多次的修改和调整，将场景细化到每一个机器人的运动轨迹、每一个车床的位置摆放、每一条AGV输送线路的规划等，精益求精，最终建立起了一套符合国家标准、智能制造体系规范的智能制造虚拟工厂。此场景相比较普通的模拟车间，有较高的真实性；相较于普通的计算机教学，拥有更好的沉浸感。

2.帮助学生建立智能制造整体架构

    本系统是对全规模的智能制造工厂而非单个加工设备进行仿真，使学生在全而精的虚拟场景中体验并建立智能制造整体架构。目前在VR工训教学方面还没有定型产品并形成产业化结构，这也是导致我国VR机械类工程实训产业发展缓慢的原因。无论是在高校内还是在教育培训市场上流行的VR教具都是对单个机床、单个机械设备的装配操作甚至是单个零部件的拆装，少有向更大规模虚拟仿真工程实训教学方向的扩展。

    智能制造虚拟现实仿真教学系统瞄准的是大多数中国高校在工程实训方面的共同需求。仿真模型包括厂房建筑结构、智能产线、立体仓库、机器人、AGV小车、布线、操作人员、MES系统等近100个模型，成功地实现了对智能工厂从硬件设施到企业管理的完全仿真。因此本产品具有广泛的适用性、包容性，可以帮助高校机械类学生建立智能制造的整体架构，为企业培养智能制造管理类人才。

3.系统具有广泛的可扩展性和技术兼容性

（1）以工训领域为依托向其他培训领域扩展

    本系统可以以机械工训领域为依托向其他教育培训类领域扩展，服务更多专业的学生。本产品只需要更换三维模型的制作，便可以向其他高校教育培训领域扩展，比如VR化学实验领域、VR物理实验领域、VR生物实验领域、VR电气实训领域、VR建筑设计领域等等，具有广泛的使用前景。这样必将改变传统的高校实验教学模式，不仅可以在一定程度上降低实验成本，提高实验的安全性，还可以真正调动学生的主观能动性，乐于学习，善于学习，且可不断重复学习，真正提高大学生的动手能力。

（2）借助“VR+5G”模式使系统实现质的飞跃

    在不久的将来可借助“VR+5G”模式使虚拟工训教学系统在真实感与实时性等方面实现质的飞跃。VR虚拟现实技术提升的关键就在于画面的分辨率和刷新率，而解决这一问题最根本的途径就是提高硬件设备的性能并加快数据的传输速率。如今我国本土企业华为率先开始了5G技术的大规模商用化，这将为中国VR技术的发展提供得天独厚的优势。本系统可以借助于VR+5G模式，大幅提高三维模型的逼真度、大幅增加渲染次数和图像的更新速率，给用户带来更满意的体验。“VR+5G”将推动高校虚拟工程实训产业快速发展。

4.不定期更新发布Web版系统

    为了能够充分满足用户需求和完善系统缺陷，会不定期升级和发布Web版系统。本系统既有安装在电脑上的可执行文件.EXE,也有嵌入网页中的WebPlayer格式。后期会针对用户的需要和产品存在的缺陷，不断完善本产品，通过对先进制造业发展的跟踪不断在场景中加入新的智能制造虚拟设备，通过算法的不断改进来优化虚拟场景的真实感和实时性，通过对C#脚本的不断开发来完成更多复杂的装配操作，比如普通机床主轴箱的拆装、虚拟机器手臂的遥控操作等等，提高系统虚拟场景的沉浸感。

实验平台借鉴大规模在线课程的理念，结合虚拟现实、网络、网络协同技术，采用先进的软件定义网络与共享硬资源思想，实现虚拟仿真实验的开放、共享。

5.助力培养高技术人才以加快建设制造强国

（1）打破了传统的工程实训模式

    智能制造虚拟仿真系统打破了“动嘴多动手少”“安全第一 ”的传统工程实训模式。相比于传统工程实训动辄需要投入近千万的资金用于场地建设、设备采购、设备维护、师资建设等等，本系统使学生的工程实训摆脱了时间和空间的限制，同时再也不必考虑实训中的安全问题。智能制造虚拟仿真系统的投入只有十万左右，而且后期系统升级与维护费用更是少之又少。学生可以在虚拟工厂中体验当今先进的智能制造生产加工技术，完成为提高实训技能而专门设计的加工装配操作，且可反复练习，不怕出错，以考核模块作为参考，不断改正，直到达到操作要求规范。这对于传统的工程实训模式可以说是一次革新。

（2）为建设制造强国输送更多优秀的机械类人才

     智能制造虚拟仿真系统可以提高机械类学生专业技术水平，为建设制造强国输送更多优秀机械类智能制造人才。积极践行国家“建设制造强国”、“卓越工程师”培养中“创新驱动、质量为先、绿色发展、结构优化、人才为本”的理念，将智能制造虚拟仿真系统用于传统工程实训落后的各高校机械类专业的实训教学，或者作为辅助实训教学手段，提高高校机械类学生的实训操作技能，使其能够提前熟悉今后的工作环境，明确自己的职业定位，形成良好的职业发展规划。

七．作品先进性分析

1. 出色地解决了真实感与实时性的双目标优化问题

  利用3DS MAX技术解决了大规模复杂的生产制造场景真实感与实时性的双目标优化问题。仿真模型涉及到整个生产系统近100个模型，给计算机带来了巨大的运算量。为了达到场景真实感与实时性的平衡，在不显著影响实景效果的前提下，利用3DS Max优化技术对场景进行优化。

    运用细节层次技术（LOD）和近平面合并算法优化模型质量；通过Edit Mesh或者塌陷法优化模型数量；对贴图进行烘焙处理从而提高渲染速率；使用Optimize或MultiRes优化，定量的对模型的面数及项点数进行控制。

2.MES与场景融合实现信息化和智能化

    创造性地将虚拟场景与现实工厂的MES系统融合，真正实现了虚拟工厂的信息化和智能化。除了仿真整个工厂全方位的设施和布局之外，还将现实智能工厂的MES系统数据库与Unity 3D虚拟场景外部端口实现了数据连接，通过C#开发实现了MES系统在虚拟场景中的数据动态显示，同时利用MES系统优化调度虚拟工厂的生产运行。使学生在虚拟场景中不仅能够从虚拟生产设备而且也能够通过虚拟数据平台了解到智能工厂整个智能生产过程的后台管理、调度、分配、布局和优化，积累企业生产管理经验，为国家培养优秀的企业管理人才。

3.沉浸式的虚拟加工装配操作技术

    利用C#开发了多种沉浸式交互技术，实现了在虚拟场景中的加工装配操作。为了支持用户与虚拟场景进行深度交互，利用Visual Studio 2015平台对Unity 3D的C#脚本语言进行编辑，同时调用Unity 3D自带的系统函数，开发了射线追踪技术，用以追踪头显和手柄的位置；开发了碰撞检测技术，用以检测错误操作和危险操作；开发了模型拾取技术，用以完成简单地加工装配操作；还开发了模型旋转、放大、缩小技术，用以仔细观察生产设备的机构组成和生产操作细节，等等。

4.进阶式虚拟操作考核模块

    本系统内设计了进阶式虚拟操作考核功能，可以自动对学生的学习成果进行量化打分。传统实训有固定的时间、地点、人员安排，这对于缺乏实践的大学生来说非常被动，要求通过一次实习完成所有技能的学习是不可能的。通过进阶式虚拟实训考核功能，学生可以随时随地自主学习，围绕智能制造的某个难点不断重复、多次装配和操作，根据考核结果不断改正错误，直到达到自己满意的成绩为止，完成工程实训能力自我提升。这样就充分发挥了学生自己的主观能动性，将工程实训从课堂延伸到课外，也使学生的工程实训成果得到极大的提高。

5.创造性的双重交互方式设计

    创造性地设计了双重交互方式，使实训对时间、空间和设备条件的依赖大幅降低，从而大大提高了学生的学习效率。考虑到用户的不同需求和系统硬件对于使用环境要求的限制，设计了双重交互方式。当指导老师带领学生进行工程实训教学时，实训场地安装有位置追踪器，师生们可佩戴头显并使用手柄进行沉浸式交互，在虚拟场景中完成加工装配和其他规定操作。

当学生想要课下自主学习时，如果周围缺乏配套设施时，本系统为其提供了桌面式交互方式。只需要一台笔记本、一个头显和系统的可执行文件，通过键盘上的方向键便可进行智能制造虚拟仿真工厂的漫游学习，方便快捷。

6.多人联机交互技术

    系统可以实现多人联机交互，真正做到了将工训课堂从现实场景延伸到虚拟场景。在Unity 3D的HLAPI服务器系统下，利用NetworkManager组件就可以完成一个简单的联网程序搭建，将学生与老师纳入到同一个局域网中，互相可以观察到每个人的操作，这样不仅学生能够实现自主学习和相互学习，老师也能够通过这种方式来指导学生如何进行规范操作，检验学生的学习情况并给予客观的评分。

八.所获奖项即相关成果

1.该系统已申报2019年国家级大学生创新创业计划训练项目；

2.获得湖北省第十二届挑战杯课外学术科技作品竞赛三等奖、武汉工程大学第十四届“挑战杯”大赛一等奖；

3.获得中科院院士、华中科技大学博士生导师熊有伦教授和国家级专家、武汉理工大学博士生导师陈定方教授的大力推荐，并给予肯定；

4。已有一项发明专利正在受理当中；

5.已与武汉蓝洞电子信息技术有限公司、武汉信息系统工程咨询服务有限公司达成初步合作意向。

九．使用说明

    使用本团队设计并提供的VR虚拟仿真教学产品时，用户从网页端登陆该教学系统，并佩戴头盔，手持手柄以便追踪使用者的体感动作，进而完成与虚拟工厂的交互。由于这套系统可以将使用者的视觉、听觉与外界隔离，用户可排除外界干扰，全身心投入虚拟环境中去。通过沉浸式的体验方式，用户可以在工厂环境中协同完成相应的交互实验，提升学生学习的专注度。另外老师也可以通过外接显示设备，根据实验中的问题对学生进行实时指导，确保学员有良好的实训效果，达到提高教学质量的目的。

十．技术特点及优势

1、安全性得到保障

    实训要与机械、电工类设备接触，由于学生无法充分意识到实训设备的危险性，可能操作不规范而导致伤亡事件。使用本团队的VR虚拟教学产品时，可以有效避免学生受到伤害，在保证安全的前提下，提高了教学质量。

2、投入成本得到控制

    本团体设计的VR虚拟现实仿真系统采用互联网设备和软件集成，可以快速高效地完成一整套虚拟教学系统的构建，大大降低了成本。本产品降低了场地成本，建设一间数控车床实训中心至少需要500平方米的场地，而本产品的使用只需要一间普通的教室。另外相比于传统数控车床每次操作都需要消耗原材料，VR虚拟现实仿真系统可以重复操作，基本没有损耗，很大程度上节约了成本。

3、不受时间和空间限制

　　利用虚拟现实仿真系统，学生可以进行深度实训。在空间上，教学单位能够较为灵活的安排工程实训课程，不受场地、人员的限制。学生可以直接在网络端登录系统进行学习，打破了空间的限制，让学生随地都可以进行学习。在时间上，学生依次完成实训步骤后，借助虚拟现实技术可以大大缩短加工时间，学生当场就可以看到成型作品，课堂效率大大提高，老师也有更多时间讲解相关的重点和难点。

十一．适应范围

    该套系统是虚拟现实技术与高校工程实训教学的融合。本系统具有3D建模仿真、虚拟现实交互等功能，可应用于智能制造虚拟工厂的漫游参观、虚拟装配实训、操作步骤考核等高校工程实训项目，不仅减少了人力物力投入，而且提高了高校在工程实训方面的教学质量，有巨大的市场应用价值。

十二．市场分析及经济效益预测

    随着互联网技术和虚拟仿真技术在实验教学中的应用，改变了传统的教育模式，使得“教与学”的方式发生了革命性的变化。智能制造虚拟现实仿真实验系统不仅仅能够降低教学成本、提高实验教学效果，更能打破实验教学中时间与空间的限制，实现随时随地的学习。本团队抓住了现有工科实训教学的缺陷，开发了可用于工程实训教学的智能制造虚拟现实仿真系统，并在武汉工程大学机电学院投入使用。该系统受到老师和学生的一致好评，另外本团队也已经和武汉蓝洞电子信息技术有限公司、武汉信息系统工程咨询服务有限公司达成初步合作意向。

    智能制造虚拟仿真实训教学系统的成本主要是系统初期开发费用（包括软硬件设备）、操作主机采购费用、系统平台办公教室建设费用、人员管理费和软件系统更新费用。前期仿真教学系统的开发费用和软硬件设备费用约 50万元，软件系统更新费用，操作主机采购费用，总共约3万元，系统平台所占教室费用约20万元，而传统的工程实训工厂建筑费用和设备采购费用至少需要500万元，可以大大减轻学校的经济压力。

    后期本团队将不断改进智能制造虚拟现实仿真实验系统，结合机械类专业的建设，按照机械大类人才培养对创新实践能力的要求，构建相对完整的虚拟现实仿真实验教学体系，并计划用5年时间，使智能制造虚拟现实仿真教学资源能覆盖机械类专业实践课程。同时，本产品还将细化实训过程中的操作步骤，增强使用过程中的现实感和沉浸感，激发学生们的学习兴趣，提高学生的动手能力。