浏览数:172

面向博物馆行业应用的虚拟触觉交互系统

参赛方向: 面向行业专业的3D/VR/AR创新应用

参赛赛区: 浙江赛区

参赛组别: 教师组

参赛院校: 浙江理工大学

参赛院系: 机械与自动控制学院

参赛教师: 吴新丽、马善红、赵德明

项目简介

本作品研发面向博物馆行业应用的虚拟触觉系统,打破博物馆文物“不让摸”的现状,突破数字图像“只能看,摸不到”观念束缚。建立图像触觉信息的再现机制,表达出图像中物体的形状、纹理和柔软性等多模态触觉信息,开发了一个图像触觉交互感知系统,使得图像中的物体不仅能够看得见,还能摸得到。

项目详情

国内外相关研究已证实,具有区域特征和触觉纹理特征的图像有利于人们触觉认知物体,因此,本技术的原理流程如下所示:

1. 探索图像的区域划分方法,把图像表面划分为若干个合适区域;

2. 研究基于区域的触觉纹理信息恢复和物体表面轮廓形状的表达方法,具体包括:

(1). 研究像素点的高度值求解算法,恢复出物体表面每个像素点的高度值,表达物体表面的粗糙度;

(2). 研究物体表面三维重构技术;

(3). 分区域(区域组)和分层次地表达出图像中物体表面的三维轮廓形状。

3. 探究基于区域的图像形变技术,具体包括:

(1). 构建图像形变表面模型;

(2). 探索柔性区域和形变表面之间的映射技术,实现柔性图像的视、触觉同步呈现。

4. 探究基于区域的图像力触觉再现方法,实时输出稳定且连续的力触觉,具体包括:

(1). HIP与图像表面物体三维模型的碰撞检测技术;

(2). 基于图像区域组的材料属性,建立图像力触觉计算模型;

难点创新

本作品提出了一种高效重构物体表面三维形状的方法,建立了图像触觉信息的再现机制;研发出一个图像触觉交互感知系统,能够表达出图像中物体的形状、纹理、粗糙度和柔软性等视觉和听觉难以表达的触觉信息。

成果成效

本作品在2015年的美国博物馆及网络联盟大会,以及中国自然科学博物馆协会主办的高峰论坛上进行了展示,首次将虚拟触觉技术应用到博物馆教育教学的互动体验,受到参会者的一直认可和好评。另外,我们也将作品带到北京故宫博物院,西汉南越王博物馆等国内知名博物馆进行现场测试,得到了广大游客的喜爱。

北京市海淀区学清路8号科技财富中心
公众号
移动端