VR场景下间接虚拟屏幕的多点触控交互设计研究
Research on Multi-Touch Interaction Design for Indirect Virtual Screens in VR Environments
张慕财
| 关 键 词: | 虚拟现实（VR），VR交互设计，远距离UI交互，间接虚拟屏幕，多点触控技术 |
| Keywords: | Virtual Reality (VR), VR Interaction Design, Distant UI Interaction, Indirect Virtual Screen, Multi-Point Touch Technology |
摘 要
随着虚拟现实（Virtual Reality, VR）技术的进步以及低成本头显设备的普及，VR技术已广泛应用于多个领域，并提供了全新的交互体验。尽管VR交互设计的研究已经取得一定进展，但在应对复杂多样的应用场景中，还是存在一些交互问题。尤其是在与远距离UI界面元素以及多界面交互时，由于手势识别的问题和空间远距离交互的物理特性，会存在抖动，选择困难等痛点。本文创新性地结合间接虚拟屏幕与VR虚拟手多点触控这两种机制去改善这类问题。
为了更好地理解VR中交互设计的构成，在归纳总结现有的VR基础交互设计变量和VR交互研究之后，本文尝试构建了一套针对VR基础任务的交互设计框架。随后，通过初步实践验证了间接虚拟屏幕在交互性能上的优势。预实验的结果发现间接交互方式上能够有效提升远距离交互性能，然而，初步尝试多点触控技术（如双指放大）时，效果并未达到预期，这表明此交互方式需要遵循一定的设计原则进行优化和改进。
通过理论结合实践研究，本文详细分析了现有的人机交互原则、认知心理学、多模态理论和感知心理学等理论以及在本设计中的应用，结合预实验，总结出了一套具体的间接虚拟屏幕多点触控的交互设计的指导原则。这些原则旨在不仅设计出一种新的交互方式，而且提升整体的交互设计的用户体验，以满足复杂的VR应用场景需求。
基于这些设计原则，本文开展了具体的设计实践，实现了间接虚拟屏幕多点触控技术在VR中对一系列对象（图片、文本、视频以及3D模型）的交互操作。本文选择一个在VR中十分综合的交互场景，即在VR中对工业设计产品进行汇报。此场景让本文研究的各个内容有着充分的展现，也能很好得去实验VR中远距离交互问题。通过设计实践与对比实验，结果现实本研究中的间接虚拟屏幕多点触控技术在VR远距离交互和多界面交互中相当于传统的光线投射不仅在效率上还在用户体验上有显著优势，采用本文提出的交互设计策略和技术方案，能够显著提高交互效率和精确度，并在用户体验方面获得了积极反馈。
Abstract
With the advancements in Virtual Reality (VR) technology and the widespread availability of low-cost head-mounted displays, VR technology has been widely applied across various fields, offering entirely new interactive experiences. Although research on VR interaction design has made some progress, there are still interaction issues when dealing with complex and diverse application scenarios. Particularly, interaction with distant UI elements and multiple interfaces presents challenges, such as jitter and difficulty in selection, due to issues with gesture recognition and the physical characteristics of spatial long-distance interaction. This paper innovatively combines the mechanisms of indirect virtual screens and VR virtual hand multi-touch to improve these issues.
To better understand the composition of interaction design in VR, this paper builds an interaction design framework for basic VR tasks after summarizing existing VR interaction design variables and research. Subsequently, the advantages of indirect virtual screens in interaction performance were validated through preliminary practice. The pre-experiment results found that indirect interaction could effectively enhance long-distance interaction performance. However, initial attempts with multi-touch technology (e.g., two-finger zooming) did not meet expectations, indicating that this interaction method needs to be optimized and improved following specific design principles.
Through a combination of theoretical and practical research, this paper thoroughly analyzes existing theories in human-computer interaction, cognitive psychology, multimodal theory, and perceptual psychology, as well as their application in this design. Based on the pre-experiments, a set of specific guidelines for indirect virtual screen multi-touch interaction design was developed. These principles aim not only to design a new interaction method but also to enhance the overall user experience in interaction design to meet the needs of complex VR application scenarios.
Based on these design principles, this paper carried out specific design practices, implementing the technology of indirect virtual screen multi-touch in VR for interacting with a series of objects (images, text, videos, and 3D models). This paper chose a highly comprehensive interaction scenario in VR: presenting industrial design products. This scenario allows for a full display of the various elements studied in this paper and effectively tests the long-distance interaction issues in VR. Through design practice and comparative experiments, the results show that the indirect virtual screen multi-touch technology used in this study has significant advantages over traditional ray-casting in terms of efficiency and user experience in VR long-distance and multi-interface interactions. Adopting the interaction design strategies and technological solutions proposed in this paper can significantly improve interaction efficiency and precision and has received positive feedback in terms of user experience.
目 录 · Contents
第1章 引言
1.1 研究背景以及选题依据
1.1.1 虚拟现实技术的快速发展
1.1.2 虚拟现实中手势交互发展
1.1.3 虚拟现实中手势交互发展局限性
1.2 国内外研究现状
1.2.1 虚拟现实中手势交互技术分类
1.2.2 虚拟现实交互方式分类
1.2.3 虚拟现实中直接映射交互方式研究
1.2.4 虚拟现实中间接映射交互方式研究
1.2.5 虚拟现实手势交互的问题总结
1.3研究目的、研究问题和研究意义
1.3.1 研究目的
1.3.2 研究问题
1.3.3 研究意义
1.4 研究方法和创新点
1.4.1 研究方法
1.4.2 创新点
1.5研究内容和论文框架
第2章 VR基础交互设计理论研究
2.1 VR交互任务分类
2.2 VR选择交互任务
2.2.1选择交互的设计变量
2.2.2 影响选择交互性能的因素
2.2.3 VR选择交互设计框架
2.3 VR交互人体工学研究分析
2.4 虚拟现实中的反馈研究
2.5 虚拟现实基础任务交互设计框架
第3章 间接虚拟屏幕交互效率与准确度的对比实验
3.1 预实验目的
3.2 实验设计
3.2.1 实验概述
3.2.2 实验任务设计
3.2.3参与者与实验流程
3.3 实验材料
3.3.1 测量指标
3.3.2 功能实现
3.4 实施过程
3.4.1 实验环境
3.4.2 实验完成情况
3.5 实验结果与分析
3.5.1 数据结果
3.5.2 数据差异性检验
3.6 预实验讨论与总结
第4章 VR环境中间接多点触控的交互设计原则
4.1 交互设计原则的理论研究
4.2.1 人机交互理论
4.2.2 认知心理学
4.2.3 多模态和感知心理学
4.2 预实验结果反思
4.3 间接虚拟屏幕交互设计原则
4.3.1 原则A：学习简单与交互自然性
4.3.2 原则B：丰富反馈机制与操作确认机制
4.3.3 原则C：提升精确性和可达性
4.3.4 原则D：身体舒适度和交互多样性
4.3.5 原则E：可解释性与一致性
4.4 本章总结
第5章 VR间接多点触控的设计实践
5.1 设计实践选题
5.2 设计实践
5.2.1 交互工具的设计
5.2.2 间接虚拟屏幕设计
5.2.3 交互客体的设计
5.2.4 功能实现
5.3 本章总结
第6章 设计原型的对比实验
6.1 实验目的
6.2 实验设计
6.2.1 实验设计方法
6.2.2 实验任务设计
6.2.3 间接虚拟屏幕多点触控任务流程
6.2.4 光线投射交互任务流程
6.2.5 参与者
6.2.6 实验流程
6.3 实验材料
6.3.1 内容材料
6.3.2 实验测量方法
6.3.3 实验记录方法
6.4 实施过程
6.4.1 实验环境
6.4.2 实验完成情况
6.5 实验结果
6.5.1 图片操作任务实验
6.5.2 文本操作实验
6.5.3 视频操作实验
6.5.4 3D模型操作实验
6.5.5 综合交互实验
6.6 用户体验量表结果
6.7 实验结果的分析与讨论
6.7.1 数据结果分析
6.7.2 结果讨论
第7章 结论与展望
7.1 结论
7.2 局限性与展望
7.2.1 局限性
7.2.2 展望
参考文献
附录A VR用户体验测试问卷
附录B 核心代码
附录C 半结构化访谈提纲
致谢
个人简历、在读期间发表的学术成果
部 分 插 图 · Figures
本网站内所有资料属于数字动画与数字娱乐实验室及相应创作团队或企业，未经许可请勿传播（沪ICP备2022027791号）All content is copyrighted by the DAELab or corresponding organizations. No distribution is allowed without permission.