什么是多点触控?
1、多点触控定义
OFweek网,多点触控 (又称多重触控、多点感应、多重感应,英译为Multitouch或Multi-Touch)是采用人机交互技术与硬件设备共同实现的技术,能在没有传统输入设备(如:鼠标、键盘等。)下进行计算机的人机交互操作。多点触摸技术,能构成一个触摸屏(屏幕,桌面,墙壁等)或触控板,都能够同时接受来自屏幕上多个点进行计算机的人机交互操作。
多点触摸可以理解为一个屏幕多点操作。多点触摸不但是两个点或者几个点同时应用到屏幕上这么一点点便利,由于是多点触摸,所以他能感应到手指滑动的快慢以及力度(力度用触摸点的多少转换来实现),从而操作系统应用起来更加人性化。
多点触控意即一些让电脑使用者透过数只手指达至图像应用控制的输入技术。
要使用多点触控技术,装置必需配备触屏或触摸板,同时需装载可辨认多于一点同时触碰的软件,相较之下,标准的触控技术只能辨认一点,是其之间最大的分别。 能让电脑感受到物理上的触碰的事物包括:热力、指压、高速摄影机、红外线、光学感应、电阻改变、超声波接收器,微音器、雷射波幅感应器及影子感应器等。
现时已有若干多点触控的应用及计划。有些目的是令输入更个性化(例如:iPhone、iPod touch、MacBook系列、HTC Magic、HTC Hero、HTC Desire、Nexus One、Xperia及HTC Diamond),不过这种技术最主的目的是带来人机互动新时代。
2、多点触控发展
多点触控技术始于1982年由多伦多大学发明的感应食指指压的多点触控屏幕。同年贝尔实验室发表了首份探讨触控技术的学术文献。
1984年,贝尔实验室研制出一种能够以多于一只手控制改变画面的触屏。同时上述于多伦多大学的一组开发人员终止了相关硬件技术的研发,把研发方向转移至软件及界面上。同年,微软开始研究该领域。
1991年Pierre Wellner对多点触控 “数码服务台”,即支持多手指的提案,研制
多点触控出一种名为数码桌面的触屏技术,容许使用者同时以多个指头触控及拉动触屏内的影像。
1999年,“约翰埃利亚斯”和“鲁尼韦斯特曼”生产了的多点触控产品包括iGesture板和多点触控键盘。在2005年,被苹果电脑收购。
2006年,纽约大学的Jefferson Y Han教授领导研发的新型触摸屏可由双手同时操作,并且支持多人同时操作。利用该技术,Jefferson Y Han在36英寸×27英寸大小的屏幕上,同时利用多只手指,在屏幕上画出了好几根线条。与普通的触摸屏技术所不同的是,它同时可以有多个触摸热点得到响应,而且响应时间非常短——小于0.1秒。
2007年,“苹果”及“微软”分别发表了应用多点触控技术的产品及计划,令该技术开始进入主流的应用。
多点触控技术
触控技术我们并不陌生,早就有了。银行的取款机大多是触摸屏,很多医院、图书馆等的大厅都有这种触控技术的电脑。而支持触摸屏的手机、MP3、数码相机也很多。触控技术,用手指代替了键盘、鼠标,既显示出了最大的人性化,又在特定的场合减少了鼠标、键盘的空间。但是这些已经存在的触控屏幕都是单点触控,也可以说是电阻式触控。他的缺点主要是只能识别和支持每次一个手指的触控、点击,若同时有两个以上的点被触碰,就不能做出正确反应。
而多点触控技术能把任务分解为两个方面的工作,一是同时采集多点信号,二是对每路信号的意义进行判断,也就是所谓的手势识别,从而实现屏幕识别人的五个手指同时做的点击、触控动作。
iPhone为什么这么热销,关键就是它的多点触控屏技术,这个对于其他手机厂家来说是很致命的。苹果公司已经为多点触控技术申请了两个专利。
多点触控技术并不是那么容易实现的,它是从硬件到软件的一个有机的整体,可以说是一个系统工程。多点触控技术由硬件和软件两部分组成,如图1所示。硬件就是多点触控平台,完成信号的采集;软件部分是在硬件平台采集数据基础上进行触点的检测定位、跟踪、手势定义与识别,最后将识别出的手势映射为面向具体应用的用户指令。其中身份识别技术贯串整个软件实现过程。
图1 多点触控技术的关键技术
硬件平台
目前,多点触控的硬件平台有电容式、红外式、受抑全内反射(frustrated total internal reflection,FTIR)式、散射照明(Diffused Illumination,DI)式、激光平面(Laser Light Plane,LLP)式、散射式表明照明(Diffused Surface Illumination,DSI)式、发光二极管平面多点触摸技术(LED Light Plane,LED-LP)等技术。每种技术都有其优缺点,基于现有的多点触控平台存在的各种优点和缺陷,有助于研制成本更加低廉、安装移植更加方便、定位更加精确的交互式平台,以及与此平台无关的其他交互式技术。
遮挡分析
现有多点触控平台中,基于电容耦合电流或者基于红外的多触点检测的精度取决于传感器阵列的密度;而基于FTIR和多摄像头等检测方法都是基于计算机视觉技术的,如何完整地分割出触点轮廓进而实现触点的检测和定位本身就是计算机视觉技术领域的难点。
触点检测
多点触控平台在检测和定位出多个触点后,还需要对每个触点进行跟踪,记录每个触点的轨迹信息,再作基于轨迹的动态手势识别,才能实现基于手势的自由交互。多重触控平台所检测出的目标大都没有颜色和纹理特征,形状特征也相似,因此传统的基于图像特征的多目标跟踪方法不再适用。将主要根据触点的运动轨迹信息如用户手指运动的先验知识进行运动估计,此外还需充分利用多摄像头的物理位置关系约束对多摄像头进行一致性标记,从而实现多摄像头多目标的跟踪。研究内容包括同一传感器前后采样时间检测到的多目标之间的一致性标记,以及不同传感器之间多目标之间的一致性标记。
手势定义
多点触控技术最大的优点就是能实现基于手势的自由交互,手势定义是其中的关键基础。实际应用中用户的手势与应用背景是紧密相关的,所以在强调通用性的同时也应重视应用的导向作用。手势的定义过程应当首先提取用户意图,即在特定的应用环境下用户想要完成何种语义功能,然后确定用户要实现的功能通过何种手势来完成,并将手势分解为多个原子手势的组合,最终用户的一个意图被转换为一系列原子手势在特定关系下的组合。
手势识别
多点触控系统中的手势识别是基于触点运动轨迹的动态手势识别,其中动态手势对应着模型参数空间里的一条轨迹,涉及时间上下文和空间上下文,且不同用户做手势时存在的速率差异、熟练程度会在轨迹的时间轴上引起非线性波动。如何消除这些非线性波动是动态手势识别技术必须克服的一个重要问题。
考虑到对时间轴的不同处理,现有的动态手势识别技术可以分归三类:基于隐马尔可夫模型(Hidden Markov Models, HMM)的识别、基于动态时间规整(Dynamic Time Warping, DTW)的识别、基于压缩时间轴的识别。
身份识别
现有多点触控技术检测到的触点大都不携带用户信息,目前已知HTC的Diamond Touch平台也最多只能识别四个用户,而且多重触控技术未来的一个重要应用模式将是大尺寸交互区上多用户的协同。因此必须实现触点的用户身份识别,而且除了识别触点来源于某个用户外,有些应用还需要识别触点来源于用户的哪只手,这是多点触控技术最难解决的问题。
多点触控硬件部分技术的分类
LLP技术
主要运用红外激光设备把红外线投影到屏幕上。当屏幕被阻挡时,红外线便会反射,而屏幕下的摄影机则会捕捉反射去向。再经系统分析,便可作出反应。
FTIR技术
多点触控它会在屏幕的夹层中加入LED光线,当用户按下屏幕时,便会使夹层的光线造成不同的反射效果,感应器接收光线变化而捕捉用户的施力点,从而作出反应。
如图2所示,由LED(发光二极管)发出的光束从触摸屏截面照向屏幕的表面后,将产生反射。如果屏幕表层是空气,当入射光的角度满足一定条件时,光就会在屏幕表面完全反射。但是如果有个折射率比较高的物质(例如手指)压住丙烯酸材料面板,屏幕表面全反射的条件就会被打破,部分光束透过表面,投射到手指表面。凹凸不平的手指表面导致光束产生散射(漫反射),散射光透过触摸屏后到达光电传感器,光电传感器将光信号转变为电信号,系统由此获得相应的触摸信息。
由于多个触点同时响应,新型触摸屏充分释放了人手的控制潜力。不再像鼠标那样,一只手仅能够操作一个点,而多点触控技术是一种具有高度自由性的真正的多点控制界面。