原创 翻译:我所了解以及热爱的多点触摸系统(上) Bill Buxton

2009-8-3 20:46 3513 6 6 分类: 电源/新能源
说明:

Bill Buxton : 是人机交互研究领域的开创者之一,目前是微软的Principle
Researcher,主导surface的开发,在多点触摸系统研究方面算是大师级的专家,有幸在2008年的ISSCC上听过一次他本人的演讲,思路 清晰,很有激情的一个老头儿。这篇是他在07年初开始写的关于介绍多点触摸系统的文章,此后一直更新,最近的版本更新到2009年2月,介绍了多点触摸系 统发展的历史,提出了设计时需要注意的问题和发展方向以及指出了一些概念上的误区,读一读还是很受启发。自己胡乱翻译,分两次发上来吧






序言



自从iPhone发布以来,很多人询问我关于多点触摸的技术。理由可能是因为他们知道我在这方面的研究已经持续了很多年。但是问题是,我不能花时间解答每一个问题。所以我开始做这个我认为是最好的事情,就是在这个文档中总结我所想提供的答案。





多点触摸技术已经有很长的历史了。准确的说,最早我的小组开始进行这方面的工作是在1984年,与第一台苹果计算机的推出在同一年,而且我们并不是第一个吃螃蟹的人。此外,苹果在进行iPhone研发的时候,就很清楚多点触摸技术的历史至少可以追溯到1982年,而pinch的手势在1983年就已经开始使用了。这些都被清楚地记录在Wahyne Westerman当年的博士论文中,他曾经是FingerWorks公司的联合创始人,苹果在2005年收购了这家公司,他现在是一名苹果员工。



 Westerman, Wayne
(1999). Hand Tracking,Finger Identification, and Chordic Manipulation on a
Multi-Touch Surface. U of Delaware PhD Dissertation

http://www.ee.udel.edu/~westerma/main.pdf




我之所以说明他们知道这一段历史,并不是想批评Westerman,iPhone或者苹果。只是作为一个很好的习惯和学识,在推出一个新产品的时候需要做做家庭作业,了解一下相关的背景资料。我想指出的是,多点触摸这种所谓的新技术,并不是突然凭空产生的,尽管市场营销喜欢宣扬那种伟大的发明的故事,但是真正的创新却很少是这样一种方式。



所以,为了分享这一特殊技术的背后故事,我简单总结了一些我所参与、知道和接触了很多年的一些具有代表性的实例。如我所说,这些工作是未完成的而且至今仍在补充中。



如果想了解输入技术的背景,请参阅我的未完成的书稿中关于输入工具的原理和技术

http://www.billbuxton.com/inputManuscript.html

如果想了解输入设备,包括触摸屏和触摸板,请看我的个人字典

http://www.billbuxton.com/InputSources.html



一些条条框框



关于触摸技术,人们有很多疑惑,尽管它已有25年的历史,但是关于多点触摸人们却只有很少的信息和经验。



1.
请记住,当Engelbart and English1965年发明了鼠标以后,过了30年,直到WIN95的问世,鼠标才变得家喻户晓。尽管鼠标在1982年就已初次商用于Xerox StarPERQ工作站,而我在1972年就在加拿大的National Research Council第一次使用了鼠标,但是这些都显得无足轻重,这个技术过了30年时间才达到顶峰,所以按照这样计算,多点触摸再有5年就要过时了。



2.
请记住一句我的格言:所有事物都对某些东西来说是最适合的,而对其它东西来说就是最不适合的。关键是知道是什么东西,为了什么东西,什么时候,为了谁,什么地方以及最重要的为什么。那些试图寻找鼠标替代品的人最终都失败了,因为鼠标对某些东西来说很伟大,但也不是对所有东西。创造新的输入设备的挑战在于找到最适合和它一块儿使用的东西。



3.
为了提高产品性能,我们在显示技术方面需要多付出大概两个数量级的成本、时间和努力才能获得和在输入方式方面等量的性能提升,因为人类是视觉主导的动物,而且显示技术已经相当成熟,而输入方式还处于初级有待开发的阶段。



一些框架



因为我没有时间写一篇详细的论文,教程或者历史阐述。我只能告诉你一些可能会误导你思考和讨论的陷阱,我会提出一些我认为重要和相关的区别,主要通过对比的方式来论述。



  • 触摸平板和触摸屏(touch-tablets
    vs touch screen)





在某些方面,这是两个不同的系统。比如放在你桌子上的一张印有图案的纸,你认为它是不是显示设备(尽管是静止)?如果在触摸板上的显示是指基于触觉上而不是基于视觉上的呢?虽然能感应触摸的显示表面和触摸平板之间有相似之处,但是它们之间还是有着直观的差别。如果是所触即所见,我们就称之为触摸屏或触摸显示。而如果你触摸的表面并不是附着在屏幕上,那我们称它为触摸平板或触摸板(touch pad)



  • 分立性和连续性
    (Discrete vs Continuous)





多点触摸的的交互特性很大程度上依赖于触摸行为的分立性和连续性。许多传统的触摸屏界面都基于分立操作,比如应用虚拟键盘的多点触摸屏界面,当一个手指按住shift键而另一个手指按字母键来输入相应的大写字母。一个连续操作的例子是当两个手指按住长方形的两个对角向两边拉伸来进行调整。而在一个分立/连续联合操作中,一个手指模拟鼠标,连续移动到想要的位置,另一个手指则模拟鼠标按键敲击。



  • 自由度 (Degrees of Freedom)



交互的丰富性与自由度的多少非常相关,又特别依赖于技术所支持的连续自由度。传统的GUI是基于移动一个二维的指针或鼠标,因此自由度是2。如果要感应两个手指的位置,则自由度是4,以此类推。如果使用得当,触摸技术可能实现我们在现实世界中输入方式的丰富性。



  • 尺寸很重要 (Size
    matters)



触摸表面的尺寸很大程度上决定了能使用的触摸对象,有多少手指或手可以在表面活动以及何种类型的手势适合该设备。



  • 方向很重要-水平还是垂直(Orientation Matters - Horizontal vs Vertical)



传统的大尺寸接触表面通常只能感应一个接触点。所以如果你手的其他部分也放在接触表面上,和实际接触所用的手指一起就会给识别造成困难。而这个问题在竖直放置的接触表面上通常不会遇到,所以采用单点触摸技术的大型电子白板使用的时候不会有问题。



  • 触摸感知要重于接触和位置(There is more to touch-sensing than contact and position





很久以来,大多数触感设备只能识别表面是否被接触以及接触的位置,这对单点和多点触摸设备都是如此。但是触摸的其他特性正在某些系统中被逐渐发掘,并有可能丰富用户的体验。





1.
接触的维度/压力感应: 一个可以独立以及连续地感应每个点的接触维度的触感设备,很可能具有很丰富的交互性。注意我这里使用接触的维度而不是压力,因为通常压力所传递的是一种副效应-当你按得用力时,你的指印接触面积就会在接触点增大,而实际所感应的是接触面积而非压力。维度和压力都比单纯地感应是否有接触信息要丰富一些,但是二者之间仍有细微的差别。



2.
角度: 有些系统已经可以感应手指与屏幕表面所成的角度。比如McAvinney's
Sensor Frame
。这使得手指在某种程度上可以实现游戏棒的功能。这也可以让手指转化为一个基于接触点的矢量而投影到3D空间,这可以被应用到游戏或其他3D应用中。



3.
力量矢量: 与鼠标不同,用户一旦接触到屏幕,就会调整手指与屏幕之间的摩擦力以施加不同的力量矢量。例如,当不移动手指的时候,用户可以施加一个与屏幕表面平行的力,或在旋
转的方向施力。这些技术早在1978年就已经有所描述[Herot, C.
& Weinzapfel, G.(1978). One-Point Touch Input of Vector Information from
Computer Displays, Computer Graphics, 12(3), 210-216.]
。 并且5年以后在[Minsky, M. (1984). Manipulating
Simulated Objects with Real-World Gestures Using a Force and Position Sensitive
Screen, Computer Graphics, 18(3), 195-203.]
中又再次被提到.





这些过去的例子提醒我们很重要的一点,那就是应该把人的能力而不是技术放在首要考虑的位置。尽管以合理的成本实现这些能力可能很具挑战,但是值得再次提醒的是这个道理也同样适用于多点触摸。另外,多点触摸也是和其他的触摸创新同时期的产物。



  • 尺寸很重要II(Size
    mattersII)



和触摸表面尺寸同样重要的是所能感应的接触物尺寸,以Synaptics为例,它的触感器件可以区分感应手指(小面积)和脸颊(大面积),所以你可以通过将手机贴近脸颊来实现接电话的功能。



  • 单手指和多手指(Singer-finger
    vs multi-finter)



尽管多点触摸至少诞生于1982年,至今大量的触摸表面还是单点触摸。如果你只操作一个点,不论使用鼠标,触摸屏,操作杆,轨迹球,你都只能受限制于类似果蝇的轨迹语言。我们应该好好利用我们与生具有的多种肢体带来的便利。



  • 多点和多点触摸(Multi-point
    vs multi-touch)



实在是应该好好想想我们使用的各种手势和交互技能是否是一种很独特不同的技术。
很多我所见到的所谓多点触摸充其量只是多点。可以这样想:你不会认为你在笔记本上使用的触摸板是一种和鼠标不同的技术,双击,拖放等等都是相同的交互技术,而不会因为是使用触摸板,轨迹球,鼠标,操作杆或触摸屏而显得不同。



  • 多手和多手指(Multi-hand vs multi-finger)



很多情况下,操作可能不仅仅来自于不同的手指或不同的设备,而有可能不同的手对同一个或不同的设备进行操作。这取决于输入设备的规模。可以这样类比,在传统
GUI中,我可以用我的鼠标指向一个图标,点击,拖动,然后释放按键把它放下。或者我可以用鼠标指向,而用踏板开关来点击,这是相同的拖放技术,尽管这个操作分别来自不同的肢体和设备。



  • 多人和多点触摸(Multi-person
    vs multi-touch)



当两个点被同时感应,它们是来自一个人的两个手指还是各来自两个不同的人的一个手指是有很大区别的。对大多数多点触摸技术来说,你并不希望出现两个指针,但是当两个人工作在同一个接触表面时,这可能正是你所希望得到的结果。因此如果多点触摸技术能感知哪个接触来自具体哪个人就会很有价值,比如MERL所作的 Diamond TOuch system



  • 触点和手势(Points
    vs Gesture)
     



很多早期的相关工作,比如Krueger所做的就是感应手的姿势和位置,这已远超出了简单感知触点的能力。



  • 触笔和/或手指(Stylus and/or finger)



有人认为一个人必须在触笔和手指之间做出选择。确实在有些情况下,应用于触笔的系统并不适用于手指,但是很多系统是可同时使用触笔或手指的。这并不是非得二选一的问题(尽管有时候可能是一个正确的决定,这取决于背景和设计)。两者都有优点和缺点。但是记住这一点:如果手指是最好的输入方式,为什么 PicassoRembrandt不用手指作画?而另一方面,如果你想试试水的温度,手指显然是比铅笔要好的工具。



  • /手指和物体(Hands and fingers vs Objects)



触笔仅仅是在多点交互中可以使用的物体之一。很多多点/多点触摸的系统不仅能够感知在它上面的不同物体,还能感知是什么物体以及它的位置和方向。参见Andy Wilson的工作。而且,其他接触物或者触笔有可能会和手指同时使用。



  • 不同和相同(Different
    vs The Same)





什么时候事物显得相似或是不同,答案取决于你的身份是用户,编程者,科学家还是律师。我可以列出可达成共识的两点:



1.与
输入设备无关的图像: 不论用什么输入设备实现的技术仍是相同的技术,例如你用触笔,触摸屏,鼠标,操纵杆,触摸板或轨迹球实现的双击,拖放仍被视为是相同的技术。



2.
从用户角度看,输入设备的选择是有偏好的。虽然用户认为触摸屏和鼠标一样只是实现了相同的目的,但是不同的输入设备有它自己的优缺点,它们的性能(速度,准确度,舒适性,喜好)都是不同的,因此在不同的输入设备上得到的交互体验各不相同,尽管是它们都采用了同样的技术。用户和开发者为了控制一种特别的技术而从一种设备转向另一种设备是正常的。



一些属性



如我上面所说,所有事物都对某些东西来说是最适合的,而对其它东西来说就是最不适合的。人群的多样性,交流的方式方法的多样性,以及交流的信息属性多样性都会促进技术的发展以适应不同任务的特质。



但是潜在的问题是,这会把我们带入设备的海洋之中,每个设备都具有不同的目的和交互方式。这很可能会导致失控,使我们被泛滥的小装置所包围。这些小装置本身简单而有效,但是太多的装置可能无助于简化这个复杂的世界。但是,历史告诉我们,好的工具会在此过程中产生。想想你厨房里的各种刀具或者你工具房里的各种改锥,虽然它们种类很多,但是它们都有合适的用途,这引向了另一个老话题:所谓多的即是少的,或者说科技的多样性反而会降低复杂度,不过这并不是一定对的。



而触摸屏所基于的所谓软机器正相反,少的即是多的。少的但是更普遍适用的技术也会导致复杂度的降低。我们当然希望多点触摸系统能够仅靠单一设备而转化为适用特种任务的任何交互界面。但是功能照顾的太全往往不能把每一个功能做精做好。



一种触摸屏驱动的思路是:不用设计一个布满不同按钮和连线的输入设备,软机器仅仅构画出一幅设备的图像让用户通过它来进行交互。理想情况下,这与单一设备相比具有极大的灵活性。想象当你操作物理设备的时候,你可以同时触控多个按键或虚拟设备,这会是一个很好的用户输入界面。





同样的,多点触控扩展了我们在交互中使用的手势。我们可以做除了简单的指向,按键和拖动-这些
在过去主导了我们与电脑的交互方式以外的操作。这就好像我们不再用一根筷子吃中国食物、用一根手指去捏别人,或是用一只手拥抱别人。多点触摸是实现这些的一种方式,但绝不是仅有的一种或最好的一种。



没有免费的午餐



感觉  触摸屏和多点触摸屏的适应性也要付出一些代价。除了可能增加单一设备的复杂度,当你对着一幅设备的虚拟图像操作时你仍会觉得不适应,尽管它们模拟的是同样的功能,但是你的感觉仍会不同。使用过虚拟键盘的人应该会了解这种感受。



用户界面的两个因素是外观和感觉,而多数的基于触摸屏的系统都着重于外观,这有些具有讽刺意味,因为他们被称作触摸屏。



如果你是盲人你仅仅是很不幸,我们在某些时候都会是盲人- 比如当灯被熄灭的时候,或者仅仅我们的目光停留在别处。
触摸屏界面几乎都需要看,而不能仅靠触摸,因此当你看不见的时候,你不能开启,停止或暂停你的MP3播放器,除非你非要说你的触摸屏界面具有语音提示的功能。



而另一方面,机械按键在某种程度上可以盲操作,比如我们可以不看着键盘进行打字。



手持型的触摸屏设备通常都需要两只手操作 通常是一只手拿着设备,另一只手进行操作。因此操作的时候需要两只眼和两只手。



你的手指并不透明  触摸屏越小,手指遮挡的问题越严重,手指不会像图像和芯片一样缩小,这是有时需要触笔的原因之一,因为它可以替代手指而且非常纤细不会遮挡屏幕。



我们不用手指作画是有理由的 即使是在大尺寸表面,用手指也不如用画刷或触笔来
进行写和画更有效。在小型设备中,几乎不可能用手指替代触笔来记笔记或画画。如果设备支持高质量的电子墨水并具有合适的触笔和设计,用户可能可以像在纸上一样流畅地写笔记。值得注意的是在几乎所有只支持手指输入的设备中,都不支持草书功能。



太阳光 我们都曾经历过在户外阳光下很困难地读取MP3播放器,手机或数字摄像机上的LCD显示。但是至少在这些设备中,部分的功能可以通过机械按键来控制。比如即使你看不清屏幕的显示,你还是可以将数字摄像机对准目标按下快门。但是在只依赖于触摸屏的界面中,这就有些困难了,除非设备具有卓越的反射显示功能,否则在强光下可能无法使用。



但是所有这些问题是说明触摸设备不好吗?不,一点也不,这只是说明它具有自己的优缺点。天下没有免费的午餐也没有万灵药,如我所说,所有事物都对某些东西来说是最适合的,而对其它东西来说就是最不适合的。理解以及权衡这个相对的含义才能做出一个明智的决定,只是大多数消费者和设计者都没有足够的经验能够认识和理解这个问题,这正是我们需要多做一些工作来弥补的地方,希望我所写的对你们能有所帮助。

PARTNER CONTENT

文章评论0条评论)

登录后参与讨论
EE直播间
更多
我要评论
0
6
关闭 站长推荐上一条 /3 下一条