第一款利用多触点技术的商业产品的开发 银触点

　　文章编号：1006-6268（2008）10-0026-05 　　摘要：第一款利用多触点技术的商业产品――JazzMutant公司的Lemur音乐控制器诞生于2004年。本文通过多触点技术发展的历程，从总体上描述了目前多触点技术利用的现状。在此特别关注的是无源矩阵的多触点技术。
　　关键词：多触点；音乐控制器；触摸屏
　　中图分类号：TN141文献标识码：B
　　
　　Developing the First Commercial Product that Uses Multi-Touch Technology
　　Guillaume Largillier
　　（Stantum, S.A.S., Bordeaux, France）
　　Abstract: The first commercial product to use multi-touch technology - JazzMutant"s Lemur music controller - came to life in 2004. Through the story of the development of the technology, this article draws the outlines of the current state of the art in the emerging realm of multi-touch technologies. In particular, this article focuses on passive-matrix multi-touch technology.
　　Keywords:multi-touch；music controller；touchscreen
　　
　　新公司创业有三种方式：以新兴技术打开新的市场；创造或应用新的技术来改进已有的产品；引进新的产品概念作为创新来满足新兴(快速增长)市场的需要。在开始向原始产品制造商通过组件或IP协议许可证方式提供多触点技术之前，JazzMutant公司(现更名为Stantum公司)可以归于上述最后一种公司。公司最初的动机是为实时音乐媒体播放器研发新一代的输入装置，以克服现有控制装置的许多局限性。以此为出发点，JazzMutant公司研发了世界上第一款采用多触点技术的商业产品。
　　
　　1 新方法的需求
　　
　　个人电脑的个性化，在过去的25年里深深地改变了我们的工作和生活方式。这种改变甚至在音乐产品领域中更显而易见，音乐软件产业正在以惊人的速度、高竞争的态势发展着。结果是，现在的一些在家里利用笔记本电脑制作音乐的爱好者比1990年代中期一些专业的音乐室的装备还要好上许多。尽管是这样，在2002年，JazzMutant公司在开展这个项目的时候，遇到的最主要的问题是传统的输入设备（鼠标、键盘等）根本不能适用于制作音乐。鼠标和键盘设计的目的，是重复性的顺序行为（打印、点击、滚动等），而制作音乐需要同时处理很多变量。一个音乐家或声乐工程师不管在哪个阶段，都需要同时控制很多参数。
　　因此，音乐硬件制造商研究了多种专业的输入设备，我们称之为音乐控制器。每种设备都能完成一种用鼠标或传统键盘很难完成的功能。2004年以前(在很大程度上，现在仍是如此)，市场上大多数音乐控制器，是对现实使用中的设备的机械模仿或者简单扩展。实际上，最流行的控制器就是操作键盘（像钢琴一样的设备）和表面模仿混合控制器，一个像桌子一样大的上面镶嵌着滑动控制装置（音量控制器）和旋钮的仪表板的控制台。
　　这些设备不需要使用者的任何适应过程，因为和他们过去使用的基本一样。但是，这些专业控制器缺乏多功能性、模块性和视觉反馈效果。正是由于这样，大多数音乐家不爱使用它们，还是直接用鼠标和传统键盘在电脑上进行操作，尽管它们是那么的不好用。我们的目标就是要克服这些问题，以便给音乐控制器硬件赋予无穷的创造力，使其像一位纯粹的音乐家那样去表现音乐软件的特性。
　　传统产品的概念是一个靠用户界面（UI）编辑软件支持的基于触摸屏的控制器。它可以让每一名使用者来设计自己的界面，这种界面可以满足使用者的需要，成为使用者满意的软件，使用者认为控制器就应该是这个样子。例如，在某种情况下，使用者可以利用虚拟的混频电位器混合多种声源。在下一种情况下，使用者可以利用其他种类的用户界面（UI）来控制一个均衡器或软件的合成器。对音乐应用来说，一个不能同时完成多种功能的界面是毫无用处的。这就意味着用于音乐应用的触摸界面必须是多触点的（参见图1）。
　　
　　目前主要的瓶颈就是仅有的少量可用的多触点技术（如来自Tactex and FingerWorks公司的）都不透明。换句话说，它们不能提供任何视觉反馈，这成为我们企划的主要障碍。尽管触摸板技术最早的开发可追溯到1980年代的初叶，但是众多的触摸板技术中，如模拟电阻的、表面电容的、红外线、表面声学波（surface acoustic wave ，SAW）等，没有一个能够同时探测和跟踪到多个手指。经仔细地回顾技术发展水平后我们得出结论，要想制作出超出以往概念的产品，我们首先必须去开发一种透明的多触点感应系统，以使得用户能够同时操作几个用户界面。
　　对我们的目标而言，多触点技术即意味着能够同时探测和跟踪至少两个接触点（即在单数据搜索画面期间），当然接触点数没限制更好。这个和那些不太准确的（也是普遍的）多触点的定义不同，因为后者指多触点是指能够感应交替的两个输入或接触点的能力。
　　
　　2 研发初期：寻找突破点
　　
　　为了更好地了解我们的研发过程，我们首先详细说明一下我们的产品需求。
　　我们需要多触点显示能将触点输入和可视反馈这两种功能结合起来。所以不能够与用户界面直接交互的多触点电容触摸板（如由Tactex，Finger-Works等公司提供的）就不是最适合的。同样，某些光学系统（如FTIR和视频跟踪）也不适合，因为它们的形状使它们难于与可便携的轻便器件，如笔记本计算机、PDA、小型电话、游戏卡或音乐控制器等集成于一体。其后，像MS界面、三菱电气研究实验室的菱形触摸技术等技术就逐渐集成到各种不同的触摸界面上来了。为了让这种模块能顺利形成一个完整功能集合的产品（便携式控制器，桌面控制器等），可量测性就十分重要了。为了能够探测到应用者所有的手指，产品需要一个反应时间非常短的触摸屏，因为对音频应用来说快速反应是非常重要的。同时，这种技术必须能够在任何情况下都能适用，如室外和像俱乐部一样烟雾大而且潮湿的环境等。
　　同样，音乐家需要的触摸技术要能够在其他触摸技术（例如SAW）由于手指潮湿或出汗而不能适用的情况下仍能保持精确性和可靠性。最后，我们不希望在21世纪中期才在市场上看到我们需要的技术，我们希望这种技术能够尽可能地靠现有的、成熟的技术研发出来。上述界定很大程度上指明了我们的研发策略，而且为我们的选择和定位提供了信息。
　　从理论上讲，有两种触摸感应技术可以传递多触点：有源矩阵和无源矩阵。有源矩阵触摸屏是由一系列的如"taxels"（tactile elements）等独立触摸感应点构成的。这些感应点可以由晶体管或光敏二极管等有源器件组成。但是，我们很快就会发现这种方法需要一个不必要的、非常复杂的、昂贵的制作工艺，而且结果也不确定。据我们所知，目前市场上还没有这种产品，尽管一些TFT-LCD制造商最近展出了一些小的有源矩阵触摸显示器模型。
　　另外一种就是无源矩阵。无源矩阵触摸屏是由两个网格式排列的透明传导层组成的。底部的传导层感知横向，而顶部的传导层感知纵向，两个传导层中间隔有绝缘物质。传导层可以由传统工艺制成（ITO或细的金属线）。像数字电阻和投影电容这样的矩阵触摸屏已经产生了几年了――两者比较见表1。但是，就它们本身来说并不能感应多个触点。因为常规情况下，它们不能同时探测到一行上或者一列上的多个触摸点，除非能够有种特殊的方法来控制和驱动。这就是无源矩阵多触点技术的难点，这也是我们的研究从2002年到2003年关注的地方。
　　
　　
　　3 多触点技术核的研究
　　
　　我们的多触点技术研究是从传统的5-in开始的。数字矩阵触摸板由20行25列的网格组成，非常容易得到。尽管不像类电阻感应器一样流行，数字触摸屏在工业控制方面也被普遍地应用几年了。无源矩阵触摸屏的问题是它的节点不是独立的单元；任一节点是两个相互垂直的导电条的交点。用传统的控制器，它不能够同时感应到两个触点（参见图2）。
　　
　　第一个原型的主要目的就是要开发一种新的扫描方法使得我们能够得到矩阵中每个触点的状态，这样能够使网格的每个节点成为独立的感应器。一般来讲，为了读取无源矩阵触摸屏的数据（数字电容式或投影电容式），传统的方法是逐列加上电压，然后扫描每一行看每一行的电学特性（接触或电容变化）是否发生改变。但是，这种方法不能可靠地探测到同一行或者同一列的几个触点，因为各点之间会相互影响。
　　2003年夏天，我们设计了一个新的控制器，它能够每秒传递20次的整幅矩阵图像，能够给出每个节点的状态。我们的控制器设置每列为高电阻（加了电压的那列除外）。在此情况下，电流就不能通过那些未激活的列从而影响测量结果。随后，测量一个选定行的时候，其他行都接地。用这种方法使我们能够独立地测得矩阵中每一个节点的状态。
　　虽然第一个原型设计能够同时跟踪几个触点，但是还不能令人满意。比如，在触摸屏的某些区域，即使根本没有手指去触摸，也会时不时地显示好像有"幽灵"在触摸的现象。而在另一些情况下，触摸点会彼此覆盖，这是因为由ITO等这类透明电极材料构成的行列引线的电阻会随引线长度的增加而成比例地增加，因此，感应器左下方测量到的电压会比右上方的电压大一点。结果就是，第一个触点会吸引大部分的电压。而第二个点的电压就会由于过低而测量不到。
　　解决的办法就是在行输出时采用一个可调电压比较器来确定观察到的电压能够证明触摸屏上的探测区域是否有手指活动。该比较器的参考值（阈值比较）在每一行的测量中都会被消耗。因此最后一行的对照值会比第一行的低，这样就确保了左下角的点和右上角的触点能够一样被探测到。经过对控制器进行几次改进，到2003年底我们拥有了一个可靠的多触点感应系统。
　　这种探测和跟踪几个接触点（手指、铁笔等）行为的方法在我们2004年在法国的首个专利申请中进行了详细的介绍（参见U.S.专利申请2007/0198926的英文版）。在这一阶段，我们证明能够从无源矩阵感应器得到一种可靠的多触点信息，但是离适合我们产品的合适系统仍有一段距离。
　　
　　4 结合硬件和软件
　　
　　下一个步骤就是要进一步改进控制器。我们需要的多触点控制器的扫描频率至少为60Hz，因为现实音乐的应用需要一个觉察不到延时的瞬间反应。同样，我们需要的矩阵触摸屏应具有非常高的分辨率并能探测到非常小的触摸力度。从应用角度出发，我们产品的目标是最少每厘米有7行或每平方厘米有50个节点，这就能够保证即使手指轻触也能覆盖至少8个节点。实际触点的分辨率依赖于接触面积的尺寸，接触面积的选择受手指大小和力度的双重影响。在最后产品中，有效精度是矩阵精度的2~3倍。
　　任何一个设计触摸屏的人都知道，为了特定的用途开发一个合适的感应器主要的问题就是平衡众多的参数：硅树脂点的分布和位置，PET聚酯的厚度，表面涂层等。因为我们从一开始设计的时候就是使用具有高对比度、宽视角的工业级高亮度的TFT显示屏，对我们来说光学形貌的问题远不如机械特性来得重要。这个决定很大程度上减少了光学方面的约束。2004年7月，在经过了几个感应器设计和试制后，我们最终研发出了一个综合性能令人满意的触摸屏，这使我们能够在2004年7月发布具有全功能的第一款产品的样机，那就是如图3所示的Lemur音乐控制器。到2005年7月，在多触点技术远远没成为主流话题之前，我们正式发布了Lemur。
　　
　　从那时起，除了进一步改进多触点技术和介绍第二代产品Dexter之外，我们研发的另一个重要部分――数字音频工作站控制器（参见图4）则专注于软件开发和用户界面设计。多触点技术提供了与电脑和电子设备交互的新途径，使得用户在享受娱乐的同时还能创造价值。但是，要使多触点技术能高效应用，尚需要一种新的交互策略和用户界面设计的途径。多触点交互性不仅仅是硬件的问题，同样也是软件的问题。
　　除继续改进我们的产品外，我们还开发了一些多用途的多触点交感（interaction）技术。如在2007 SIGGRAPH会议上我们推介了第一款多触点激活板（multi-touch-enabled tablet）的PC样机。这台样机呈现矢量图形应用的特征，能够使用户用一种直观的用户友好的方式来快速描绘制图。这项应用的用户界面同时融合了手指触摸和铁笔输入。
　　
　　5 结 论
　　
　　 多触点显示屏技术为未来产品研发打下了良好的基础。通过精简生产工艺、节约成本和改善利用现有技术方式，我们会在3年内将Lemur音乐控制器（相信是世界上第一款商业多触点显示器产品）推向市场。
　　
　　(南开大学光电子所 姚颖，熊绍珍 译自《Information Display》12/07）