永利网站网址 5

【永利网站网址】为什么手势会是下一个设计爆点,国内有哪些技术方案提供商

原标题:为什么手势会是下一个设计爆点?

近日,美国专利商标局公布了一系列来自苹果公司的69项新授权专利。在这份特定的报告中,介绍了苹果申请的3D人机接口发明,它能够实现用户的手势识别与交互,进而对Mac电脑的功能进行控制。

译者篇首语:

这背后是被苹果收购的以色列PrimeSense公司,它是苹果公司TrueDepth摄像头和点阵投影器(Dot
projector)背后的技术支持提供商。

从语音识别、语义理解等基础技术的日臻成熟,到各大厂商纷纷发布各自的智能语音产品和语音操作平台,语音交互正在成为主流交互方式之一。但是语音交互也存在私密性差、易干扰他人等局限性,因此语音交互需要与其他交互方式进行配合组成多模交互才能发挥最大效用。而在众多其他交互方式中,手势交互符合人类自然心智模型,且已具备成熟的技术基础,无论是单独使用还是与其他交互方式组成多模交互,都能发挥良好作用,极有可能成为下一个设计引爆点。

在全球范围内,“老牌”的Leap
Motion和“新生”的Untouch、uSens、微动、京龙睿信、车萝卜、光晕Halo以及极鱼科技等多家手势识别公司算是中国代表公司。

本篇文章中,麻省理工学院媒体实验室讲师David
Rose结合他在全球创新设计公司IDEO的项目经历,分享了手势设计思路与方法、对手势交互的洞察以及手势交互的优势。本文基于他《Why
Gesture is the Next Big Thing in
Design》一文进行编译,在不改变作者原意的情况下,做了删减和编排。

从最早的消费类电子市场到如今的汽车市场,手势识别让用户能感受到“碟中谍”系列中阿汤哥在车内对空气挥手就能操作信息的场景。

导读:

永利网站网址 1

01 手势交互会是下一个设计爆点

而从目前的技术发展来看,实际上自动驾驶汽车中间很重要的一环就是体验,VR技术、AR技术,所有这些技术都是用来增强用户体验的。目前,利用摄像头进行手势识别已经成为部分高端车型的配置功能。

02 如何设计手势交互模型

奥迪、奔驰、宝马、大众、福特等知名主机厂都在旗下的量产或概念汽车产品上加入了手势识别技术,但这些产品的识别率及使用流畅程度并不完美。此外,包括伟世通、德尔福以及微软、谷歌、三星等Tier1和IT公司也有发布类似产品方案。

03 手势的特点

在那些主打手势控制的车中,宝马7系无疑是一个典型代表。它可以识别6种预设手势操作,实现音量、导航、通话和空调等的设置。大众高尔夫的系统可以通过手势滑动控制菜单选项、电台、滚动播放列表和浏览媒体库,可操作选项会出现光晕提示,同时还有可视化交互反馈。

04 手势交互的优势

而在2015年初,奥迪带来了处于开发阶段的手势识别技术展示产品。有了它,后排乘客就可以通过手势来控制后排娱乐系统的各项功能。

  • 以下为正文 –

根据硬件实现方式的不同,目前行业内所采用的手势识别大约有三种:结构光(Structure
Light)、光飞时间(Time of
Flight)以及多角成像(Multi-camera)。其中,宝马、大众等厂商采用的ToF,英特尔的结构光技术,以及谷歌的毫米波雷达技术。

自2010年Siri(译者注:苹果语音助手)问世以来,人们越来越热衷于语音交互界面。当我们需要调节室内温度时,我们会找Alexa(译者注:亚马逊公司的智能语音助手)。当我们想播放电影时,我们会通过遥控器进行语音搜索。据报道,截至2017年底,美国家庭中已拥有大约3300万台语音智能设备。

同时,手势识别在实际落地上,也正在与中控、智能后视镜、HUD等硬件进行集成。而早前,谷歌更是宣称,无人驾驶汽车已经可以探测“数百种情况”,能自我识别交警举起的停车标志以及骑自行车的人所做的手势。

但是,语音交互存在明显的局限性。语音交互很慢,当旁人在场时会使人难为情,而且必须使用令人尴尬的唤醒词,如“Okay,Google”或“Hey,Siri”。

同时,手势识别与语音识别的集成交互,也在成为趋势。目前,国内包括思必驰、云知声等语音技术公司均有投资相关的手势识别厂商。

不过值得庆幸的是,对着空气说话,不再是我们唯一或最好的选择。

此外,目前国内多家自主品牌的下一代互联智能车载系统中,都已经将手势识别作为其中一项功能进行集成。从目前的车型规划来看,2019年发布车型有望出现手势识别的第一波高峰。

01 手势交互会是下一个设计爆点

去年奇瑞汽车举办了一场小型内部技术成果发布会,发布了一系列AR+语音控制+手势识别等人工智能技术。按照目前透露的技术路线图,这些技术有望在2018年左右陆续在奇瑞产品上量产应用。

苹果公司的新款手机所采用的摄像头(译者注:此处应指iPhone
X的3D摄像头“TrueDepth”),可以感知三维空间,能记录每个像素的深度信息;而诸如Nest
IQ(译者注:谷歌子公司Nest推出的智能家用监控摄像头)、Amazon’s Echo
Look(译者注:亚马逊推出的一款搭载Alexa语音助手的相机,可根据用户的指令来完成拍照等动作)这样的家庭设备,也配备有摄像头。神经网络可以学习这些信息,并利用更多的训练集来提升学习效果。结合神经网络,这些新型相机可以在场景中创建人物的点云(译者注:计算机视觉领域术语,指三维空间参考系下表示目标表面特性的海量点集合)或深度图(译者注:计算机视觉领域术语,指有深度信息的图片,可以表示出物体的到镜头的距离),描绘他们的运动姿势,以及运动形态。经过训练,神经网络能识别特定的人,对他们的活动进行分类,并从远处对他们的手势进行回应。神经网络和摄像头技术的进步,共同为手势设计和基于手势的交互模型开辟了新纪元。

而将于近日上市的宝马全新5系插电混动版配备了全新“五维人机交互界面”,包含了自然语音识别、手势控制、触控屏幕、iDrive系统和热敏按键。

这些新的选择带来了一个问题:在现有的交互模式中
,触觉(触摸),声音(语音)和视觉(手势),哪一种更好?它们各自更适用于哪些场景?为什么?

Untouch(未动科技

现有用例指向了一个答案。当你在潜水、滑水、活在航母甲板上指挥交通时,听觉通道不可用,手势或触摸操作就变得重要了起来。

去年7月,Untouch正式发布4款3D视觉交互产品:3D手势识别产品——黎曼平台,3D人脸识别产品——欧拉平台,SLAM产品——笛卡尔平台,及场景重建产品——高斯平台。

在手术室内,外科医生的手是无菌的,所以她无法手动操作放射扫描仪,只能用语音和手势。如果你正在指挥管弦乐队或正在进行军事突袭,你无法喊出指令,因此,我们别无选择,必须使用手势。

全球著名的ToF深度传感器厂商PMD也宣布,选择Untouch的黎曼平台作为中间件为客户提供非接触式的交互方案,双方深度合作,推出了完整的手势识别软硬件一体方案。

在进行手势交流设计时,从查理卓别林到板球,有各种各样的资源可以启发我们。

未动科技的核心竞争优势一个是构建了智能视觉交互技术的基础性平台,另一个数以PB计的深度数据积累,二者结合保证了未动科技国内领先的嵌入式智能视觉交互技术。

(译者注:视频中展示了各种各样的手势,按出现顺序依次为:公共空间(台阶上的行为艺术、公园中的情侣)中的手势,挥动旗帜的士兵、气象播报员、隔空手势控制计算机桌面、卓别林在狮笼中的动作、舞台剧表演中的手势、指挥家的手势、手语中的手势、猜字游戏中的手势、板球中手势、音符的手势表达、瑜伽中的手势、校园中见面问候的手势、日本茶道中的手势、演唱中的手势、日常聊天中的手势、街舞表演中演员及台下观众的手势、科幻电影中的手势、哈利波特电影中的魔法手势、小丑的手势、太极中的手势、Butoh舞(日本一种另类舞蹈)中的手势,其它舞台表演中的非手势形态,星际迷航电影中外星人的手势等。)

目前,未动科技推出了车载智能视觉交互产品。该产品基于未动科技自主研发的国内顶尖的3D手势识别与3D人脸识别技术,实现车内智能座舱的非接触式手势控制、身份认证与驾驶员状态监控,从而提供一种安全愉悦的车载人机交互体验。

02 如何设计手势交互模型

未动科技正在加强和拓展与Tier1的合作关系,从而把视觉交互技术应用到更多的新车型中。

为了进一步了解手势的用途,我们剑桥工作室的团队利用了一个类似iPhone
X上搭载的摄像机,进行了一系列的实验,来探索什么情况下使用手势可能是最佳选择。

uSens

首先,设计师们两人一组,给每组一个想法,然后让他们通过四只手的姿势来表达这个想法。

2016年,uSens便与戴姆勒中国IT创新实验室一起展示了最新合作成果。这个车载手势交互应用了uSens的26自由度手势追踪以及6自由度头部追踪技术,体验者不仅可以在ARVR场景中观察3D汽车模型的内外部细节,而且可以进行交互。

永利网站网址 2

永利网站网址,uSens和Leap
Motion采用的是相似的原理,都是使用复数的红外相机来识别人手的运动。公司把这款自研的搭载红外相机的手势识别模组称为Fingo。

IDEO设计师两人一组用手势表达想法

uSens在2017年2月正式公开发售其手部追踪解决方案——Fingo。Fingo集成软硬件为一体,硬件上通过两个红外摄像头及三个红外辅助灯追踪手部动作,软件上基于计算机视觉及深度学习等算法,实现对双手骨骼的识别,大部分常用手势均可实现精准低延迟识别。

然后,两人相互讲故事。利用计算机视觉技术记录他们讲述的故事,并实时跟踪他们在讲述时手势,以研究什么时候我们会自然地通过手势来增强情感或者解释某个概念。

随后,uSens发布新版Fingo
SDK,在手势算法底层进行了改进,新增一系列双手交互动作,如握拳、手心写字、十指交叉等,在同类产品中,率先实现对大面积遮挡的双手交叠类手部动作的识别,并可实现对十个手指的细微运动追踪。

跟踪手势如何帮助讲述生活中的故事

微动Vidoo

(译者注:视频中展示的两组研究及采集手势的示例:两人一组,其中一人向另一人讲述一个故事,同时采用计算机视觉技术去跟踪讲述人在说话过程中的手势(如视频中的白点)。两组讲述人分别讲了两个风格不同的故事,一个讲的是自己想成为超人的梦想,可以控制原子去创造各种东西;另一个讲的是自己小时候的一件趣事。)

在去年4月份的上海车展上,微动Vidoo发布了Vdrive车载手势识别解决方案,实现传感器定制到UI人机交互界面设计全闭环。

永利网站网址 3

微动Vidoo从功能需求出发,进行算法优化裁剪,生成定制化方案;制定硬件通信接口与通信协议;量身打造标准化动作指令设计、UI设计、操作反馈设计。此外,通过HMI的动作设计环节以及底层的基础数据分析,还可以明确区分用户是有意进行手势操作指令的下达还是不经意的无意识动作。

永利网站网址 4

公开资料显示,微动手势识别技术的独特之处主要体现在,复杂的核心算法以及大量的数据运算不依赖于主机去完成,而是依靠硬件设备上的FPGA独立运算单元。Vdrive的手势识别解决方案,采用120Hz高频双目深度传感器,结合SoC架构的FPGA芯片,将图形图像、人工智能算法都跑在车载Vdrive内部完成,与上位车机进行指令级通信。

永利网站网址 5

极鱼科技

让一组人演示同一个动作或者指令,能看到不同人动作的差异。这样做的目的是找到尽可能通用的手势。

去年,国内以TOF方案实现手势识别模块的创业公司极鱼科技宣布,已完成2000多万元的A轮融资,将主要用于车内手势识别模块的研发和生产。彼时,极鱼科技的手势识别方案可以各识别5-10种动态和静态手势,车厂可以自选3-5个手势,并自定义相应功能。识别精度在1-2cm,识别准确度可达95%以上。延迟率则可控制在25ms内。

最后,我们训练神经网络来识别一小部分手势,用这些手势来控制飞利浦HUE灯(译者注:飞利浦推出的智能照明灯,可以通过手机或平板电脑灯光调节)、Spotify网站(译者注:瑞典音乐平台,当前最受欢迎的流媒体音乐服务提供商之一),在办公室创建了一套支持手势交互的系统。

目前极鱼科技现在可以提供中控手势交互、HUD手势交互、车内乘客娱乐交互三种系统方案。去年12月,极鱼科技进入Startup
Autobahn中国第一期加速器,并且获得了和戴姆勒合作的机会,推出基于手势识别的车载娱乐系统。

通过一组手势,我们训练办公室的的一些设备来响应我们的指令,调节灯光和音乐

京龙睿信

03 手势的特点

定位前装及准前装HUD定向研发与销售平台的京龙睿信,除了HUD本身,还自带主要交互方式语音识别,同时辅以手势识别。其中,手势识别主要通过“上下左右”四个方向的手势动作来识别相应的指令;这个是通过HUD机体面向车主一侧的夜视红外线传感器实现,它可以识别用户动作。

在尝试这些操作时,我们发现,手势必须具有一定顺序。就像在一个句子中,先名词后动词,手势必须顺序包含以下信息:施动主语以及动作。例如,对于“打开扬声器”这一指令,就需要用一只手表示施动主语,另一只手表示动作:用左手指向扬声器,然后抬高右手调大音量。

去年,京龙睿信与阿里YunOS达成合作,双方将基于YunOS系统,合力推出京龙第三代HUD产品H3。这款产品将进一步实现图像效果、距离、温度的优化匹配,在实现语音、手势等智能交互的基础上,将手势芯片和产品上扬窗口改版完成。在保证图像清晰、色彩不眩晕、明暗环境可识别的前提下,增加角度识别力,让产品与更多车型达到匹配。

另一个令人意外的发现是,手势具有代际特征

光晕网络

当我们发出“调高音量”的指令后,只有少数几个人作出了扭动旋钮的动作,而大多数30岁以下的人则是举起一只手掌或者用手指做了一个捏合的手势。

2016年底,总部位于深圳的初创团队光晕网络科技也发布其HUD产品光晕Halo,该产品历经约两年时间的研发。作为一个专注于车内交互功能的团队,光晕网络科技让他们的首款HUD产品主打手势识别、语音交互以及AR导航三位一体的集成体验。

04 手势交互的优势

光晕Halo的摄像头以自上而下的角度识别用户特定的手势,从而执行命令。该技术由光晕网络科技团队利用人工智能技术对200多万张不同手势的特定姿态图片进行训练;通过数据压缩,他们将5TB的原始手势数据库控制在5MB左右,这样大幅减少实际应用中耗费的计算资源。

分析研究结果后,我们将选择手势而非语音或触摸的原因归结为以下四点:

乐驾科技

1.速度:如果需要快速响应,手势比说话更快。

北京乐驾科技有限公司于2015年7月1日正式发布了全球首个基于语音与手势操控的“车萝卜”HUD智能车载机器人。成立于2015年1月的乐驾科技,凭借在语音技术方面的积累和优势,乐驾成立之初就定位于将打造一个基于语音操控和人机对话技术的人车交互平台。

2.距离:如果需要跨越房间进行交流,做手势比动嘴巴更容易。

其基于机器视觉的疲劳驾驶与视线偏离检测技术应用,通过在产品前置的摄像头,不仅可以完成手势识别的应用,还可以实现基于机器视觉的疲劳驾驶与视线偏离检测,主要包括三部分:检测人脸检测技术、脸部特征定位技术和疲劳检测技术。

3.
表意简洁:如果你不是一次要说很多事情,手势就比较好用。表达一定含义用到的手势越简洁,它就越容易被记住。(例如,拇指向上/拇指向下)。

4.
当强调表现力胜过准确性时:手势非常适合表达情感。乐队指挥所传达的信息,除了强拍和节奏,还有更多含义,如柔和,着重,自信、悲伤、渴望等等。

试想,一个新产品能够利用手势巧妙、具有表现力和快速的特点,该是一件多么令人兴奋的事情。

我们将如何以意想不到的方式来应用手势呢?我非常期待聆听你的想法。

作者介绍:

David
Rose是一位屡获殊荣的企业家、作家,麻省理工学院媒体实验室讲师。他曾于2017年担任IDEO剑桥的家居未来学家。他的研究致力于使物理环境成为数字信息的接口。他的第一本著作《Enchanted
Object》聚焦物联网的未来,以及这些技术将如何影响我们的生活及工作方式。

– END –

作者:David Rose

编译:AIID非正式编译组

原文链接:)

责任编辑:

发表评论

电子邮件地址不会被公开。 必填项已用*标注

标签:, , , , , , ,
网站地图xml地图