新闻


Google新机将实现隔空操控,或终结触控时代?

日期:2019-07-31 浏览量:904



正常来说,谷歌Pixel系列新机在今年9月发布,在未公开之前,应该会对自家产品严格保密才对。但是今年有点不一样,由于谷歌开始押注硬件和云服务市场,这一次,谷歌决定采取积极主动的方式提前自曝Pixel 4,宁可自己来爆料,也不让其他第三方赚眼球。谷歌首次宣布,Pixel 4将是该公司新一代旗舰级智能手机。

首先,谷歌发布了一个预告片,揭示了一个独特的相机阵列和基本设计。在视频中,首先显示Pixel 4的解锁功能,一位女性的脸部接近手机的正面,意欲面部解锁。不久之后,她退后一步,用手在手机前挥动来控制音乐播放界面。

与此同时,谷歌在其官方博客揭秘,Pixel 4新机将搭载两大全新功能:

1、人脸识别:支持亚毫秒级的人脸识别解锁,而非屏下指纹解锁。通过新的算法和感应器结合,并没有使用上3D结构光景深技术。

2、隔空手势操控:Pixel 4将有一项名为“Motion Sense”的功能,也就是手势识别,使用Project Soli毫米波雷达传感器,隔空手势控制手机。

如果说人脸识别功能难以让人兴奋,那手势操控绝对是一项噱头十足的黑科技。如今,这个技术概念即将首先在Pixel 4手机上部署。这对当下所有电子设备厂商和消费者发出的一个重要预警信号:手势操作感应,很可能是近在眼前的一项未来交互科技。

挥挥手就能操控手机

2015年,谷歌先进科技与计划部门(ATAP)宣布开展一个新项目,代号为Soli,也就是现在所了解的毫米波雷达传感器,当时该项目致力于打造一个基于60GHz毫米波雷达技术的虚拟操控系统。利用雷达技术捕捉人的手势,对机器进行操作,其精度可达亚毫米级别。当时,它作为一个黑科技概念走入公众视野,人们并未对其有特别长远的期待。

但是经过近五年的研发之后,现在谷歌决定亮出这项技术的真面目。谷歌自家“亲儿子”手机Pixel 4将成为使用Soli雷达系统的首个设备。提供全新的体感识别功能,结合传感器和算法,通过雷达检测,让手机可识别手势动作,可以控制手机,用户挥挥手即可切换歌曲,控制闹钟,静音拨入电话。谷歌表示,随着Pixel的不断优化,这些手势控制也会随之优化。

与市面上的绝大部分手势和动作捕捉技术不同,Soli使用的是毫米波雷达技术,而非2D、3D摄像头或者红外光。它的工作原理与大众所熟悉的雷达原理相同:首先向一个区域发射电磁波,再接收物体反射回来的电波,加以处理、计算和分析。

当食指和拇指一张一合时,会模拟出按按钮的动作,向目标发射电波;而雷达接收器将会收到信号,阻拦来自该目标的反射能量,来回摩擦下,模拟出旋转旋钮等执行性动作,而这些动作都会干扰电波返回的时间和速度。在收集电波规律并加以分析和计算后,系统就能够识别出特定的运动模式,进而确定用户所做的动作,发出响应控制指令。

雷达技术不是触摸设备上的屏幕,而是实时跟踪(捕捉)动作,并通过所做的动作来改变其信号。将手放在传感器前方,凭空做出特定动作,比如打个响指,就可以控制带雷达的智能设备。它的操作演示是这样的:

还有这样的:还有这样的:
和这样的:和这样的:

有一种科幻电影的即视感。

Soli雷达传感器的作用,其实是从一个雷达信号本身,形成设备对手势识别的闭环链条。其使用的频率极高,波长很短,60GHz的频率对应5毫米波长。因此Soli传感器能量较为集中,方向性强,抗环境干扰,可以集成在封装内,轻易地穿过塑料外壳,捕捉毫米级别的手部动作变化,同时保证回波强度。

2018年末,美国联邦通信委员会(FCC)批准了谷歌的手势操作感应系统,“Soli项目”所申请的频段,允许它的毫米波雷达使用57-64GHz,峰值等效全向辐射功率(EIRP)可达13dBm。

在安全方面,谷歌也表示,Soli传感器数据也会在用户手机上处理,不保存或与其他Google服务共享,通过TitanM安全芯片的加持,保护并储存于手机本地(而不是云端)。另外,手势识别功能只会向部分国家/地区提供,暗指如果雷达频段与谷歌手势不匹配,或者有部分地区监管部门不批准的话,这项技术很可能不会在手机上执行。

类似功能其实在此前的三星Galaxy手机上就存在,但非常难用,用户需要打开相关设置,识别场景非常少,只能识别一些简单动作,复杂得无法实现。后来由于系统简化,将其功能删除了。

目前,谷歌官方暂未说明这项功能的应用范围,以及是否会在Pixel 4上预装,还是后续进行软件更新才会搭载,或许这个谜底将在10月发售时才会揭晓。

手势操控+人脸识别=更快解锁手机

相比手势识别功能,面部识别已经不是什么新鲜事了。前有iPhone X,后有OPPO Find X 3D结构光识别的移动设备,这一项新技术已逐渐成为了很多用户的日常所需,解锁、支付、下载应用,“一看就成”。

但谷歌表示,Pixel 4与其他手机的面部识别解锁技术不太相同。首先就是Pixel 4将结合Soli传感器执行操作,当用户的手接近到拿手机的距离时,Soli会主动启动面容识别传感器,并默认解锁手机的界面。随后,当算法识别到用户面部信息后会立即解锁,并支持以任意角度拿着手机,即使手机是反向拿起的。谷歌表示,Pixel 4的面部解锁也可以用于安全支付和应用程序身份验证中。

比较而言,iPhone上的苹果Face ID面容识别功能仅在手机垂直方向对准人脸的时候才有效,而True Depth景深摄像头系统位于手机顶部,遮挡都无法正常识别解锁,将设备完全抬起,以某种方式摆姿势,等待它解锁,然后滑动以进入主屏幕,这一动作略显繁琐。苹果在iPad Pro中使用了相似的面容识别功能,仅多加了四个方向的解锁方式,并未出现以雷达感应器工作的情况,这对于谷歌来说,是一项独家的“黑科技”。

图|传感器和相机可在Pixel 4中实现Motion Sense和面部解锁(来源:谷歌官网)图|传感器和相机可在Pixel 4中实现Motion Sense和面部解锁(来源:谷歌官网)



除此以外,谷歌还发布了Pixel 4设备顶部各种传感器和组件的样图,说明如何利用Soli传感器进行面部解锁的。Pixel 4手机屏幕上方有两个用于面部解锁红外相机,一个环境光/接近传感器,一个Soli雷达传感器,一个点投影仪和一个面部解锁照明灯。根据谷歌的说法,用户的面部信息会保留在Pixel设备的TitanM安全芯片中,并且永远不会离开用户的手机。

非常有趣的是,科技网站9to5Google报道,谷歌正在通过外包形式,提供了5美元的奖励支持,换取街上的人脸的面部数据,以帮助训练Pixel 4面部识别系统的模型。街上的人被要求从口袋中取出“修改后的Pixel3XL”,这台手机是谷歌外包人员递给他的,既能看到通知,同时还能获取面部数据。当询问这是什么时,谷歌方面的员工只简单说明,它是一款“未来”的谷歌产品。

而谷歌公司发言人在今天证实,换取面部数据的目的是确保Pixel 4可以使用多种面孔。包括生物特征、面部识别等,减少具有性别和种族偏见的相关数据。此前亚马逊推出的匹配面部算法Rekognition,因其存在种族偏见而受到抨击。ACLU(美国公民自由联盟)去年进行的一项测试发现,在扫描国会议员的照片时,Rekognition错误地将28个人与警察的照片进行了对比。亚马逊将结果归咎于算法校准不佳。而最终导致美国很多州政府陆续拒绝这项技术的落地。

Pixel 4除了使用上Soli雷达传感器的面部识别,以及众多数据模型处理的识别精准之外,Pixel 4的面部识别速度和算法是非常关键的。

近日,谷歌发布了一款专为移动GPU推理量身定制的轻巧且性能卓越的人脸检测算法Blaze Face。能够在设备上以200~1000+FPS的速度运行,应用在多个人脸识别的场景中,这个算法主打的是“超实时性能”。

图|红色代表Blaze Face输出;绿色代表任务特定的模型输出(来源:谷歌论文)图|红色代表Blaze Face输出;绿色代表任务特定的模型输出(来源:谷歌论文)

谷歌在Arxiv网站上发表了相关论文,介绍了这项算法技术成果。据悉,这套算法将基于AR技术来进行人脸检测,由于人脸与设备之间拥有不同的焦距,提前通过前置和后置摄像头的AR拍摄,构建面部模型,及时捕获物体尺寸和大小。Blaze Face将生成6个面部关键点坐标,包括眼睛、耳朵、嘴的中心和鼻尖,通过锚点方式进行连接,以便估计人类面容的旋转角度。这样的设置可以使面部识别可以在各种方向上正常运行。

在算法层面,谷歌采用一种混合分辨率策略代替抑制算法,以重叠预测之间的加权平均值估计边界框的回归参数,提高人脸识别的准确度和速度,通过连续输入目标轻微偏移的图像来量化抖动量,提高每次输入识别数据的精准度,缩短整个面部识别时间过程。

虽然谷歌并未在论文中指明,该技术是否会在Pixel 4上应用,但可以预见的是,这种算法正在被谷歌进行不断测试,可能会在今年的Pixel产品中首次实现。

谷歌的MadebyGoogle战略

自Pixel系列诞生以来,谷歌CEO“劈柴哥”(桑达尔·皮查伊)愈加重视谷歌自研技术和落地效果,从云服务和硬件产品的投入力度可见一斑。在刚刚过去的谷歌母公司Alphabet第二季度财报中,“劈柴哥”表示,随着Pixel3A在5月的推出,第二季度的Pixel等硬件产品的销售额,同比增长超过两倍。

相比之前一年一新机的策略,今年这种6月发布性价比PixelA系列新机,9月发布Pixel数字旗舰手机的策略得以顺利实施。从市场和宣传反馈上来说,“一年两款新机”的确是谷歌非常不错的战略选择。此前罗永浩在接受罗振宇采访时表示,在手机这个红海市场中,三个月是一款安卓手机的宣传和发售结点。

(来源:谷歌官方)(来源:谷歌官方)

2015年,当“劈柴哥”担任谷歌公司CEO之后,提出了“MadebyGoogle”的口号,通过AI技术+硬件+软件操作系统,形成没有代工厂标示的Pixel手机、PixelC平板,并且发布VR、智能家居等多款自主研发的终端设备,开启了自主生产、研发之路。

过去四年,从市场反馈上来看,新的Pixel系列设备开始有了更多的意义,通过软硬件技术的一体化生产,给手机行业带来更多的发展前景,形成安卓设备的终极标准。比如谷歌Titan和TitanM安全芯片,就是一个非常典型的例子。

图|Titan(左)TitanM(右)(来源:谷歌官网)图|Titan(左)TitanM(右)(来源:谷歌官网)

TitanM安全芯片在硬件规格上,使用ArmCortex-M3内核,采用自研的算法,其前身Titan芯片应用在数据中心场景中,而后,通过写入最新版的安卓操作系统,搭载在Pixel系列手机上,防止受到恶意软件或黑客的硬件攻击,还可以保存用户的密钥,安全可靠。

在今天发布的官方声明中,谷歌强调,“安全和隐私是Pixel的核心原则”。

为了保护用户隐私和安全,数据都会安全地存储在Pixel的TitanM安全芯片中。这一个Google自主研发的软硬件产品,更灵活地使用在Pixel手机当中。

从MadebyGoogle战略中,大众可以明显感知到,谷歌对于技术的不断探索,软硬件结合已经形成了该公司发展的“护城河”。但与此同时,隐私、垄断等词语也伴随着谷歌公司的发展,这实在令人担心啊。

不管怎么说,这次Pixel 4新机在技术上的亮点颇多,非常值得期待。外媒预计,Pixel 4将于今年10月发布。在此之前,Note10、新iPhone都将陆续登场。

手势操控功能,能否帮助Pixel 4虏获更多消费者的心,需要市场检验;但Soli技术落地,带来的更大猜想就是,它会不会引领一波颠覆式更新,革了触摸屏的命呢?

本文转载于   创事记 微博 作者: 麻省理工科技评论    




推荐新闻

谷歌公布安卓新LOGO 今后不再用点心命名2019-08-23

8月23日消息,近日谷歌官方正式对外宣布,他们将会对Android品牌进行重大改变。安卓的外观和LOGO都将大改,同时安卓未来也将不再使用零食或甜点的字母顺序命名。

谷歌明日或推新平板“Pixel C” 剑指微软苹果2015-10-24

9月29日据外媒称,谷歌或于明天召开的发布会上推出一款全新Android平板,该新品抛开了Nexus头衔,代号Pixel C。

灵魂画手已上线 请注意查收您的谷歌小工具“Quick draw”2019-02-12

它是由谷歌开发的在线小工具,会给出具体的名词,玩家根据要求将其画出,在作画过程中人工智能神经网络会一直判别画面内容,直至玩家完成挑战或游戏时间结束。 每个图像的挑战时间为20秒,它会给出各种名词,比如:绵羊、饼干等,难度不一。

谷歌地图助难民逃难 让人贩子“失业”2015-10-26

欧洲现在正处于二战以来最严重的难民危机中:随着叙利亚内战持续到第四个年头,成千上万的人涌入欧洲大陆寻求庇护。可是与以往难民危机不同的是,现在的难民不再盲目行动。在逃难人群中,智能手机几乎无处不在。如同救援人员所说的那样,智能手机可帮助难民做出更明智决定,同时也改变了对他们的援助发放方式。

移动设备的胜利 谷歌移动搜索量首次超过PC2015-10-24

北京时间10月9日消息,据《华尔街日报》网络版报道,当地时间周四,谷歌母公司Alphabet搜索业务掌门阿密特·辛格哈尔(Amit Singhal)在Recode Mobile会议上表示,今年夏季,全球范围内谷歌在移动设备上的搜索量首次超过PC。他说,这些数据不包括平板电脑。

谷歌将Android 10.0开源代码发送到AOSP2019-09-05

今天谷歌正式对外推送了Android 10.0正式版,而Pixel系列设备可以率先尝鲜。据Android Open Source Project项目透露的细节是,目前Android 10.0的源代码正在被谷歌上传至该项目,而后一些厂商就可以使用公开版的新系统,毕竟安卓系统一直都是开源,谷歌也有必要这样做。android-logo-2019.webp 对于想要在国外市场销售的安卓手机来说,光有开源系统显然是不够的,还要有谷歌授权的GMS移动套件,如果没有这些移动服务,那么基本不会有国外用户购买你的手机。