前沿科技创业的驱动者

解读VR:虚拟现实中的虚拟听觉与机器人听觉

2016-03-16 09:17 阅读(231)    评论(0)   

1月14号,高盛发布了一份长达58页的报告,详细讨论了虚拟现实(VR)和增强现实(AR)产业的未来发展状况,高盛认为VR和AR拥有巨大的潜能,它可能会成为下一个大型计算平台,到2025年AR和VR硬件及软件营收将达800亿美元,如果它们迅速跳出小众市场走向大众,年营收最多可以达到1820亿美元。

这条消息真是刷爆了朋友圈,笔者不禁慨叹虚拟现实领域的热闹,终于也忍不住提提大家经常忽略的声学领域。自从电话诞生以后,甚至一直到现在,我们远程传递信息主要还是依赖声音,那个时候声学的研究自然相当重要,甚至我们国内最早的DSP就是兴起于中科院声学所,大家到我们所参观看到独特的DSP大楼也总会多问几句。但是好景不长,随着智能手机的兴起,至少在消费电子领域光学的重要性已经超过了声学,不用慨叹技术弄人,实际上这才是真正的进步,因为人类也是主要靠眼睛获取信息,而耳朵辅之。有时候我们也会开玩笑:眼睛在前,耳朵在后的人体结构决定了各自的地位。当然这样说不太准确,因为两者实际上是协同一体的,根本就无法割裂开来。

实际上,智能手机火爆的当下,真正赚钱的光学厂家也不是太多,毕竟这个领域类似计算机技术一样竞争过于激烈,而且巨头提前布局已然形成了垄断地位,从摄像头模组和电容触摸屏行业分析中就可窥探一二。反而声学这个不被重视的行业,却在国内孕育出了不少大型企业,比如山东的歌尔声学和共达电声,浙江的新嘉联等上市企业,耳机配套厂家就是更多了,就连造音箱的漫步者、奋达也已上市。

ff7c49550182bee5-c396f3f058a76100-a32cd7b5e9c5ca31da8f6c2b0d7e513b

什么是VA和RA?

从上述简单道理来看,未来虚拟现实的火爆自然也会引发虚拟听觉的火爆,虚拟听觉(Virtual Audition)是相对于虚拟现实的概念来说的。实际上现在的虚拟现实叫法还不准确,应该叫虚拟视觉,因为现在的VR/AR设备还都没有考虑声音的问题,包括现在的3D电影。这个问题在看3D电影的时候,感受应该很明显,声音或多或少总会和画面的方位脱节,特别是当坐到了影院两侧过道的时候,似乎声音总是在头顶一方。虚拟听觉就是要解决这个问题,这是个很大的研究和应用领域,包括了虚拟环绕声、虚拟3D声等等,甚至利用小声定向音箱投射产生的虚源声音也属于这个范畴。

从现在的头戴式VR/AR设备来看,虚拟环绕声和虚拟3D声应该是最有应用前景的。虚拟环绕声只能做到一个平面上的声音定位,而虚拟3D声则可以做到立体空间的声音定位,这种虚拟出来的声音会让人类的耳朵明显感觉到声音的方位,尽管只是戴了副耳机而已。

除了上述的虚拟听觉技术,未来跟随爆发的还应该有机器人听觉技术(Robot Audition)。机器人自然也是各大巨头看重的未来行业,但是仔细想想机器人的核心是什么?显然,传感系统、机械系统、控制系统、视觉系统、听觉系统、触觉系统等等都是关键要素,可谓涵盖了几乎所有相关学科。机器人自然要应用人工智能,但是最先突破又能够落地应用的人工智能又是什么呢?显然,听觉智能又会走到最前面,毕竟耳听八方,眼观六路嘛,听觉有着先天优势。从最近各大巨头收购相关声学初创企业的动作来看,这点应该是确信无疑的(见附录)。

RA主要研究什么?

50d2f8e19304f850-8bb9d7673476e422-dbf68b435ac3f7b0fd854a79acf31926

首先就是仿真人类听觉系统,人类真正解剖听觉系统是在文艺复兴时期,著名的医学家维萨里(Andreas Vesalius,1514-1564)在1543年发表了划时代的著作《人体的构造》,被认为是最早的耳科解剖学家。随后很多著名人物都对人类听觉的认知做出了贡献,而在1961年,贝克西因发现了耳蜗内部刺激的物理机制而荣获诺贝尔医学和生理学奖。虽然直到现在还是没有搞清楚听觉的原理,但是这些研究成果足以推动至今我们仍在快速发展的各声学相关学科。显然,机器人或者智能设备必须拥有一副仿真的人类耳朵,这才能解决机器人自动适应环境以及与人类的自然交流问题。通俗来说,就是要让机器人听得到,就这一个要求就必须解决远程拾音、声音定位、语音增强、噪声处理、语音识别、声纹识别等等众多技术问题。

其次机器人听觉还要解决听觉智能的问题,也就是听得懂。我们人类的听觉系统是和神经紧密相连的,而且现在也知道大脑中专门有个部分处理声音信号,医学上常称为语言中枢。当然机器人也就需要这种中枢,很多语音识别厂商包括Apple、Google、Nuance、百度、科大讯飞等等也都希望建立这种听觉中枢系统。由于语音识别大都基于DNN算法,所以当下的深度学习技术极为流行,搜索Deep Learning的论文简直就没法翻页了。但是这有个问题,Deep Learning是基于大样本的,需要初始大样本训练,恰好适合云应用。笔者认为机器人采用这种大样本训练倒不合适,训练样本总是特定的,而机器人面临的环境是多变的,这我们需要机器人能像人类一样自主学习,也就说举一反三,因此笔者认为,未来机器人的听觉智能必然是基于小样本训练的,而我们的团队也一直在这方面努力。很多关注声学在线的朋友经常反映我们的小声机器人一点不智能,实在抱歉。其实,这款小声机器人还未真正上线,我们觉得还达不到我们想要的效果,暂时就不出来挑逗大家了,我们怕走向微软小冰一样的歧途。

最后机器人听觉当然要解决自动对话的问题,也就是说得出。机器人不同于其他设备,不能听到或者听懂了后一直默不作声,想想若旁边有个人也这样简直会发疯。人机对话自然也是声学相关的领域,人类的发音系统同样也是一个复杂的结构,至今也是没有完全搞懂,总之人体就是太复杂了。目前,这方面主要是语音合成技术,虽然最近几年进步很大,但是离我们的要求还差之甚远,机器人的对话自然也需要注入语调和情感,现在看来难度有点大。

虚拟现实和机器人领域涉及的声学技术太过庞杂,这篇文章不再赘述。简单概括来说,虚拟现实不仅需要虚拟视觉,也需要虚拟听觉,至少也要让虚拟现实中的场景和声音适配起来,否则由于眼睛和耳朵的失调更容易引起观看虚拟现实的疲劳感。机器人和人工智能则更需要声学技术来实现最可能落地的人机交互,我们知道,识别声学特征明显的物理环境和采用语言传递信息是我们人类最有效的保护手段和交互手段,而真正的机器人也必须能够完全从环境中提取丰富的声音信息,以及像人类一样使用语言进行自然信息通讯。

原文源自“声学在线”

未经授权,严禁转载。

 

分享到:

相关推荐

  • QQ截图20160905115633

    3Doodler PRO:现实版“神笔马良”

      内容摘要 2013年,WobbleWorks公司推出一款3D打印笔3Doodler,日前,这家公司又在2016年的柏林国际电子消费品展览会(IFA)带来了一款新品,一款据称是准专业级的3D打印笔--3Doodler PRO。   大家还是否记得此前的3Doodler,它是WobbleWorks公司推出的一款3D打印笔,堪...

  • 20131206093420447

    为了帮你减肥,上海科大解析了大麻素受体结构

    上海科技大学近日作出一项重要科研突破,该校iHuman研究所科研团队成功解析了人源大麻素受体(CB1)的三维精细结构,或将为治疗肥胖、尼古丁成瘾等方面药物的研发提供新思路。 10月21日零时,该项成果以“Crystal Structure of the Human Cannabinoid Receptor CB1”为题,在国际权威学术期刊《Cell》上...

  • samsung4

    在为电池质量把关这件事儿上 三星原来如此与众不同

    三星电子的Note 7质量丑闻,目前逐渐平息,而三星尚未找到电池燃烧或者过热的原因,外界也十分关注此次质量事故是否是锂电池的问题。 据美国《华尔街日报》最新爆料,在美国手机市场,除了三星电子之外的所有手机厂商都通过第三方电池检测机构进行产品检测,唯独三星采用了隶属于本公司的电池检测...

  • 6a-l-fxvqctu5874469

    中科院团队新研究突破:让液态金属机器能“跑”能“跳”

    《终结者2》中的液态金属机器人T-1000 1991年,电影《终结者2》中出现了一款强大的机器人T-1000,这个用液态金属打造的机器人无论遭遇到多大的伤害都可以瞬间自动复原,甚至可以随意改变身体形状和脸部容貌。这种变形机器人一直以来都是科学家的目标之一,如今,中国科学家在液态金属领域的一项研究获突...

  • 2989496f585502771d71aacdc654492f

    全球首根百米量级铁基超导长线“出世”

      内容摘要 中国科学院电工所日前成功研制出全球首根100米量级铁基超导长线,接下来将突破大功率电力电子器件、高温超导材料等关键元器件和材料的制造及应用技术,形成产业化能力。   铁基超导材料是继铜基超导材料之后发现的一类新的高温超导材料,这是高温超导研究领...

评论 抢沙发

  • 昵称 (必填)
  • 邮箱 (必填)
  • 网址

SME 前沿科技创业的驱动者