微信应用和iPhone 7,能给3D音频带来什么?

2016-09-26 10:30:34     作者:陈孝良      来源:雷锋网

微信应用号的内测无疑是一个重磅消息,那么,微信应用和iPhone 7,给3D音频带来了什么?

雷锋网(搜索“雷锋网”公众号关注)按:本文作者陈孝良,工学博士,声智科技创始人。雷锋网独家文章,转载请联系授权。

微信应用号的内测无疑是一个重磅消息,这几日覆盖了媒体头条,各个领域都在猜测微信应用对于APP带来的重要影响。虽然暂时还无法确认微信应用在音频支持方面的细节,但是微信这几年在音频方面的进步还是有很多惊喜。

微信对于音频的支持主要有两种方法,一个是微信内置的浏览器,另外一个就是JS-SDK,这两种方法面向的开发应用场景不同。JS-SDK对于音频的支持主要是录音和识别,但是这两个功能被微信自身严重限制,扩展性很差,当前主要应用于微信Native SDK集成的场景。

微信应用推出之前,真正能够带给开发人员想象力的则是微信浏览器。微信浏览器曾经也很垃圾,老版本对于H5和CSS3的支持很差,一度让开发者吐槽为“移动端的IE”。 2016年4月,微信浏览器终于升级到X5 Blink内核,而且Android和IOS平台兼容性基本一致,当时就激起各个开发社区的一波热浪。

微信浏览器能够支持哪些音频功能?我们用html5test进行了测试,结果如下图:

可以看到,微信浏览器已经全面支持最重要的Web Audio API接口。Web Audio API是H5里面一个用来处理和合成声音的Javascript接口。这个API可以被用来编写游戏声音引擎,以及实现类似各种音乐制作软件对声音的编辑和处理等功能。

事实上,Web上的音频播放一直比较落后,在H5之前主要依赖于Flash或者QuickTime的插件形式。而在此之前的音效体验,基本都是依赖于APP底层驱动或者硬件内置音效的方法。H5的Audio标签具有非常重要的意义,它允许了基本的流式音频播放。

但是,Audio标签仅能提供给开发人员对声音文件进行读取,播放,暂停以及音量调节的功能,它并不能处理更复杂的音频应用。对于复杂的基于Web 的游戏或者交互式应用,特别是游戏音频引擎和桌面音频处理应用里实现的混音、处理、滤波、音效、定位等功能,则就需要Web Audio API来进行处理。

Web Audio API包括了支持复杂混音的模组化音频路由、高动态范围音频处理、多采样精度和低延时音频处理、动态音效生成、声音包络和淡入淡出支持、声道分离和合并处理、音视频分离支持、网络实时通信支持、现场音频处理支持、动态压缩和频域处理、音频可视化支持、非线性效果和滤波器支持以及声信号参数生成等等。这些功能罗列起来,是不是有点类似音频领域的PS软件?事实上,利用这些API,可以快速做出一款“美声”的微信应用出来,下图就是Web Audio API的可视化效果截图。 

甚至,Web Audio API直接支持了各种场景空间音效,比如仅仅通过简单的几行H5代码就可以随意切换不同的场景,仿佛置身于真实的场景之中,享受沉浸式的声音体验。这些场景包括:大/小房间、教堂、音乐厅、山洞、隧道、门厅、森林、露天剧场、通过门口的一个遥远房间的声音、滤波器效果。好吧,几乎可以抛弃专业的音效插件了!甚至将来,硬件仅仅打通录音和播放的通道就可以了,至于效果完全交由软件来处理。

当然,Web Audio API最为吸引人的,还是对于空间音频,通常称为3D音频的支持。这里所说的3D音频需要加上“虚拟”两字,毕竟和杜比全景声相比还是有较大差距,但是若应用于当前流行的VR游戏或者聊天,Web Audio API的这项功能也还是不错。Web Audio API全面支持Equal-power、HRTF、距离衰减、多普勒频移、声源/听者模型等虚拟3D音频功能,利用这些API,几十行代码就可以实现较为逼真的3D效果。

这里要阐述下HRTF,即头相关传递函数(Head Related Transfer Function),通俗来说,就是试图模拟人耳获取声音的模型,并且通过这个模型虚拟出来任意声源所对人耳所造成的感觉。Equal-power也是3D音频的一种方法,但是效果不如HRTF更好一些。HRTF主要参数是ITD(Interaural Time Difference )双耳时间差、ILD(Interaural Level Difference)双耳强度差和双耳相关系数(Interaural Coherence)。科学家通过大量实验验证,这些参数和人耳处理声音的机制密切相关,但是没有准确的理论推导。因此HRTF需要测量众多人耳的数据,并通过这些数据建立起黑盒子的声学模型,这有点类似机器学习的意思。

从这点来看,Web Audio API提供的HRTF还是标准模型,仍然需要科研机构和专业公司继续研发完善。当然,开源也是其中非常重要的推动力量,比如Google已经开源的项目Omnitone,就可以配合Web网页体验VR/AR的沉浸式音效。国内SoundAI团队,也有开源HRTF数据库和配套引擎的计划。

但是若没有音频硬件方面的支持,上述的这些功能也大都是个摆设,无法打造出用户期望的效果。特别是在iPhone 7的双扬声器配置之前,大多数用户通过手机聆听的还是单声道体验,若想感受虚拟3D效果就必须佩戴耳机,这在VR领域很不方便,VR眼镜再戴上耳机总是个障碍。何况厂商所赠送的耳机,基本上也都是祸害用户的耳朵。这些配套的不足对于用户来说都是巨大的麻烦,也是3D音频发展迟缓的重要原因。可喜的是,大多数用户对于音质的渴求正在回归,几十元的耳机和低价的喇叭已经无法满足需求。这点从侧面来看也有所端倪,例如Vivo的卖点恰恰就是强调音质,而苹果直接在iPhone 7上同时提升了扬声器和耳机的配置。其实仔细一想也是,手机既然标配了双摄像头,自然也需要标配双喇叭,甚至多麦克这些音频硬件,用户无非就是关注声音和视频的沉浸式效果而已。

iPhone 7既然配置了双扬声器,AirPods也是独立无线双通道,相信国内的众多手机厂商很快就会跟上,这就给3D音频应用带来无限的空间,甚至基于微信的沉浸式3D音频体验也不再遥远。既然开发的难度降低很多,那什么场景才能黏住用户?游戏和音乐自然是重要的场景,但是这两个场景总是老生常谈,用户的预期基本上被消耗殆尽。当然,这都是企鹅帝国尤其重要的阵地,企鹅帝国开放平台的600万开发人员肯定还会推出各类微信音频应用。

产品经理总是喜欢挖掘能够超出用户预期的空间和产品,而最近火热的直播和VR,或许将是3D音频应用的重要场景,简单的音效提升对于用户来说可能都是惊喜。事实上,腾讯不可能不关注直播和VR这个领域。另外,微信最大的优势还在于庞大的用户社交群体,作为一个社交平台,微信会不会推出VR社交,VR直播,甚至3D语音聊天?这也是我们所期待的一个方向,虽然微信应用中还会是更多的音乐和游戏率先支持3D音频,但是至少,当我们在微信聊天的时候,我们应该感知到对方就在身旁…….

返回沙发首页  
沙发管家微信
扫描关注沙发管家微信 QQ群: 沙发网官方群 微博:

资讯评论

亲,你需要登录后才能进行评论喔!

还没有评论,快来抢沙发吧!

提示

热门设备安装方法 查看更多>>

最新设备

智能电视 / 盒子评测

安装指南

应用

热门专题