MIT又一突破!用AI过滤音源,让音乐更悦耳
发布时间 2018-07-09 13:55 亿欧网 阅读 337次
MIT又一突破!用AI过滤音源,让音乐更悦耳
统计 阅读时间大约2分钟(698字)

2018-07-09 MIT又一突破!用AI过滤音源,让音乐更悦耳

PixelPlayer 进行完全自监督的学习,人们无需对数据注释,而且系统目前已经能识别 20 种乐器。

7月9日报道(编译:杨卟咚)

一般利用均衡器可以将音乐中的低音部分调出来,但是麻省理工学院的计算机科学和人工智能实验室(Computer Science and Artificial Intelligence Lab,CSAIL)的研究人员发现了更好的解决方案。他们所研发的新系统 PixelPlayer,能够利用人工智能来区分和过滤声音,让音乐听起来更洪亮或更柔和。

将指定视频录入经过充分训练的 PixelPlayer,系统随机能够过滤伴奏,同时识别音源,接着计算图像中每个像素的音量,然后通过“空间定位”确定产生相似音波的片段。

今年9月,德国慕尼黑即将举行欧洲计算机视觉会议(European Conference on Computer Vision),会议中要发表的一篇新论文则详细论述了“像素的声音(The Sound of Pixels)”。麻省理工学院计算机科学和人工智能实验室的博士生,同时也是这篇论文的合著者 Zhao Hang 同学表示,“最好的情况就是,我们能识别出哪种乐器发出怎样的声音。”

1.gif

PixelPlayer 的核心是一种基于乐器组合多模态训练的神经网络,数据集采用了 Youtube 上 714 条未经修剪且未经标记的视频。其中,总时长为 60 小时的 500 条视频用于训练,剩余的则用于验证和测试。在训练过程中,研究人员分别根据原声吉他、大提琴、单簧管、长笛和其他乐器向系统馈入了算法。

这只是 PixelPlayer 多重机器学习框架的一个部分。经过训练后的视频分析算法将从剪辑帧中提取出视觉特征,这就是系统的第二个神经网络,即音频分析网络。音频分析网络将声音拆分为片段,并从中提取特征。最后,音频合成网络将把上述两个网络输出的特定像素和声波关联起来。

PixelPlayer 进行完全自监督的学习,人们无需对数据注释,而且系统目前已经能识别 20 种乐器。Zhao Hang 说,较大的数据集增强了系统的识别量,但识别乐器子类的能力却不佳。系统也可以识别音乐元素,例如小提琴的谐波频率。

研究人员认为 PixelPlayer 可以进行声音剪辑,或者帮助机器人理解动物、车辆和其他物体所制造的环境声音。他们写到,“我们希望我们的工作能够开辟新的研究途径,从视觉和听觉信号角度实现声源分离”。

近日,上交所密集在各地召开科创板征求意见座谈会,作为国内科技创新企业最主要的投资机构,一批代表性的创投机构...[原文链接]
人人车裁员实际早从去年下半年即发生,同时将全国范围近百座服务城市直接关停至30多座。对此信息,人人车多名被...[原文链接]
2019年,全国范围内的P2P合规检查工作持续开展,行业内的清退P2P也随之增多。据网贷之家不完全统计,继杭州、上海...[原文链接]
彭博报道称苹果宣布与高盛共同开发联名信用卡。市场研究公司MoffettNathanson分析师丽莎·艾丽斯表示,苹果做...[原文链接]
据美国《华尔街日报》报道,美国电动滑板车创业公司Lime本周即将宣布,摩根士丹利董事总经理泰德·托比亚森出任...[原文链接]
每周精选查看更多 >
寒冬必读:“有效管理团队”被投资人公认为卓越创业者必需的能力,2019年创投市场确实没有“风口”
寒冬必读:“有效管理团队”被投资人公认为卓越创业者必需的能力,2019年创投市场确实没有“风口”
一场名为“无风口时代的新投资”圆桌论坛在下午的活动中举行,论坛由希鸥网创始人李志磊主持,对话嘉宾包括创势资本创始合伙人汤旭东、未名之光创始人兼CEO孙伟、安芙兰资本管理合伙人谭文舒、德商资本管理合伙人吴伯仲... [详细]
寒冬里的滴滴、ofo、趣店:风光不再,裁员如麻
寒冬里的滴滴、ofo、趣店:风光不再,裁员如麻
这几天,刀哥晚上打滴滴的车子时,刚落坐,滴滴客服的电话就打了进来,询问是否安全上车,客服还特意叮嘱,有问题记得及时按一键报警功能。 [详细]
希鸥网评论:“京粉”借助微信生态能否逆转“淘宝客”?
希鸥网评论:“京粉”借助微信生态能否逆转“淘宝客”?
不难理解,淘宝客业务要想做大,最关键的就是流量。即,让足够多的人看到淘宝客推广的优惠券才有可能实现“下单购买”,从而拿到卖家发放的佣金。笔者身边有个人从事淘宝客者,图的是工作无拘无束,也有10多人团队一起奋战淘宝客... [详细]
OFO单车和锤子手机科技为何突然失控?
OFO单车和锤子手机科技为何突然失控?
ofo北京总部楼下,退押金的人形长队还未散去。ofo后台显示等待退款的用户数字,已经跳过1000万,仍在滚动。这样的景象,也曾出现在20公里外的乐视大厦和锤子总部。前来讨债的供应商拉起横幅,上面书写“乐视还钱!”“锤子科技还... [详细]
一个成熟的CEO竟然要先学会裁员,而且裁员之前有套路
一个成熟的CEO竟然要先学会裁员,而且裁员之前有套路
建立超高人效流程型组织的“砍人”三板斧:就是在企业内部建立以客户价值为中心的流程,然后根据流程生成职位、建立团队,去重新再思考每一个部门和组织的存在价值,消灭一切对客户不产生增值的多余流程和角色,减少冗余,迅速提... [详细]