MIT又一突破!用AI过滤音源,让音乐更悦耳
发布时间 2018-07-09 13:55 亿欧网 阅读 260次
MIT又一突破!用AI过滤音源,让音乐更悦耳
统计 阅读时间大约2分钟(698字)

2018-07-09 MIT又一突破!用AI过滤音源,让音乐更悦耳

PixelPlayer 进行完全自监督的学习,人们无需对数据注释,而且系统目前已经能识别 20 种乐器。

7月9日报道(编译:杨卟咚)

一般利用均衡器可以将音乐中的低音部分调出来,但是麻省理工学院的计算机科学和人工智能实验室(Computer Science and Artificial Intelligence Lab,CSAIL)的研究人员发现了更好的解决方案。他们所研发的新系统 PixelPlayer,能够利用人工智能来区分和过滤声音,让音乐听起来更洪亮或更柔和。

将指定视频录入经过充分训练的 PixelPlayer,系统随机能够过滤伴奏,同时识别音源,接着计算图像中每个像素的音量,然后通过“空间定位”确定产生相似音波的片段。

今年9月,德国慕尼黑即将举行欧洲计算机视觉会议(European Conference on Computer Vision),会议中要发表的一篇新论文则详细论述了“像素的声音(The Sound of Pixels)”。麻省理工学院计算机科学和人工智能实验室的博士生,同时也是这篇论文的合著者 Zhao Hang 同学表示,“最好的情况就是,我们能识别出哪种乐器发出怎样的声音。”

1.gif

PixelPlayer 的核心是一种基于乐器组合多模态训练的神经网络,数据集采用了 Youtube 上 714 条未经修剪且未经标记的视频。其中,总时长为 60 小时的 500 条视频用于训练,剩余的则用于验证和测试。在训练过程中,研究人员分别根据原声吉他、大提琴、单簧管、长笛和其他乐器向系统馈入了算法。

这只是 PixelPlayer 多重机器学习框架的一个部分。经过训练后的视频分析算法将从剪辑帧中提取出视觉特征,这就是系统的第二个神经网络,即音频分析网络。音频分析网络将声音拆分为片段,并从中提取特征。最后,音频合成网络将把上述两个网络输出的特定像素和声波关联起来。

PixelPlayer 进行完全自监督的学习,人们无需对数据注释,而且系统目前已经能识别 20 种乐器。Zhao Hang 说,较大的数据集增强了系统的识别量,但识别乐器子类的能力却不佳。系统也可以识别音乐元素,例如小提琴的谐波频率。

研究人员认为 PixelPlayer 可以进行声音剪辑,或者帮助机器人理解动物、车辆和其他物体所制造的环境声音。他们写到,“我们希望我们的工作能够开辟新的研究途径,从视觉和听觉信号角度实现声源分离”。

云栖大会期间,阿里巴巴集团董事局主席马云在杭州接受新华社记者专访。他谈到了三点内容:退休、现今的...[原文链接]
上市后的美团,依然是一个没有讲完的故事,战斗和博弈正在继续,没有人能猜到结局。...[原文链接]
脱稿演讲的马云比照着稿子念的马云有趣多了。[原文链接]
久违地,马云又在演讲的时候说嗨了。 9月18日,阿里巴巴召开投资者大会。在宣布自己明年...[原文链接]
京东金融更名,虽是主动求变,更是无奈之举[原文链接]
每周精选查看更多 >
专访创势资本创始人汤旭东:做专业化的“小而精”天使投资
专访创势资本创始人汤旭东:做专业化的“小而精”天使投资
“早期投资经历了一场大的洗牌,谨慎投资,不要贪多,更不要贪大。”进入投资领域20余年的创势资本董事长汤旭东谈到自己的投资心得。 [详细]
【希鸥专访】创客总部李建军:未来十年的创业密码就是把握消费升级和科技创新大趋势
【希鸥专访】创客总部李建军:未来十年的创业密码就是把握消费升级和科技创新大趋势
学习能力强、学习型组织的创业团队是投资机构愿意投资的团队,学习能力是打开个人天花板的唯一渠道,一个人的格局是可以不断进步的,这个钥匙就是学习,读书、参加活动、与比自己优秀的人交流学习都是很好的学习方式。... [详细]
做了两个月区块链媒体,我去了8个国家,环球旅行的梦想轻松实现
做了两个月区块链媒体,我去了8个国家,环球旅行的梦想轻松实现
我突然意识到,似乎这个游戏里根本没有输家。 互联网把人变成鬼,区块链把鬼变成人。 新加坡香格里拉大酒店的大床房,我坐在阳台的椅子上遥望远处的落日余晖,狮城美的不真实。我是昨日晚上从北京飞到这里的,白天参... [详细]
【希鸥网深度】生活是创业的敌人
【希鸥网深度】生活是创业的敌人
生活是创业的敌人,对于生活,我只有抱歉。创业是生活的敌人,我只好舍弃生活。 [详细]
滴滴顺风车全国下线,总经理及客服副总被免职,5000亿估值受拷问
滴滴顺风车全国下线,总经理及客服副总被免职,5000亿估值受拷问
新华时评指出,滴滴出行公布了关于乐清顺风车事件的自查进展。然而,当悲剧重复上演,监管部门不能仅寄希望于企业自身整改,而应该引起高度重视,采取切实有效监管措施堵住漏洞。... [详细]