MIT又一突破!用AI过滤音源,让音乐更悦耳
发布时间 2018-07-09 13:55 亿欧网 阅读 295次
MIT又一突破!用AI过滤音源,让音乐更悦耳
统计 阅读时间大约2分钟(698字)

2018-07-09 MIT又一突破!用AI过滤音源,让音乐更悦耳

PixelPlayer 进行完全自监督的学习,人们无需对数据注释,而且系统目前已经能识别 20 种乐器。

7月9日报道(编译:杨卟咚)

一般利用均衡器可以将音乐中的低音部分调出来,但是麻省理工学院的计算机科学和人工智能实验室(Computer Science and Artificial Intelligence Lab,CSAIL)的研究人员发现了更好的解决方案。他们所研发的新系统 PixelPlayer,能够利用人工智能来区分和过滤声音,让音乐听起来更洪亮或更柔和。

将指定视频录入经过充分训练的 PixelPlayer,系统随机能够过滤伴奏,同时识别音源,接着计算图像中每个像素的音量,然后通过“空间定位”确定产生相似音波的片段。

今年9月,德国慕尼黑即将举行欧洲计算机视觉会议(European Conference on Computer Vision),会议中要发表的一篇新论文则详细论述了“像素的声音(The Sound of Pixels)”。麻省理工学院计算机科学和人工智能实验室的博士生,同时也是这篇论文的合著者 Zhao Hang 同学表示,“最好的情况就是,我们能识别出哪种乐器发出怎样的声音。”

1.gif

PixelPlayer 的核心是一种基于乐器组合多模态训练的神经网络,数据集采用了 Youtube 上 714 条未经修剪且未经标记的视频。其中,总时长为 60 小时的 500 条视频用于训练,剩余的则用于验证和测试。在训练过程中,研究人员分别根据原声吉他、大提琴、单簧管、长笛和其他乐器向系统馈入了算法。

这只是 PixelPlayer 多重机器学习框架的一个部分。经过训练后的视频分析算法将从剪辑帧中提取出视觉特征,这就是系统的第二个神经网络,即音频分析网络。音频分析网络将声音拆分为片段,并从中提取特征。最后,音频合成网络将把上述两个网络输出的特定像素和声波关联起来。

PixelPlayer 进行完全自监督的学习,人们无需对数据注释,而且系统目前已经能识别 20 种乐器。Zhao Hang 说,较大的数据集增强了系统的识别量,但识别乐器子类的能力却不佳。系统也可以识别音乐元素,例如小提琴的谐波频率。

研究人员认为 PixelPlayer 可以进行声音剪辑,或者帮助机器人理解动物、车辆和其他物体所制造的环境声音。他们写到,“我们希望我们的工作能够开辟新的研究途径,从视觉和听觉信号角度实现声源分离”。

在包邮区,有些老婆婆们,还能记起她们小时候流传的一首民谣: 乡下娘娘要学上海样,学死学煞学不像。学来稍有瞎...[原文链接]
成功需要刻意练习:保持觉知、深度思考、控制情绪。好奇的想知道,但勤奋的找答案。...[原文链接]
拼多多会坚守本分继续“做实”,成为一家对社会持续产生价值的公司。 今天下午拼多多就美国做空机构Blue Orca...[原文链接]
摘要:你必须时刻醒着,不断去学习和创新。这个世界上没有任何东西是不可以被超越的,最怕的是独孤求败。...[原文链接]
贾跃亭的表演又开始了。 媒体称在11月13日上午,贾跃亭通过内部会议讲话的方式向外界传递了三个消息: 1....[原文链接]
每周精选查看更多 >
【希鸥专访】创客总部李建军:未来十年的创业密码就是把握消费升级和科技创新大趋势
【希鸥专访】创客总部李建军:未来十年的创业密码就是把握消费升级和科技创新大趋势
学习能力强、学习型组织的创业团队是投资机构愿意投资的团队,学习能力是打开个人天花板的唯一渠道,一个人的格局是可以不断进步的,这个钥匙就是学习,读书、参加活动、与比自己优秀的人交流学习都是很好的学习方式。... [详细]
做了两个月区块链媒体,我去了8个国家,环球旅行的梦想轻松实现
做了两个月区块链媒体,我去了8个国家,环球旅行的梦想轻松实现
我突然意识到,似乎这个游戏里根本没有输家。 互联网把人变成鬼,区块链把鬼变成人。 新加坡香格里拉大酒店的大床房,我坐在阳台的椅子上遥望远处的落日余晖,狮城美的不真实。我是昨日晚上从北京飞到这里的,白天参... [详细]
【希鸥网深度】生活是创业的敌人
【希鸥网深度】生活是创业的敌人
生活是创业的敌人,对于生活,我只有抱歉。创业是生活的敌人,我只好舍弃生活。 [详细]
滴滴顺风车全国下线,总经理及客服副总被免职,5000亿估值受拷问
滴滴顺风车全国下线,总经理及客服副总被免职,5000亿估值受拷问
新华时评指出,滴滴出行公布了关于乐清顺风车事件的自查进展。然而,当悲剧重复上演,监管部门不能仅寄希望于企业自身整改,而应该引起高度重视,采取切实有效监管措施堵住漏洞。... [详细]
锤子手机罗永浩:好吧,我是你孙子,又怎样
锤子手机罗永浩:好吧,我是你孙子,又怎样
一个细节,2014年锤子T1手机当天发布会时,有人从国家会议中心看完演讲出来,听到两个身穿安保制服的人在背后聊天,他们说,“罗总这人不搞邪教,去搞手机,真是社会的万幸”。... [详细]