http://www.7klian.com

谷歌DeepMind新研究:操作AI模子为无声视频配音,

自Sora宣布以来,海表里各大科技公司和研究机构都在竞相推出“文生视频”大模子,好比生数科技的 Vidu、快手的可灵和 Runway 昨天才宣布的 Gen-3 Alpha 等。


自Sora宣布以来,海表里各大科技公司和研究机构都在竞相推出 文生视频 大模子,好比生数科技的 Vidu、快手的可灵和 Runway 昨天才宣布的 Gen-3 Alpha 等。

但今朝很多系统只能生成无声输出,为办理这个问题,谷歌DeepMind于6月18日发布了一项操作AI为无声视频生成配景音乐的 video-to-audio 技能。

据先容,,V2A 将视频像素与自然语言文本提示相团结,为屏幕上的行动生成富厚的音效。这一技能可与视频生成模子搭配利用,从而建设具有传神音效或对话的镜头,与视频中的脚色和基调相匹配。

不外,研究团队暗示,他们还在尽力办理其他一些限制因素,进一步的研究正在举办中。如需要开拓者利用提示词为模子预先 先容 视频大概的声音,临时不能直接按照视频画面添加详细音效。由于音频输出的质量取决于视频输入的质量,因此视频中超出模子练习漫衍范畴的伪影或失真会导致音频质量明明下降。

另外,前两天,美国哈佛大学与谷歌DeepMind的科学家相助,操作人工智能技能为虚拟老鼠建设了一小我私家工大脑,能在巨大情况中准确节制其举动。

据悉,研究团队操作真实老鼠数据,成立了生物力学传神的3D老鼠模子。DeepMind的深度强化进修算法为该模子练习了一小我私家工神经网络(ANN)大脑,使其能通过逆动力学模子精准发生各类巨大举动轨迹和气力。

这个虚拟大脑不只能仿照已练习过的行动,更能自主发生从未接管练习的新行为,其模仿结果堪称"逾越真实"。

郑重声明:本文版权归原作者所有,转载文章仅为传播更多信息之目的,如作者信息标记有误,请第一时间联系我们修改或删除,多谢。

相关文章阅读