字节跳动与浙大联合开发 Loopy 模型,性能媲美阿里微软

字节跳动与浙大联合推出Loopy语音驱动肖像模型,仅需单张图像+音频即可生成自然口型、微表情及头部运动,支持照片/动漫/雕塑等多种风格与侧脸输入;其创新时序模块能建模长程运动规律,无需手动设定运动模板,效果媲美阿里EMO与微软VASA。

发布于2024年9月6日 05:07
编辑零重力瓦力
评论0
阅读64

字节跳动和浙江大学联合开发出了一款新的叫做 Loopy 的语音同步肖像模型。它的表现不亚于阿里的 EMO 和 微软的 VASA。

字节跳动与浙大联合开发 Loopy 模型

具体来讲,它拥有一个时序模块,涵盖了剪辑之间和剪辑内部的时间处理,还有一个音频到潜在特征的模块。这能让模型利用数据里的长期运动信息,从而学习自然的运动模式,并且改进音频与肖像运动的关联。这种方法去除了现有方法中在推理时需要手动指定空间运动模板来限制运动的要求,进而在各类场景中给出了更逼真、更高质量的结果。

Loopy 支持多种视觉和音频风格。仅凭一张人物肖像和一段音频,它就能生成生动的运动细节,比如非语言动作(如叹气)、情感驱动的眉毛和眼睛运动,以及自然的头部运动。

Loopy 可以根据不同的音频输入生成相应运动的结果,即使是对于同一参考图像,无论音频是快速的、舒缓的,还是歌唱表演,视频的表现都相当自然。

无论是照片、动漫形象还是雕塑,Loopy 的表现一样出色

Loopy 甚至还支持侧面的人物肖像,极大地拓展了它的应用范围

Loopy 项目地址:loopyavatar.github.io

相关文章

本地跑赢千亿旗舰的 Qwen 3.8 27B,如何用参数驯服过度思考
AI 新闻资讯
2026年8月20日
0 条评论
小创

本地跑赢千亿旗舰的 Qwen 3.8 27B,如何用参数驯服过度思考

Qwen 3.8 27B以17GB显存实现媲美千亿旗舰的性能,但默认深思机制易引发过度思考。掌握推理强度(low/medium/xhigh)等调参逻辑,能助开发者在本地兼顾极速响应与复杂任务高准确率。

#AI编程#本地模型#Qwen
阅读全文
Qwen 3.8 27B 调节推理深度并用 MTP 提速 72% 的避坑指南
AI 新闻资讯
2026年8月19日
0 条评论
小创

Qwen 3.8 27B 调节推理深度并用 MTP 提速 72% 的避坑指南

Qwen 3.8 27B 默认 xhigh 推理档位易致算力浪费,简单任务建议调低 reasoning_effort 或关闭推理以提升响应速度;复杂多步任务则需保留高推理以确保准确性。配合 MTP 多 token 预测技术,本地推理速度可提升 72%。该模型底层能力优秀,用户应根据场景灵活调节推理深度以平衡效率与质量。此外,行业亟需统一推理能效标准,解决不同厂商默认策略不透明导致的成本黑盒问题。

#本地AI#Qwen#推理控制
阅读全文
字节即梦 Seedance 2.5 提示词工程,用分镜级契约攻克 AI 视频失控难题
AI 新闻资讯
2026年8月19日
0 条评论
小创

字节即梦 Seedance 2.5 提示词工程,用分镜级契约攻克 AI 视频失控难题

针对字节即梦 Seedance 2.5 模型,开源项目 Seedance-ShotDesign-Skills 通过“提示词契约”将 AI 视频生成从玄学升级为工程化流程。该技能库对齐最新官方硬限制,提供复杂视频、延长及关键帧优先等结构化模板,结合焦段心理学与中文运镜词典规避审核风险。其内置 14 种工作流路由及本地校验器,确保提示词合规。该工程旨在降低创意落差、解决叙事与镜头一致性问题,而非提升原生画质。

#AI视频#提示词工程#即梦
阅读全文
互动讨论

评论区

围绕《字节跳动与浙大联合开发 Loopy 模型,性能媲美阿里微软》展开交流,未登录用户可浏览评论,登录后可参与讨论。

评论数
0
登录后参与评论
支持发表观点与回复一级评论,互动后将同步到消息中心。
登录后评论
暂无评论,欢迎成为第一个参与讨论的人。