3-4 音乐驱动数字人的算法和实践.pdf

1、音乐驱动数字人的算法和实践董治 腾讯音乐天琴实验室 计算机视觉负责人|01Music XR Maker02音乐生成数字人舞蹈03歌声驱动数字人口型04歌声驱动数字人歌唱表情目录CONTENT|01Music XR MakerMusic XR Maker腾讯音乐 天琴实验室 计算机视觉团队|天 琴 实 验 室 是 腾 讯 音 乐 首 个 音 视 频 实 验 室它 致 力 于 通 过 A I 科 技 提 升 音 娱 视 听 体 验也 是 腾 讯 音 乐 的 首 个 音 视 频 技 术 研 发 中 心天 琴 座，神 话 中 悬 于 天 穹 的 七 弦 琴寄 托 着 团 队 希 望 让 技 术 更 具

2、 温 暖，让 音 娱 体 验 更 加 美 好 的 期 许看见更美好的音乐CV团队：音乐+视觉Music XR Maker音乐驱动在数字人技术栈中的定位|形象构建模型制作拍照捏脸拍摄建模人物驱动中之人声音TTS歌声合成面部捕捉说话口型生成歌唱口型生成说话表情生成歌唱表情生成动作捕捉舞蹈动作生成手势识别乐器手势生成可视化渲染虚拟偶像视频虚拟直播多人互动服饰生成Music XR Maker音乐驱动|歌声合成歌唱口型生成歌唱表情生成舞蹈动作生成乐器手势生成AI 驱动&音乐驱动TME 的 Music XR Maker：基于音乐内容，做虚拟元素的构建|02音乐生成数字人舞蹈音乐生成数字人舞蹈虚拟人舞蹈的产

3、生方式|动捕棚 多目动捕、惯性动捕 效果最佳 价格昂贵，人力、设备成本高 精品视频输出视频复刻 单目动捕 效果上存在细节缺失 人力成本 低精度场景，抓热点基于音乐生成 纯算法生成 效果依赖数据和算法 数据获取困难 批量生产场景音乐生成数字人舞蹈业内方案|基于生成的方案 基于codebook 有一定约束的生成方式 基于舞蹈编排音乐生成数字人舞蹈AI编舞的思考|面向商用的舞蹈是怎么样的？美观的舞蹈动作 同音乐的节奏、韵律和谐 音乐和舞蹈的风格一致音乐生成数字人舞蹈演示效果|音乐生成数字人舞蹈数字人舞蹈的商用路径|虚拟偶像虚拟偶像虚拟主播虚拟主播户户AvatarAvatar互动娱乐互动娱乐动捕棚拍摄

4、质量舞蹈数据质量舞蹈数据单目视频复刻精品MV、形象宣传片量产作品爆款舞蹈量产舞蹈动作爆款舞蹈AI舞蹈生成CP 手K中质量舞蹈数据中质量舞蹈数据低质量舞蹈数据低质量舞蹈数据|03歌声驱动数字人口型歌声驱动数字人口型面捕方案精细级别|专业面捕方案 专业设备、配套软件 效果最佳，无限表情基 超写实虚拟人普通光学摄像头 普通手机摄像头 一般场景下效果完全可接受，标准52 BS 一般虚拟人项目歌声驱动数字人口型口型驱动数据集构建|歌声驱动数字人口型歌唱和说话驱动的差别|歌声驱动数字人口型虚拟偶像场景下效果|歌声驱动数字人口型实时性解决方案|原唱原唱干声优秀作品干声优秀作品干声优秀作品干声歌词文件口型驱动

5、模型预设预设 BlendShapeBlendShape用户实时干声音频映射模型实时频分析结果实时频分析结果融合程序实时实时 BlendShapeBlendShape歌声驱动数字人口型用户avatar互动场景|04歌声驱动数字人歌唱表情歌声驱动数字人歌唱表情歌唱时的表情|歌声驱动数字人歌唱表情带表情和情感的虚拟人歌唱表演|歌声驱动数字人歌唱表情如何去表达情感|歌声驱动数字人歌唱表情数据的采集|带表情演唱视频带表情演唱视频表情表情动作动作势势捕捕动捕动捕捕捕歌唱表情段歌唱表情段歌唱表情库歌唱表情库表情打标歌声驱动数字人歌唱表情合理驱动|歌词文本演唱干声歌唱感情歌唱表情五维打分情绪节点|总结与展望|

6、虚 拟 形 象 将 变 得 越 来 越 普 遍：娱 乐 公 司、明 星、型 商 业 公 司、海 量 主 播、普 通 户 等 等虚 拟 形 象 将 变 得 越 来 越 普 遍：娱 乐 公 司、明 星、型 商 业 公 司、海 量 主 播、普 通 户 等 等中 之 临 越 来 越 多 的 问 题：成 本、管 理、虚 拟 形 象 的 灵 魂 归 属中 之 临 越 来 越 多 的 问 题：成 本、管 理、虚 拟 形 象 的 灵 魂 归 属A IA I 驱 动 技 术 的 快 速 升 级