EchoMimic：音频驱动虚拟人合成 蚂蚁集团的项目，类似之前阿里的Emo。提供角色图片和音频，根据说话音频或唱歌音频合成角色视频，自动匹配嘴型，同时支持指定表情参考视频（landmarks）来控制角色面部表情。适用于虚拟人场景。

项目地址：badtobest.github.io/echomimic.html

 

安装

 

下载代码

 

  git clone https://github.com/BadToBest/EchoMimic
  cd EchoMimic

Python 环境设置

 

  • 测试系统环境：Centos 7.2/Ubuntu 22.04，Cuda >= 11.7
  • 测试的 GPU：A100（80G）/ RTX4090D（24G）/ V100（16G）
  • 测试的 Python 版本：3.8 / 3.10 / 3.11

创建 conda 环境（推荐）：

  conda create -n echomimic python=3.8
  conda activate echomimic

使用以下方式安装软件包pip

  pip install -r requirements.txt

下载 ffmpeg-static

 

下载并解压ffmpeg-static，然后

export FFMPEG_PATH=/path/to/ffmpeg-4.4-amd64-static

下载预训练权重

 

git lfs install
git clone https://huggingface.co/BadToBest/EchoMimic pretrained_weights

pretrained_weights的组织如下。

./pretrained_weights/
├── denoising_unet.pth
├── reference_unet.pth
├── motion_module.pth
├── face_locator.pth
├── sd-vae-ft-mse
│   └── ...
├── sd-image-variations-diffusers
│   └── ...
└── audio_processor
    └── whisper_tiny.pt

其中denoising_unet.pth / reference_unet.pth / motion_module.pth / face_locator.pth是EchoMimic的主要检查点。得益于他们的出色工作，该中心的其他模型也可以从其原始中心下载：

音频驱动算法推理

 

运行python推理脚本：

  python -u infer_audio2vid.py

音频驱动算法推理您自己的案例

 

编辑推理配置文件./configs/prompts/animation.yaml，并添加您自己的案例：

test_cases:
  "path/to/your/image":
    - "path/to/your/audio"

运行python推理脚本：

  python -u infer_audio2vid.py

发布计划

 

地位 里程碑 预计到达时间
🚀 Audio-Driven 算法的推理源代码在 GitHub 上与大家见面 2024 年 7 月 9 日
🚀 即将发布针对英语和普通话进行训练的预训练模型 2024 年 7 月 9 日
🚀 Pose-Driven 算法的推理源代码在 GitHub 上与大家见面 2024 年 7 月 13 日
🚀 即将发布具有更好姿势控制的预训练模型 2024 年 7 月 13 日
🚀 即将发布具有更好唱歌性能的预训练模型 待定
🚀 大规模高分辨率中文头部说话人像数据集 待定

 

仓库地址

GitHub：https://github.com/BadToBest/EchoMimic

网站免责声明
一、资源来源与版权

本网站所有资源及文章均源自互联网，经过我们的收集整理后呈现给用户。我们明确声明，本网站不直接参与任何资源的创作或制作过程，仅作为信息的传递者。若您发现本网站上的任何内容侵犯了您的合法权益（包括但不限于版权、商标权、专利权等），请立即通过以下联系方式与我们取得联系。在收到您的反馈并核实情况后，我们将迅速采取相应措施，包括但不限于删除侵权内容，以确保您的合法权益得到及时保护。

二、资源使用与责任

资源鉴别：本网站发布的资源可能包含水印、广告链接或其他引流信息，这是由资源原始来源决定的。我们提醒用户在使用这些资源时，应保持警惕，自行鉴别信息的真实性和适用性，避免受到不必要的干扰或误导。 非商业用途：本网站提供的资源仅供学习、研究及非商业性交流使用。我们鼓励用户尊重原创，支持正版。若您计划将本站资源用于商业目的，请务必先获得合法授权，否则因此产生的一切法律后果将由下载用户自行承担。

三、联系方式

为了更好地服务用户，解决您在使用本网站过程中可能遇到的问题或反馈侵权信息，我们提供了以下联系方式（请将“#”替换为“@”后使用）： 联系方式：contact#kukaylib.com

四、免责条款

本网站致力于为用户提供高质量的信息服务，但对于因网络状况、第三方干扰、不可抗力等因素导致的服务中断、数据丢失、信息错误等问题，本网站不承担任何责任。同时，本网站对于用户在使用本站资源过程中可能产生的任何直接、间接、偶然、特殊或惩罚性损失，也不承担任何法律责任。 请用户在使用本网站时，务必遵守相关法律法规及道德准则，自行承担因使用本站资源而产生的所有风险和后果。

五、更新与修订

本网站有权随时更新或修订本免责声明，更新或修订后的免责声明一经发布即具有法律效力。用户应定期访问本页面以了解最新的免责声明内容。 感谢您对本网站的理解与支持！我们将继续努力，为用户提供更加优质、便捷的信息服务。