AniPortrait：以音频驱动的真实肖像动画合成技术

AniPortrait是由腾讯游戏智迹团队开发的一种创新技术，旨在通过音频和参考肖像图片来生成高质量的肖像动画。该技术不仅能够处理静态图片，还能够通过视频实现面部再现，使动画效果更加逼真。

home_open_AniPortrait_1

为了使用AniPortrait，您需要配置一个符合要求的计算环境。推荐使用Python 3.10版本及CUDA 11.7。首先，您需要安装所需的Python库，可以通过运行以下命令来安装：

    
    pip install -r requirements.txt

您需要下载预训练权重文件，并将它们放置在./pretrained_weights目录下。这些权重包括去噪网络、参考图像网络、姿态引导器、动作模块、音频转网格模型、音频到姿态模型和FILM网络等多个组件的权重文件。详细的权重文件和下载路径如下：

权重文件下载并整理好之后，可以在配置文件（如./config/prompts/animation.yaml）中指定权重文件的路径。

AniPortrait提供了多种命令行工具，以支持不同的动画生成需求：

自我驱动动画：通过指定动画配置文件，使用-acc参数来加速视频生成。

    
    python -m scripts.pose2vid --config ./configs/prompts/animation.yaml -W 512 -H 512 -acc

面部再现：可以添加源面部视频和参考图像，通过以下命令生成面部动画：

    
    python -m scripts.vid2vid --config ./configs/prompts/animation_facereenac.yaml -W 512 -H 512 -acc

音频驱动动画：在配置文件中添加音频和参考图像后，运行以下命令生成音频驱动的视频动画：

    
    python -m scripts.audio2vid --config ./configs/prompts/animation_audio.yaml -W 512 -H 512 -acc

您还可以通过HuggingFace Spaces上的Gradio界面体验AniPortrait的Web演示。运行以下命令即可启动本地演示：

    
    python -m scripts.app

通过AniPortrait, 用户可以轻松生成高质量的动画，不仅增强了视觉体验，还大大提升了互动性和真实感。

使用中最让我印象深刻的是面部再现功能，它不仅能够精准地捕捉到参考视频的表情变化，还能很好地将这些表情迁移到新的肖像上。这在很多情况下，比如虚拟主持人或数字人物的创作中，都极具价值。

一种全新的框架，用于生成高质量的音频驱动动画