openAI维基百科 openAI维基百科
  • 首页
  • 语言
    • LLaMA
    • ChatGPT
      • 基础教程
      • Prompt训练
      • API编程指南
      • ChatGPT拓展
    • 其它模型
  • 图像
    • 风格化
    • 画质增强
    • 图像识别
    • 视觉交互
    • 扩展填充
  • 绘画
    • Midjourney
    • Stable Diffusion
      • LoRA
      • ControlNet
      • Fooocus
      • ComfyUI
    • 其它模型
  • 音频
    • 人声模拟
    • 音频识别
    • 音频分离
    • 智能编曲
  • 视频
    • AI换脸
    • AI补帧
    • 视频抠图
    • 视频动漫化
    • 文本生成视频
  • 3D
    • 文本生成模型
  • 教程
    • 基础知识
    • 微软AI学习
    • 深度学习笔记
    • 交互式了解AI
  • 问答
  • 资源
首页 › 视频 › AI漫转 › 低闪烁视频风格转换|Rerender A Video

低闪烁视频风格转换|Rerender A Video

PhiltreX
2 年前

低闪烁视频风格转换|Rerender_A_Video

目前最新最好用的视频风格转换技术,效果相比于其它免费开源技术来讲,已经算是顶尖的了,Rerender_A_Video对于人物、动物、场景等风格转换效果都是比较可观的。

项目仓库

GitHub:williamyang1991/Rerender_A_Video

前置条件

本项目需要至少24GB英伟达显存才可以正常运行,因站长的硬件条件并不达标,所以租用了腾讯云GPU算力服务器。

本教程根据Ubuntu系统的GPU云服务器所部署,该项目支持Windows,你可以根据本教程参考Windows的安装,原理大同小异。

云服务器

关于云服务器,站长使用腾讯云的GPU云服务器,速度快,操作简单,内置各服务器的专用显卡驱动,使用比较简单。【点击前往】

低闪烁视频风格转换|Rerender A Video-openAI维基百科

因为最低显存要求是24GB的英伟达显卡,所以我们选择NVIDIA V100 GPU即可,这是目前相对来说最划算的套餐了。

值得注意的是,在你点击立即购买按钮之后,在地域选择这里一定要选择国外的节点,不要选择国内的。因为国内服务器无法直连Github和Huggingface,这种网络问题会导致你走很多弯路,站长就是因为一开始选择了国内地区,很多东西无法自动下载,又重新买了韩国首尔的。

低闪烁视频风格转换|Rerender A Video-openAI维基百科

其它选项保持默认即可,然后等待服务器自动配置一段时间,大概一两分钟左右,你就可以在控制台看到刚刚买的服务器啦。

如果你不知道控制台在哪里,那么可以【点击这里】查看你的控制台。

低闪烁视频风格转换|Rerender A Video-openAI维基百科

在这里可以显示公网IP和内网IP,公网IP就是你可以在当前正在使用的电脑访问该云服务器,这很重要,这是我们唯一可以与其互动的媒介。至于什么是内网IP呢?其实就是局域网,我们用不到。

我们要做的第一件事就是重置密码,输入一个你记得住的密码,账号默认是ubuntu,不建议更改,与无法更改。

低闪烁视频风格转换|Rerender A Video-openAI维基百科

重置密码之后,点击登录按钮,然后你将会看到如下界面,我们直接选择免密登录。

低闪烁视频风格转换|Rerender A Video-openAI维基百科

登录之后,你将会看到一个空白的,只可以输入命令的界面,这不太友好,毕竟有界面才方便我们操作。

所以,我们需要安装一个可视化的界面,关于如何安装,请查看下面这篇教学文章。

Linux系统轻量AI项目GUI界面|JupyterLab

环境部署

说了这么多,我们终于可以开始部署本项目啦。

在JupyterLab中,我们新建标签页,然后选择终端。

低闪烁视频风格转换|Rerender A Video-openAI维基百科

输入如下命令,自动拉取Rerender_A_Video库至服务器内。

git clone git@github.com:williamyang1991/Rerender_A_Video.git --recursive

拉取完成后执行如下命令,进入刚刚拉取的目录。

cd Rerender_A_Video

执行下面的命令行,创建Conda虚拟环境。(这一步骤可能需要十几二十分钟,请耐心等待。)

conda env create -f environment.yml

执行如下命令,激活刚刚创建的Conda环境。

conda activate rerender

执行如下命令,将会自动下载需要的模型至相应的目录内,模型共计十几个G左右,请耐心等待。

python install.py

模型下载

除了上面的模型之外,我们还需要下载两个额外的模型。

官方下载

https://civitai.com/models/7371/rev-animated?modelVersionId=19575

在你的电脑内下载该模型,然后重命名为revAnimated_v11.safetensors,将其上传至/Rerender_A_Video/models/目录下。

https://civitai.com/models/4201?modelVersionId=29460

在你的电脑内下载该模型,然后重命名为realisticVisionV20_v20.safetensors,将其上传至/Rerender_A_Video/models/目录下。

该模型有些特殊,有4个版本,要选择第2个进行下载,不然无法正常运行。

低闪烁视频风格转换|Rerender A Video-openAI维基百科

网盘下载

关于此项目的模型,本站已为您下载并整理好。如果你不方便通过官网下载,可以使用本站所提供的网盘下载地址。

revAnimated_v11
下载
类型: safetensors 大小: 5.28GB
realisticVisionV20_v20
下载
类型: safetensors 大小: 3.59GB

模型安装

在您下载完成模型之后,将模型移动至项目根目录下的model文件夹下即可。

低闪烁视频风格转换|Rerender A Video-openAI维基百科

运行方式

在以后每次运行该项目时,只需要先激活我们刚刚所创建的Conda虚拟Python环境,然后运行启动文件即可。

conda activate rerender

执行如下代码,进入项目目录。

cd ~/Rerender_A_Video/

执行如下代码,运行程序的UI界面。

python webUI.py

执行完成后,你将会得到一串网址http://0.0.0.0:7860,我们将其中的0.0.0.0替换为自己的公网IP,然后在浏览器中打开http://你的公网:7860就可以访问WebUI界面啦。

(base) ubuntu@VM-0-16-ubuntu:~$ conda env list
# conda environments:
#
base                  *  /home/ubuntu/miniconda3
JupyterLab               /home/ubuntu/miniconda3/envs/JupyterLab
rerender                 /home/ubuntu/miniconda3/envs/rerender

c(base) ubuntu@VM-0-16-ubuntu:~$ conda activate rerender
(rerender) ubuntu@VM-0-16-ubuntu:~$ cd ~/Rerender_A_Video/
(rerender) ubuntu@VM-0-16-ubuntu:~/Rerender_A_Video$ python webUI.py
/home/ubuntu/miniconda3/envs/rerender/lib/python3.8/site-packages/torchvision/io/image.py:13: UserWarning: Failed to load image Python extension: libtorch_cuda_cu.so: cannot open shared object file: No such file or directory
  warn(f"Failed to load image Python extension: {e}")
logging improved.
Running on local URL:  http://0.0.0.0:7860

To create a public link, set `share=True` in `launch()`.

以下是打开后的网页界面,站长简单的翻译了一下。

低闪烁视频风格转换|Rerender A Video-openAI维基百科

使用教程

是不是感觉参数太多了?太过于复杂?其实没有那么离谱,你只需要在最下面选择CG格式的美女预设,然后上传自己的视频,填写你写要生成的内容提示词,点击仅渲染第一帧按钮,然后将会在右侧出现一个第一帧的预览。你如果觉得效果还不错,那就点击全部运行按钮,如果不满意那就修改参数或者Prompt,最后点击全部运行按钮。

使用方法和AI绘画的SD差不多,站长这里偷个懒,就不一一写参数的作用了。

生成后的视频最终会存在放在result目录内,打开就可以看到视频,也可以下载到本地,非常方便。

低闪烁视频风格转换|Rerender A Video-openAI维基百科

效果示例

官方案例

经过测试,官方给出的素材生成视频风格转换的效果非常好。

自定义素材

如果你选择自己上传素材,那么效果可能并不是特别理解,可以看下面的内容。

背景会有较为明显的闪烁问题,经过站长的反复测试,发现两个问题。

尽量选择镜头是固定的视频进行转换,如果是手持镜头拍摄,那么背景大概率会闪烁。

还有就是人物动的幅度不要太大太快,否则关键帧之间的衔接会有问题。

总结

这一篇教程憋了好几天,租了两个高配云服务器,心里在滴血啊。

而且安装配置过程也不顺利,期间报错无数,不过总算是墨迹完了。

AI的发展速度,真的非常非常快!感觉年底任意视频无闪烁转换风格就可以很简单。

版权申明:本文所有内容源自openai.wiki网站,转载务必注明出处。
风格化
17
0
CoDeF|无闪烁视频AI风格转换
上一篇

评论 (0)

取消
    发表评论

猜你喜欢

  • CoDeF|无闪烁视频AI风格转换
  • Geometrize|图像转几何图形
  • multi-style_portrait_stylization|人像多风格漫画

论坛公告

为方便大家交流,交换资源等。

本站论坛限量开放注册中,免费答疑。

欢迎大家踊跃注册,关闭注册时间待定。

论坛地址:https://bbs.openai.wiki

增值服务

本站无广告|无会员|免注册

  1. 提供有偿远程帮助服务
  2. 提供POE会员代充代售
  3. 提供ChatGPT代充代售
  4. 提供Midjourney代充服务

商务合作

关于合作请点此联系

  • 首页
  • 语言
  • 图像
  • 绘画
  • 音频
  • 视频
  • 3D
  • 教程
  • 问答
  • 资源
Copyright © 20221212-2025 openAI维基百科. Designed by nicetheme. 京公网安备 11010502051430号 京ICP备2021019752号-5
  • 首页
  • 语言
    • LLaMA
    • ChatGPT
      • 基础教程
      • Prompt训练
      • API编程指南
      • ChatGPT拓展
    • 其它模型
  • 图像
    • 风格化
    • 画质增强
    • 图像识别
    • 视觉交互
    • 扩展填充
  • 绘画
    • Midjourney
    • Stable Diffusion
      • LoRA
      • ControlNet
      • Fooocus
      • ComfyUI
    • 其它模型
  • 音频
    • 人声模拟
    • 音频识别
    • 音频分离
    • 智能编曲
  • 视频
    • AI换脸
    • AI补帧
    • 视频抠图
    • 视频动漫化
    • 文本生成视频
  • 3D
    • 文本生成模型
  • 教程
    • 基础知识
    • 微软AI学习
    • 深度学习笔记
    • 交互式了解AI
  • 问答
  • 资源