【AI变声器】RVC AI 实时变声器,可变任何声音,保姆级别利用教程

用户呜啦啦

一个基于VITS的简单易用的语音转换（变声器）框架,算法相干履历和效果是b站花儿不哭和Rcell颠末半年时间做了上百组实行得出的当前的最优解,注意必要N卡才气玩,A卡现在只能战未来Github

特点
@入梦增强版
1 对AI变声集成了VB-audio假造MME麦克风,可以实时输出
2 对RVC增强了模子所在,镌汰加载工作量

相比于传统变声器长处
1 AI变声不吃个人声线,只必要清晰的说化即可,传统变声器只能根据个人声线举行变革
2 可以练习模子,加载各种声线,语气声线多样化
相比于传统变声器缺点
1 延长太高,通常都是1-5秒以上,传统变声器最低可以无延长
2 咬字不清晰,气味非常奇怪,感情颠簸就会失真,非常吃模子的音源
3 吃设置较高,必要CPU和GPU双重占用,设置低就无法利用,RVC现在只能兼容N卡
4 兼容性照旧太差了,AI变声现在还不成熟,闪退稳固性有待优化

博主观点
1 利用的时间发起独立声卡大概麦克风,耳机噪音过大会非常影响到AI变声效果,麦克风音质越好,效果越好
2 对CPU和GPU双重资源的压力,部门设置低的用户大概带不动,发起有独立显卡在利用
3 延长太高,如果利用MME协议输出,延长在2秒到6秒,如果麦克风音质太低,设置低延长声音会卡顿
4 语言的时间不能大喊大喊,必须安稳语言,否则声音就酿成气音
5 打游戏照旧不可的,由于延长太高,如果语言过快会覆盖下一句话,不能感情过于冲动否则也会酿成气音
6 只是发短语音消息而非实时通话,声音还黑白常棒的,颠覆了我对于AI变声的印象,科技使人进步

简介
利用top1检索更换输入源特性为练习集特性来杜绝音色走漏
即便在相对较差的显卡上也能快速练习
利用少量数据举行练习也能得到较好效果(保举至少网络10分钟低底噪语音数据)
可以通过模子融合来改变音色(借助ckpt处理惩罚选项卡中的ckpt-merge)
简单易用的网页界面
可调用UVR5模子来快速分离人声和伴奏

常见标题解答
Q1:ffmpeg error/utf8 error.
大概率不是ffmpeg标题，而是音频路径标题；
ffmpeg读取路径带空格、()等特别符号，大概出现ffmpeg error；练习集音频带中文路径，在写入filelist.txt的时间大概出现utf8 error；
Q2:一键练习竣事没有索引
表现"Training is done. The program is closed."则模子练习乐成，后续紧邻的报错是假的；
一键练习竣事完成没有added开头的索引文件，大概是由于练习集太大卡住了添加索引的步调；已通过批处理惩罚add索引办理内存add索引对内存需求过大的标题。临时可实行再次点击"练习索引"按钮。
Q3:练习竣事推理没看到练习集的音色
点革新音色再看看，如果还没有看看练习有没有报错，控制台和webui的截图，logs/实行名下的log，都可以发给开发者看看。
Q4:怎样分享模子
rvc_root/logs/实行名 下面存储的pth不是用来分享模子用来推理的，而是为了存储实行状态供复现，以及继续练习用的。用来分享的模子应该是weights文件夹下巨细为60+MB的pth文件；
后续将把weights/exp_name.pth和logs/exp_name/added_xxx.index归并打包成weights/exp_name.zip省去填写index的步调，那么zip文件用来分享，不要分享pth文件，除非是想换呆板继续练习；
如果你把logs文件夹下的几百MB的pth文件复制/分享到weights文件夹下强行用于推理，大概会出现f0，tgt_sr等各种key不存在的报错。你必要用ckpt选项卡最下面，手工或自动（本地logs下如果能找到相干信息则会自动）选择是否携带音高、目的音频采样率的选项后举行ckpt小模子提取，提取完在weights文件夹下会出现60+MB的pth文件，革新音色后可以选择利用。
Q5:Connection Error.
大概你关闭了控制台（玄色窗口）。
Q6:WebUI弹出Expecting value: line 1 column 1 (char 0).
请关闭体系局域网署理/全局署理。
这个不光是客户端的署理，也包罗服务端的署理（比方你利用autodl设置了http_proxy和https_proxy学术加速，利用时也必要unset关掉）
Q7:不消WebUI怎样通过下令练习推理
练习脚本：
可先跑通WebUI，消息窗内会表现数据集处理惩罚和练习用下令行；
推理脚本：
https://huggingface.co/lj1995/VoiceConversionWebUI/blob/main/myinfer.py
例子：
runtime\python.exe myinfer.py 0 "E:\codes\py39\RVC-beta\todo-songs\1111.wav" "E:\codes\py39\logs\mi-test\added_IVF677_Flat_nprobe_7.index" harvest "test.wav" "weights/mi-test.pth" 0.6 cuda:0 True
f0up_key=sys.argv[1]
input_path=sys.argv[2]
index_path=sys.argv[3]
f0method=sys.argv[4]#harvest or pm
opt_path=sys.argv[5]
model_path=sys.argv[6]
index_rate=float(sys.argv[7])
device=sys.argv[8]
is_half=bool(sys.argv[9])
Q8:Cuda error/Cuda out of memory.
小概率是cuda设置标题、装备不支持；大概率是显存不敷（out of memory）；
练习的话缩小batch size（如果缩小到1还不敷只能更换显卡练习），推理的话酌情缩小config.py末了的x_pad，x_query，x_center，x_max。4G以下显存（比方1060（3G）和各种2G显卡）可以直接放弃，4G显存显卡尚有救。
Q9:total_epoch调多少比力好
如果练习集音质差底噪大，20~30充足了，调太高，底模音质无法带高你的低音质练习集
如果练习集音质高底噪低时长多，可以调高，200是ok的（练习速率很快，既然你有条件准备高音质练习集，显卡想必条件也不错，肯定不在乎多一些练习时间）
Q10:必要多少练习集时长
保举10min至50min
包管音质高底噪低的情况下，如果有个人特色的音色同一，则多多益善
高程度的练习集（精简+音色有特色），5min至10min也是ok的，堆栈作者本人就经常这么玩
也有人拿1min至2min的数据来练习而且练习乐成的，但是乐成履历是其他人不可复现的，不太具备参考代价。这要求练习集音色特色非常显着（好比说高频气声较显着的萝莉少女音），且音质高；
1min以下时长数据现在没见有人实行（乐成）过。不发起举行这种鬼畜举动。
Q11:index rate干嘛用的，怎么调（科普）
如果底模和推理源的音质高于练习集的音质，他们可以带高推理效果的音质，但代价大概是音色往底模/推理源的音色靠，这种征象叫做"音色走漏"；
index rate用来减少/办理音色走漏标题。调到1，则理论上不存在推理源的音色走漏标题，但音质更倾向于练习集。如果练习集音质比推理源低，则index rate调高大概低沉音质。调到0，则不具备利用检索肴杂来掩护练习集音色的效果；
如果练习集优质时长多，可调高total_epoch，此时模子本身不太会引用推理源和底模的音色，很少存在"音色走漏"标题，此时index_rate不紧张，你乃至可以不创建/分享index索引文件。
Q11:推理怎么选gpu
config.py文件里device cuda:反面选择卡号；
卡号和显卡的映射关系，在练习选项卡的显卡信息栏里能看到。
Q12:怎样推理练习中心生存的pth
通过ckpt选项卡最下面提取小模子。

游客，如果您要查看本帖隐藏内容请回复

免责声明：如果侵犯了您的权益，请联系站长，我们会及时删除侵权内容，谢谢合作！193fz辅助论坛

欠债赖皮大王挠

关注一下！

拉波吉利

192辅助论坛牛批，终于找到我想要的东西了

当当香

感觉不错！

董室长

192辅助论坛牛批，终于找到我想要的东西了

崇尚自然

每次看到楼主的帖子都有惊吓！

大地歌女妥

192辅助论坛牛批，终于找到我想要的东西了

苹果醋

不是惊喜，是惊吓！

毛毛青青张

192辅助论坛牛批，终于找到我想要的东西了

茅丹

这么好的帖子，应该加精华！