[lora模型训练] 炼丹？炼了个假丹

炼丹三个小时，处理素材三个时辰，浪费时间三个地球自转。

也不用筛了，放几张随手生成的

也不是秀图，主要是为了发现问题。

问题还是有的，根据之前的经验（cue一下之前的帖子）如果训练集全是白色背景会导致出图更倾向于简单背景，于是这次特意保留了两张没抠图。结果呢也看到了，单调背景稍微好点，但背景把没抠图的素材学得死死的（没错就是这该死的金属栅栏和网格地面）。不知道能不能实现对每张图片采用不同的分层训练方法，但真要做到这一步也不容易，深度学习终归是个黑箱。

手该崩还得崩，我已经尽可能筛出手部清晰的素材了，只能说情况会好点但治标不治本，当然可能因为手在大模型里就是崩的。

还有光照问题，原素材光照都是来自一个方向的而且打光充足，网络学得可会了，如果大晚上的没光照，为了迎合打光效果，AI呢自己在顶上加个补光，不知道的还以为是UFO呢

。毕竟素材也就这一个视频里抽出来的几千帧，唯一想到可行的方法还是用AI修补素材内的光照，PS有个改光照效果的AI插件，但效果非常一般

。

表情呢还是相对死板的，当然理解coser不适合做些夸张表情，不然走两步补个妆。也是想到用AI改表情，PS自带的就算了，直接给你整恐怖谷效应。SD的表情控制插件呢不仅用起来麻烦，而且再好的局部重绘加controlnet也不稳定，会改变画面原生效果，光照或者画面过渡不连贯。我也试过拿阶段性训练的模型来扩充素材，直接文生图或者全图重绘得到新素材，但只能说想法很美好，跟局部重绘一样你只有撞狗屎运才能得到符合要求的素材。总之靠AI画图来增加真人素材泛化性目前来说完全不可靠，照片不是手绘，一般不考虑差异化风格，素材画风的改变对真人模型的影响是致命的。

真人lora训练一图流：

问：为什么不用某些批量抠图的程序呢？
答：你猜为什么PS beta要收费。
类似批量抠图的功能PS也有，抠得也是惨不忍睹，还是用AI识别主体更精准（不知道是不是用Segment Anything实现的），不过即便是PS AI选中的主体的也还是要修过，终归都是不如手抠的。

其实抛开素材问题，lora训练本身并没有什么难度，你完全不用去理解背后的原理，就像我图里说的（），所谓tuning（调参）也只需要你抄别人参数就能训练出基本优质的模型。训练设备也不是问题，现在都是远程薅显卡的，~~什么你用青椒云和autodl？那就当给赛博佛祖们交学费吧（不是）~~。希望大家都能来玩玩，还是挺有意思的

，~~训练模型的感觉就像你吃下去的是屎但拉出来的可能是蛋糕（也可能还是屎）~~。

免责声明（大概？）：以上是个人炼丹的弱智见解，没炼过二次元模型，真人模型因为法律问题一般网上也很少会有详细教程（自己摄影的素材那处理起来肯定容易）。希望评论区能有大佬给出些建议。我相信我这炼个丹怎么也违反了好几个规则声明啥的，所以模型暂时就不发了，~~反正泥潭也没多少人真在玩SD~~。

顶端