1327522.jpg

Ridley

GF  2023-06-12 05:58
(空的)

[lora模型训练] 荧cos(河野华)

郑重声明:本人制作该模型完全出于对该公众人物的喜爱,该模型所基于的角色荧是本人心中最优秀的cosplay之一。在制作的过程中,我没有任何冒犯、侵权、或者商业行为的意图。我希望这个模型能被视为二次创作,而非对公民人身权的侵犯。

若在制作该模型的过程中,我的行为产生了任何侵权问题,请及时联系我并进行协商解决。



上个月看到站内有人分享了自己炼的翠翠cos模型,给了我一些启发,于是想制作一个介于cos模型和人物模型之间的lora,在还原cos者的同时尽可能保留更多服装细节。考虑到dawn66666666(原dawn6666)大佬曾经在civitai发布过No.119(翠翠)的荧lora(已被下架,原封面如图),


但大佬主要炼的是上半身像,当时的lora炼制方法也远没有现在这么成熟,因此想尝试自己炼一个。由于版权声明,这里不展示炼制lora所使用的大模型不过你们猜也能猜到。由于是第一次炼制,很多训练参数也都是照搬赛博佛祖们的,没有半点个人经验,训练集全部来源于公开网络并且分辨率堪忧,但还是勉勉强强炼制出了人生中第一炉丹。在使用lora分层后得到的效果还算不错:


不过由于训练集分辨率问题,衣服的细节并没有被很好保留下来,所以我之后用supermerger (https://github.com/hako-mikan/sd-webui-supermerger) 分层融合了现有的lora模型与Numeratic大佬的lumine模型(https://civitai.com/models/35028)。由于大佬的lumine模型是用NAI模型炼制并且数据集非常充足,因此泛用性很高在三次元模型中也还原得很出色。

之后就是考虑用什么模型去生成图像了。虽然lora模型是依托某大模型炼制的,但并不意味着原模型生成效果最好。因此我对比了多个2.5D/3D模型,以下是d大佬的翠翠模型与N大佬的lumine模型的融合lora在不同模型中的表现:




从中筛选出面部和服饰都还原得还不错的四个模型并进一步比较:


由于服装tag也被正确嵌入,那么继续比较一下换装效果:


萝卜白菜各有所爱,我个人更偏好realidefmix模型(by aigirl951877),之后就默认使用realidefmix模型。
我也对比了自己炼制的lora效果(HYH/no119:0.9/1.0面部权重):





可以看出我的模型相对来说更还原人物面部,这是因为dawn大佬的旧模型在当时并没有被很好地分层(补充:这里说的有问题,应该是lora只调用9/10/11的face分层后,相比我的模型分层后的表现,其人物脸部特征明显减弱,应该是模型有些欠拟合)。但由于训练集问题,我的模型有几率会将荧一侧的发饰错误表现为苍色的头发。

以上是本人第一次炼制lora的简报,一方面可能不合规,另一方面炼得不满意,模型就不分享了。
我进一步优化了这个模型,感兴趣的可以来看看我新的炼丹帖。

realidefmix模型地址(其他展示模型也均在c站):
https://civitai.com/models/66728/realidefmix

我是你奏哥哥


105826.jpg

Leader Three

打標簽不就行了?
面部給打上face,身子給打上body,衣服打上outfit、clothes。
這種大量常用的概念,AI可以理解啊。
當然,分層訓練更直接。

1327522.jpg

Ridley

B3F  2023-06-12 14:48
(空的)

回 2楼(Leader Three) 的帖子

直接通过提示词调用lora特征的效率太低了,大部分时候网络并不能很好地识别对应文本,不如对分层训练的lora进行分层控制这样也能防止部分细节过拟合,而且在炼制人物lora时分层也能最大可能保留人物面部细节。

通常情况下真人模型的训练集对图像质量要求非常高,但高分辨率图像对显存要求巨大,训练集最后也会被统一裁剪缩放成较低分辨率,此时网络将很难学习低分辨下的人物面部特征。这时候如果抽取裁剪头部图像,因为统一清晰度只裁剪头像区域可以保留更多细节,控制网络用这部分训练集对面部层区进行针对训练就能非常好得保留面部细节同时不影响画面整体效果。



补充:此前的理解有错误,炼这第一炉丹的时候错把训练集分文件夹进行不同循环次数的训练当成了分层训练,实际通常讲的分层训练应该是IN/MID/OUT三种网络层级的独立权重训练。但其实说得也没错,可以通过将对面部学习效果显著的分层,依据训练集画布比例进行分层权重修改,大概就是如果训练过程中面部相比其他部位更快过拟合就降低面部影响层的权重,面部欠拟合则加重相关权重,以最终达到最优的效果。此外dim/alpha也可以独立分层,这里分的不是权重而是网络维度,主要是修改alpha网络的维度,对应分层的alpha维度越低则自由度更高,反之则越贴近训练集,因此面部影响层的维度可以拉高,衣服影响层则降低,注意alpha<=dim。

1327522.jpg

Ridley

B4F  2023-06-12 14:54
(空的)
如果有更高清的图像比如4K欢迎分享给我或指路,我觉得面部细节还可以继续优化。当然融合其他面部lora也是不错的选择,总之这要是个学习帖,有什么大胆的想法请分享给我XD

eujGxi1m.png

前有大宝箱

牛的

53050.jpg

jcybaka

有数据集吗

none.gif

白菜

感谢分享

1327522.jpg

Ridley

B8F  2023-06-15 01:45
(空的)

回 6楼(jcybaka) 的帖子

我的数据集很差,你去b站或者微博翻一翻就有

1559066.png

speespeeee

楼主可以来一份dawn66666666(原dawn6666)大佬的荧lora吗    感觉挺好看的

1327522.jpg

Ridley

B10F  2023-06-21 12:35
(空的)

回 9楼(spee) 的帖子

他的模型学习了太多背景,衣服也没学会(dim太小了),老实说不是很好用。

none.gif

Flanker

B11F  2023-06-22 12:36
(とんでもないことなんてどうでもいい)
插眼,河野华确实挺好看的,感觉也适合炼丹   

none.gif

c32cbf30

大佬可以求一个模型吗,自己炼了半天也不是很满意

1327522.jpg

Ridley

B13F  2023-06-23 22:48
(空的)

回 12楼(c32cbf30) 的帖子

你来晚了一步,我也是头一次炼丹,如果你对炼丹感兴趣的话可以看看我发的几个lora训练帖,我也可以分享一下参数。模型分享暂时就不了,我觉得这么红的人物没人分享lora还是有原因的

none.gif

栗午饭

请问佬,你搞的这个技术,需要什么样的电脑配置

1327522.jpg

Ridley

B15F  2023-06-24 15:47
(空的)
没有任何技术,全靠抄别人代码。
电脑配置:能上网