Ridley

GF 2023-06-25 07:59

（空的）

只看GF | | 小中大

[lora模型训练] 炼，炼出来了~ 顺便征集老婆（不是）衣服

回顾
上次训练后总结下来的问题主要是训练素材(768*768)的局限性导致模型泛化性不足，包括服装、表情、光照以及背景。
https://www.blue-plus.net/read.php?tid-1862648.html

进一步优化
首先我把之前特意留的背景抠干净了，再优化了tag标记（主要是删除重复性tag，比如dress, white dress只保留white dress，尽可能精简tag），然后引入了一张由图生图生成的half nude的差分素材（有且只有一张，理由上期说过了），起到类似正则的作用。我没有直接进行正则化训练是因为没有更多高清的负面正则素材，而好的正面正则素材都已经加入训练集了，同时正则因为权重极高，我担心会污染人像，即便细微的面部特征差异也都不是我所期望的。同时细分了训练集，给不同质量、构图的素材分配不同的循环步数。这样训练13k+步后得到模型luminexxx_1（训练参数除了简单的权重分层外基本保持默认，这里的权重分层具体有没有实际作用有待考证，总之所有设置都跟上期训练一致）。

通过查阅全网各路资料，我意识到网络的alpha值对模型泛化性起到至关重要的作用。我之前采取dim=alpha=128的参数可能导致了模型过于关注训练集，而较低的alpha值可以给训练更多的不确定性，于是我又训练了一个alpha=64的模型luminexxx_2，其他照旧。从训练过程中的loss值收敛来看，确实较低alpha的训练可以让loss值更大，模型的泛化性显然会更高。

先来看一组对比图（两组模型的各最后四个epoch，按1|2|1|2|1|2|1|2|1|2排列，权重0.6）：

知道你们懒得看，我来列出几个发现：
1) 相比以前的训练，模型1和2都对背景有了较好的泛化，所以背景的泛化可以直接通过更精细的抠图和tag优化达到（训练时删掉simple background只保留white background，画图时在负面tag加上white background）；
2) 精简了tag后的模型都能做到服装的泛化。而且相比模型1，alpha值更小的模型2服装泛化性更加优秀，也对prompt更敏感；
3) 新的问题：虽然模型2泛化性更高，但同时对面部的还原更弱，在一些图里很难说这是本人了。

那么下一步要做什么很明显了。

保留模型泛化性的同时进行面部的还原

首先我对不同权重的模型2进行比较，因为最后4个epoch几乎没啥区别，我就只选最终epoch（lumine_2）来进行对比

可以看到在权重0.6到0.7之间可以达到原服装细节基本还原的同时保留模型的泛化效果，同时权重越高人物面部有进一步还原但不明显。那么先找到0.6~0.7的临界权重，不过这个权重实际测试下来就是0.6。也就是说想要保证泛化性，模型权重必须在0.6以下，这显然不满足我们还原面部的基本要求。

于是我开始对模型进行分层控制（lora block weight），参考以下分层影响列表，我框出来的橙色分层是对lora有影响的16个层级，绿色是额外的Lycoris才会受影响的5个层级。

进行测试后确认我的lroa模型分层完全符合第一个即4chan情形。于是我开始在0.6权重的基础上增加面部影响层的权重，具体就是不断增加各分层权重，同时保证画出的服装不会被原服装污染，过程展示一下：

先用权重0.6展示一下seed效果

然后对各面部影响分层逐步增加权重，这里为了节省算力就不高清修复和面部重绘了

最后得到权重分层<lora:lumine_2:0.6:1,1.2,1.6,1.6,1.6,1.6,1,1.6,1.6,1,1,1.2,1.6,1.6,1,1.6,1>

看看这个权重下的高清修复和面部重绘完的效果（我发现如果输入的lora分层数量漏了一个或者多了一个仍然可以出图，但会出现一些细小的变化，目前不明确这种变化的来源）

可以看到衣服基本没有被原服装元素污染，面部则发生了一些变化。
再来看看其他泛化效果

泛化性还是不错的，面部也是更还原了一点，已经很接近上期训练的面部效果了（如果还觉得不还原那就去看看原视频，那期摄影背锅）。

结论

目前真人lora训练已小有进步，在训练集有限的情况下，通过精准抠图、tag优化、图生图拓展素材泛化性（弱正则）、降低alpha、lora分层测试，可以基本得到泛化性优秀又还原人物面部和原始服装特征的lora，算是基本满足了最开始做真人lora的要求。

之后或许还能优化的地方

训练后的分层控制跟训练时的分层训练终归还是有差距的，可能分层训练效果更好也可能分层控制效果更佳，我也不知道，可以进一步尝试修改训练时的分层权重或分层alpha维度，但这些训练调参工作繁琐且调参结果因为训练集不同具有不可重复性，我更倾向于像这样在训练后进行分层控制。

以及如果有什么别的问题或者建议欢迎指指点点

我知道你们只想看图，我虽然AI画图技能点了一堆，但对构图和服装搭配没什么天赋，如果评论区有啥想让翠翠穿的衣服可以说一下（重口拒绝

）。

顶端

柳

B1F 2023-06-25 08:07

只看该作者 | | 小中大

图片咋这么小

顶端

b22db2b1

B2F 2023-06-25 08:08

只看该作者 | | 小中大

C呆衣服

顶端

盗鼠

B3F 2023-06-25 08:31

（真剣で私に恋しなさい!）

只看该作者 | | 小中大

涩涩才是第一生产力

顶端

Ridley

B4F 2023-06-25 08:37

（空的）

只看该作者 | | 小中大

回 2楼(b22db2b1) 的帖子

你是在挑战我的lora模型库么？不同画风lora模型一起用需要进一步控制才能有好的效果，但简单分个层也不是不能看

顶端

97e89df8

B5F 2023-06-25 14:48

只看该作者 | | 小中大

膜拜dalao，顺便想看过膝白丝制服鞋+jk的组合~或者是lo裙可爱风

顶端

sphinx

B6F 2023-06-25 14:51

（[sell=0] 出售内容 [/sell]）

只看该作者 | | 小中大

还行啊，袜子那里的褶皱一下就拉出质感了

顶端

34-6

B7F 2023-06-25 17:10

（私は光のランナーです。）

只看该作者 | | 小中大

好色色是第一生产力

顶端

82702b66

B8F 2023-06-25 17:56

只看该作者 | | 小中大

现在技术这么先进了吗

顶端

yyyprocncom

B9F 2023-06-25 22:54

（人菜瘾大骚话多，非酋悲渡暹罗洲）

只看该作者 | | 小中大

大佬我想看tom和jerry皮肤的翠翠可以吗

顶端

Ridley

B10F 2023-06-25 23:22

（空的）

只看该作者 | | 小中大

直接文生图的

顶端

Ridley

B11F 2023-06-25 23:29

（空的）

只看该作者 | | 小中大

回 9楼(yyyprocncom) 的帖子

麻了，你来给我点思路，我不是贴吧老哥什么活都会整

顶端

....

B12F 2023-06-26 00:22

（Mira）

只看该作者 | | 小中大

喜欢

顶端

....

B13F 2023-06-26 00:23

（Mira）

只看该作者 | | 小中大

能来点中西结合，穿个汉服或者旗袍

顶端

Ridley

B14F 2023-06-26 00:24

（空的）

只看该作者 | | 小中大

顶端

97e89df8

B15F 2023-06-26 15:31

只看该作者 | | 小中大

jk好评

顶端

爱岛馆子

B16F 2023-06-27 01:37

只看该作者 | | 小中大

太强啦！大佬有考虑出一期lora炼丹的进阶教程嘛

顶端

Hgking1

B17F 2023-06-27 01:54

（随心所欲）

只看该作者 | | 小中大

卧槽。旗袍的那个也太顶了

顶端

d6571bbd

B18F 2023-06-27 16:43

只看该作者 | | 小中大

太強了，做好筆記

顶端

坚持访问

B19F 2023-06-27 20:04

| ▼展开

只看该作者 | | 小中大

Ridley

B20F 2023-06-27 20:39

（空的）

只看该作者 | | 小中大

回 16楼(两杯冰酒冰) 的帖子

我也是摸着大象过河，发的几篇笔记也主要是针对训练集本身，更进阶的炼丹技巧我也还在学习中

顶端

七木

B21F 2023-06-28 03:13

只看该作者 | | 小中大

卧槽大佬练的真好我一直在练r18本子c社里的角色素材集很多特效很杂乱练出的模型泛化性特别差有什么好的解决办法吗

顶端

七木

B22F 2023-06-28 03:16

只看该作者 | | 小中大

想看翠翠cos 少前的45姐最好色色一点的

最开始认识她就是她出的45 特别有钢板的感觉

顶端

z3s1imf

B23F 2023-06-28 13:44

只看该作者 | | 小中大

这怎么越看越像河野华。。。

顶端

Ridley

B24F 2023-06-29 00:57

（空的）

只看该作者 | | 小中大

回 21楼(七木) 的帖子

二次元素材的炼丹方法有很多人总结过了，包括c站的几个大佬也发过帖了，我也没炼过这种素材的，但听大佬们总结的大概就是不要让网络学习复杂元素，一些不好描述的特效细节全都抠掉或者拿可描述的图片覆盖并tag标注。
随便放两个经验帖子：
https://civitai.com/articles/748
https://civitai.com/articles/143/some-shallow-understanding-of-lora-training-lora
像这样的帖子c站、nga甚至b站都有好些

顶端

七木

B25F 2023-06-29 19:54

只看该作者 | | 小中大

回 24楼(somesauce) 的帖子

感谢大佬

顶端

bc7cf26a

B26F 2023-07-08 22:48

只看该作者 | | 小中大

用户被禁言,该主题自动屏蔽!

顶端

芳心纵火犯

B27F 2023-07-08 23:09

只看该作者 | | 小中大

我超，荷叶花！

顶端

41830f75

B28F 2023-07-10 22:00

（欧内的手，好汉）

只看该作者 | | 小中大

牛哇

顶端

shadow

B29F 2023-07-18 02:26

（南柯一梦）

只看该作者 | | 小中大

我也用河野华试过来着

，不过只会基本的

顶端

好好活下去，懂吗！

B30F 2023-07-22 00:04

只看该作者 | | 小中大

好评

顶端

漫区特设

蜜柑计划

综合交流

人民囧府

[lora模型训练] 炼，炼出来了~ 顺便征集老婆（不是）衣服

回 2楼(b22db2b1) 的帖子

回 9楼(yyyprocncom) 的帖子

回 16楼(两杯冰酒冰) 的帖子

回 21楼(七木) 的帖子

回 24楼(somesauce) 的帖子