无图版
帮助
论坛首页
登录
注册
讨论区
搜索
社区服务
屏蔽配置
刷新黑名单
好奇模式
清空列表
管理列表
■
帖子 |
■
头像
社区论坛任务
用户名
UID
Email
认证码
点此显示验证码
热门版块:
茶馆
免空资源区
询问&求物
同人音声
网赚资源区
实用动画
Soulplus
Wind
用户中心首页
编辑个人资料
查看个人资料
好友列表
用户权限查看
积分管理
积分转换
特殊组购买
收藏夹
我的主题
基本统计信息
到访IP统计
管理团队
管理统计
在线统计
会员排行
版块排行
帖子排行
个人首页
我的收藏
好友近况
南+ South Plus
AI交流 (beta)
[lora模型训练] 炼,炼出来了~ 顺便征集老婆(不是)衣服
漫区特设
Comic Market 103
Comic Market 102
サンクリ
Comic1☆
其他同人志
一般漫画
例大祭&紅楼夢
汉化本发布
旧物仓库
蜜柑计划
- 蜜柑计划 - Mikan Project
综合交流
ACG交流
轻小说
原创绘画
原创小说区
询问&求物
茶馆
AI交流 (beta)
免空资源区
网赚资源区
人民囧府
事务受理
上一主题
下一主题
«
1
2
»
Pages: 1/2 Go
新 帖
|
浏览器收藏
|
打印
Ridley
作者资料
发送短消息
加为好友
UID:
1327522
精华:
0
发帖:
239
HP:
0 点
SP币:
12937 G
昵称: Ridley
在线时间: 1355(小时)
注册时间:
2020-08-11
最后登录:
2024-05-12
GF
2023-06-25 07:59
(空的)
只看GF
|
屏蔽
屏蔽此人
屏蔽头像
|
小
中
大
[lora模型训练] 炼,炼出来了~ 顺便征集老婆(不是)衣服
回顾
上次训练后总结下来的问题主要是训练素材(768*768)的局限性导致模型泛化性不足,包括服装、表情、光照以及背景。
https://www.blue-plus.net/read.php?tid-1862648.html
进一步优化
首先我把之前特意留的背景抠干净了,再优化了tag标记(主要是删除重复性tag,比如dress, white dress只保留white dress,尽可能精简tag),然后引入了一张由图生图生成的half nude的差分素材(有且只有一张,理由上期说过了),起到类似正则的作用。我没有直接进行正则化训练是因为没有更多高清的负面正则素材,而好的正面正则素材都已经加入训练集了,同时正则因为权重极高,我担心会污染人像,即便细微的面部特征差异也都不是我所期望的。同时细分了训练集,给不同质量、构图的素材分配不同的循环步数。这样训练13k+步后得到模型
luminexxx_1
(训练参数除了简单的权重分层外基本保持默认,这里的权重分层具体有没有实际作用有待考证,总之所有设置都跟上期训练一致)。
通过查阅全网各路资料,我意识到网络的alpha值对模型泛化性起到至关重要的作用。我之前采取dim=alpha=128的参数可能导致了模型过于关注训练集,而较低的alpha值可以给训练更多的不确定性,于是我又训练了一个alpha=64的模型
luminexxx_2
,其他照旧。从训练过程中的loss值收敛来看,确实较低alpha的训练可以让loss值更大,模型的泛化性显然会更高。
先来看一组对比图(两组模型的各最后四个epoch,按1|2|1|2|1|2|1|2|1|2排列,权重0.6):
知道你们懒得看,我来列出几个发现:
1) 相比以前的训练,模型1和2都对背景有了较好的泛化,所以背景的泛化可以直接通过更精细的抠图和tag优化达到(训练时删掉simple background只保留white background,画图时在负面tag加上white background);
2) 精简了tag后的模型都能做到服装的泛化。而且相比模型1,alpha值更小的模型2服装泛化性更加优秀,也对prompt更敏感;
3) 新的问题:虽然模型2泛化性更高,但同时对面部的还原更弱,在一些图里很难说这是本人了。
那么下一步要做什么很明显了。
保留模型泛化性的同时进行面部的还原
首先我对不同权重的模型2进行比较,因为最后4个epoch几乎没啥区别,我就只选最终epoch(lumine_2)来进行对比
可以看到在权重0.6到0.7之间可以达到原服装细节基本还原的同时保留模型的泛化效果,同时权重越高人物面部有进一步还原但不明显。那么先找到0.6~0.7的临界权重,不过这个权重实际测试下来就是0.6。也就是说想要保证泛化性,模型权重必须在0.6以下,这显然不满足我们还原面部的基本要求。
于是我开始对模型进行分层控制(lora block weight),参考以下分层影响列表,我框出来的橙色分层是对lora有影响的16个层级,绿色是额外的Lycoris才会受影响的5个层级。
进行测试后确认我的lroa模型分层完全符合第一个即4chan情形。于是我开始在0.6权重的基础上增加面部影响层的权重,具体就是不断增加各分层权重,同时保证画出的服装不会被原服装污染,过程展示一下:
先用权重0.6展示一下seed效果
然后对各面部影响分层逐步增加权重,这里为了节省算力就不高清修复和面部重绘了
最后得到权重分层<lora:lumine_2:0.6:1,1.2,1.6,1.6,1.6,1.6,1,1.6,1.6,1,1,1.2,1.6,1.6,1,1.6,1>
看看这个权重下的高清修复和面部重绘完的效果(我发现如果输入的lora分层数量漏了一个或者多了一个仍然可以出图,但会出现一些细小的变化,目前不明确这种变化的来源)
可以看到衣服基本没有被原服装元素污染,面部则发生了一些变化。
再来看看其他泛化效果
泛化性还是不错的,面部也是更还原了一点,已经很接近上期训练的面部效果了(如果还觉得不还原那就去看看原视频,那期摄影背锅)。
结论
目前真人lora训练已小有进步,在训练集有限的情况下,通过精准抠图、tag优化、图生图拓展素材泛化性(弱正则)、降低alpha、lora分层测试,可以基本得到泛化性优秀又还原人物面部和原始服装特征的lora,算是基本满足了最开始做真人lora的要求。
之后或许还能优化的地方
训练后的分层控制跟训练时的分层训练终归还是有差距的,可能分层训练效果更好也可能分层控制效果更佳,我也不知道,可以进一步尝试修改训练时的分层权重或分层alpha维度,但这些训练调参工作繁琐且调参结果因为训练集不同具有不可重复性,我更倾向于像这样在训练后进行分层控制。
以及如果有什么别的问题或者建议欢迎指指点点
我知道你们只想看图,我虽然AI画图技能点了一堆,但对构图和服装搭配没什么天赋,如果评论区有啥想让翠翠穿的衣服可以说一下(重口拒绝
)。
顶端
回复
引用
分享
柳
作者资料
发送短消息
加为好友
UID:
1238107
精华:
0
发帖:
130
HP:
0 点
SP币:
4294 G
昵称: 柳
在线时间: 196(小时)
注册时间:
2019-12-02
最后登录:
2024-05-11
B1F
2023-06-25 08:07
只看该作者
|
屏蔽
屏蔽此人
屏蔽头像
|
小
中
大
图片咋这么小
顶端
回复
引用
分享
b22db2b1
作者资料
发送短消息
加为好友
UID:
225656
精华:
0
发帖:
54
HP:
0 点
SP币:
1256 G
昵称:
在线时间: 53(小时)
注册时间:
2013-04-19
最后登录:
2024-05-11
B2F
2023-06-25 08:08
只看该作者
|
屏蔽
屏蔽此人
屏蔽头像
|
小
中
大
C呆衣服
顶端
回复
引用
分享
盗鼠
作者资料
发送短消息
加为好友
UID:
97880
精华:
0
发帖:
2226
HP:
0 点
SP币:
14393 G
昵称: 盗鼠
在线时间: 616(小时)
注册时间:
2012-04-21
最后登录:
2024-05-11
B3F
2023-06-25 08:31
(真剣で私に恋しなさい!)
只看该作者
|
屏蔽
屏蔽此人
屏蔽头像
|
小
中
大
涩涩才是第一生产力
顶端
回复
引用
分享
Ridley
作者资料
发送短消息
加为好友
UID:
1327522
精华:
0
发帖:
239
HP:
0 点
SP币:
12937 G
昵称: Ridley
在线时间: 1355(小时)
注册时间:
2020-08-11
最后登录:
2024-05-12
B4F
2023-06-25 08:37
(空的)
只看该作者
|
屏蔽
屏蔽此人
屏蔽头像
|
小
中
大
回 2楼(b22db2b1) 的帖子
你是在挑战我的lora模型库么?不同画风lora模型一起用需要进一步控制才能有好的效果,但简单分个层也不是不能看
顶端
回复
引用
分享
97e89df8
作者资料
发送短消息
加为好友
UID:
812035
精华:
0
发帖:
8
HP:
0 点
SP币:
1702 G
昵称:
在线时间: 64(小时)
注册时间:
2017-06-24
最后登录:
2024-05-10
B5F
2023-06-25 14:48
只看该作者
|
屏蔽
屏蔽此人
屏蔽头像
|
小
中
大
膜拜dalao,顺便想看过膝白丝制服鞋+jk的组合~或者是lo裙可爱风
顶端
回复
引用
分享
sphinx
作者资料
发送短消息
加为好友
UID:
766251
精华:
0
发帖:
2017
HP:
0 点
SP币:
8254 G
昵称: sphinx
在线时间: 4620(小时)
注册时间:
2017-02-25
最后登录:
2024-05-12
B6F
2023-06-25 14:51
([sell=0] 出售内容 [/sell])
只看该作者
|
屏蔽
屏蔽此人
屏蔽头像
|
小
中
大
还行啊,袜子那里的褶皱一下就拉出质感了
顶端
回复
引用
分享
34-6
作者资料
发送短消息
加为好友
UID:
903115
精华:
0
发帖:
1951
HP:
0 点
SP币:
11770 G
昵称: 34-6
在线时间: 398(小时)
注册时间:
2018-01-22
最后登录:
2024-01-30
B7F
2023-06-25 17:10
(私は光のランナーです。)
只看该作者
|
屏蔽
屏蔽此人
屏蔽头像
|
小
中
大
好 色色是第一生产力
顶端
回复
引用
分享
82702b66
作者资料
发送短消息
加为好友
UID:
1575557
精华:
0
发帖:
2
HP:
0 点
SP币:
0 G
昵称:
在线时间: 0(小时)
注册时间:
2022-04-10
最后登录:
2023-11-03
B8F
2023-06-25 17:56
只看该作者
|
屏蔽
屏蔽此人
屏蔽头像
|
小
中
大
现在技术这么先进了吗
顶端
回复
引用
分享
yyyprocncom
作者资料
发送短消息
加为好友
UID:
266889
精华:
0
发帖:
173
HP:
0 点
SP币:
29 G
昵称: yyyprocncom
在线时间: 431(小时)
注册时间:
2013-07-26
最后登录:
2024-05-12
B9F
2023-06-25 22:54
(人菜瘾大骚话多,非酋悲渡暹罗洲)
只看该作者
|
屏蔽
屏蔽此人
屏蔽头像
|
小
中
大
大佬我想看tom和jerry皮肤的翠翠可以吗
顶端
回复
引用
分享
Ridley
作者资料
发送短消息
加为好友
UID:
1327522
精华:
0
发帖:
239
HP:
0 点
SP币:
12937 G
昵称: Ridley
在线时间: 1355(小时)
注册时间:
2020-08-11
最后登录:
2024-05-12
B10F
2023-06-25 23:22
(空的)
只看该作者
|
屏蔽
屏蔽此人
屏蔽头像
|
小
中
大
直接文生图的
顶端
回复
引用
分享
Ridley
作者资料
发送短消息
加为好友
UID:
1327522
精华:
0
发帖:
239
HP:
0 点
SP币:
12937 G
昵称: Ridley
在线时间: 1355(小时)
注册时间:
2020-08-11
最后登录:
2024-05-12
B11F
2023-06-25 23:29
(空的)
只看该作者
|
屏蔽
屏蔽此人
屏蔽头像
|
小
中
大
回 9楼(yyyprocncom) 的帖子
麻了,你来给我点思路,我不是贴吧老哥什么活都会整
顶端
回复
引用
分享
....
作者资料
发送短消息
加为好友
UID:
115690
精华:
0
发帖:
20
HP:
0 点
SP币:
205 G
昵称: ....
在线时间: 123(小时)
注册时间:
2012-06-23
最后登录:
2024-05-05
B12F
2023-06-26 00:22
(Mira)
只看该作者
|
屏蔽
屏蔽此人
屏蔽头像
|
小
中
大
喜欢
顶端
回复
引用
分享
....
作者资料
发送短消息
加为好友
UID:
115690
精华:
0
发帖:
20
HP:
0 点
SP币:
205 G
昵称: ....
在线时间: 123(小时)
注册时间:
2012-06-23
最后登录:
2024-05-05
B13F
2023-06-26 00:23
(Mira)
只看该作者
|
屏蔽
屏蔽此人
屏蔽头像
|
小
中
大
能来点中西结合,穿个汉服或者旗袍
顶端
回复
引用
分享
Ridley
作者资料
发送短消息
加为好友
UID:
1327522
精华:
0
发帖:
239
HP:
0 点
SP币:
12937 G
昵称: Ridley
在线时间: 1355(小时)
注册时间:
2020-08-11
最后登录:
2024-05-12
B14F
2023-06-26 00:24
(空的)
只看该作者
|
屏蔽
屏蔽此人
屏蔽头像
|
小
中
大
顶端
回复
引用
分享
97e89df8
作者资料
发送短消息
加为好友
UID:
812035
精华:
0
发帖:
8
HP:
0 点
SP币:
1702 G
昵称:
在线时间: 64(小时)
注册时间:
2017-06-24
最后登录:
2024-05-10
B15F
2023-06-26 15:31
只看该作者
|
屏蔽
屏蔽此人
屏蔽头像
|
小
中
大
jk好评
顶端
回复
引用
分享
爱岛馆子
作者资料
发送短消息
加为好友
UID:
1647795
精华:
0
发帖:
125
HP:
0 点
SP币:
449 G
昵称: 爱岛馆子
在线时间: 205(小时)
注册时间:
2022-08-20
最后登录:
2024-05-04
B16F
2023-06-27 01:37
只看该作者
|
屏蔽
屏蔽此人
屏蔽头像
|
小
中
大
太强啦!大佬有考虑出一期lora炼丹的进阶教程嘛
顶端
回复
引用
分享
Hgking1
作者资料
发送短消息
加为好友
UID:
1007053
精华:
0
发帖:
27
HP:
0 点
SP币:
1482 G
昵称: Hgking1
在线时间: 118(小时)
注册时间:
2018-07-25
最后登录:
2024-05-12
B17F
2023-06-27 01:54
(随心所欲)
只看该作者
|
屏蔽
屏蔽此人
屏蔽头像
|
小
中
大
卧槽。旗袍的那个也太顶了
顶端
回复
引用
分享
d6571bbd
作者资料
发送短消息
加为好友
UID:
1826208
精华:
0
发帖:
14
HP:
0 点
SP币:
253 G
昵称:
在线时间: 18(小时)
注册时间:
2023-06-12
最后登录:
2024-03-24
B18F
2023-06-27 16:43
只看该作者
|
屏蔽
屏蔽此人
屏蔽头像
|
小
中
大
太強了,做好筆記
顶端
回复
引用
分享
坚持访问
作者资料
发送短消息
加为好友
UID:
1385360
精华:
0
发帖:
2771
HP:
0 点
SP币:
1309 G
昵称: 坚持访问
在线时间: 1125(小时)
注册时间:
2021-02-11
最后登录:
2024-05-11
B19F
2023-06-27 20:04
|
▼展开
只看该作者
|
屏蔽
屏蔽此人
屏蔽头像
|
小
中
大
顶端
回复
引用
分享
Ridley
作者资料
发送短消息
加为好友
UID:
1327522
精华:
0
发帖:
239
HP:
0 点
SP币:
12937 G
昵称: Ridley
在线时间: 1355(小时)
注册时间:
2020-08-11
最后登录:
2024-05-12
B20F
2023-06-27 20:39
(空的)
只看该作者
|
屏蔽
屏蔽此人
屏蔽头像
|
小
中
大
回 16楼(两杯冰酒冰) 的帖子
我也是摸着大象过河,发的几篇笔记也主要是针对训练集本身,更进阶的炼丹技巧我也还在学习中
顶端
回复
引用
分享
七木
作者资料
发送短消息
加为好友
UID:
1176523
精华:
0
发帖:
96
HP:
0 点
SP币:
868 G
昵称: 七木
在线时间: 158(小时)
注册时间:
2019-07-25
最后登录:
2024-05-11
B21F
2023-06-28 03:13
只看该作者
|
屏蔽
屏蔽此人
屏蔽头像
|
小
中
大
卧槽大佬练的真好 我一直在练r18本子c社里的角色 素材集很多特效很杂乱 练出的模型泛化性特别差 有什么好的解决办法吗
顶端
回复
引用
分享
七木
作者资料
发送短消息
加为好友
UID:
1176523
精华:
0
发帖:
96
HP:
0 点
SP币:
868 G
昵称: 七木
在线时间: 158(小时)
注册时间:
2019-07-25
最后登录:
2024-05-11
B22F
2023-06-28 03:16
只看该作者
|
屏蔽
屏蔽此人
屏蔽头像
|
小
中
大
想看翠翠cos 少前的45姐 最好色色一点的
最开始认识她就是她出的45 特别有钢板的感觉
顶端
回复
引用
分享
z3s1imf
作者资料
发送短消息
加为好友
UID:
1610188
精华:
0
发帖:
23
HP:
0 点
SP币:
1009 G
昵称: z3s1imf
在线时间: 12(小时)
注册时间:
2022-05-22
最后登录:
2024-05-09
B23F
2023-06-28 13:44
只看该作者
|
屏蔽
屏蔽此人
屏蔽头像
|
小
中
大
这怎么越看越像河野华。。。
顶端
回复
引用
分享
Ridley
作者资料
发送短消息
加为好友
UID:
1327522
精华:
0
发帖:
239
HP:
0 点
SP币:
12937 G
昵称: Ridley
在线时间: 1355(小时)
注册时间:
2020-08-11
最后登录:
2024-05-12
B24F
2023-06-29 00:57
(空的)
只看该作者
|
屏蔽
屏蔽此人
屏蔽头像
|
小
中
大
回 21楼(七木) 的帖子
二次元素材的炼丹方法有很多人总结过了,包括c站的几个大佬也发过帖了,我也没炼过这种素材的,但听大佬们总结的大概就是不要让网络学习复杂元素,一些不好描述的特效细节全都抠掉或者拿可描述的图片覆盖并tag标注。
随便放两个经验帖子:
https://civitai.com/articles/748
https://civitai.com/articles/143/some-shallow-understanding-of-lora-training-lora
像这样的帖子c站、nga甚至b站都有好些
顶端
回复
引用
分享
七木
作者资料
发送短消息
加为好友
UID:
1176523
精华:
0
发帖:
96
HP:
0 点
SP币:
868 G
昵称: 七木
在线时间: 158(小时)
注册时间:
2019-07-25
最后登录:
2024-05-11
B25F
2023-06-29 19:54
只看该作者
|
屏蔽
屏蔽此人
屏蔽头像
|
小
中
大
回 24楼(somesauce) 的帖子
感谢大佬
顶端
回复
引用
分享
bc7cf26a
作者资料
发送短消息
加为好友
UID:
1345566
精华:
0
发帖:
116
HP:
0 点
SP币:
813 G
昵称:
在线时间: 154(小时)
注册时间:
2020-09-27
最后登录:
2024-03-22
B26F
2023-07-08 22:48
只看该作者
|
屏蔽
屏蔽此人
屏蔽头像
|
小
中
大
用户被禁言,该主题自动屏蔽!
顶端
回复
引用
分享
芳心纵火犯
作者资料
发送短消息
加为好友
UID:
859771
精华:
0
发帖:
251
HP:
0 点
SP币:
434 G
昵称: 芳心纵火犯
在线时间: 113(小时)
注册时间:
2017-09-25
最后登录:
2024-05-10
B27F
2023-07-08 23:09
只看该作者
|
屏蔽
屏蔽此人
屏蔽头像
|
小
中
大
我超,荷叶花!
顶端
回复
引用
分享
41830f75
作者资料
发送短消息
加为好友
UID:
1016555
精华:
0
发帖:
655
HP:
0 点
SP币:
4286 G
昵称:
在线时间: 267(小时)
注册时间:
2018-08-11
最后登录:
2024-05-11
B28F
2023-07-10 22:00
(欧内的手,好汉)
只看该作者
|
屏蔽
屏蔽此人
屏蔽头像
|
小
中
大
牛哇
顶端
回复
引用
分享
shadow
作者资料
发送短消息
加为好友
UID:
1204897
精华:
0
发帖:
228
HP:
0 点
SP币:
2055 G
昵称: shadow
在线时间: 331(小时)
注册时间:
2019-09-17
最后登录:
2024-05-12
B29F
2023-07-18 02:26
(南柯一梦)
只看该作者
|
屏蔽
屏蔽此人
屏蔽头像
|
小
中
大
我也用河野华试过来着
,不过只会基本的
顶端
回复
引用
分享
好好活下去,懂吗!
作者资料
发送短消息
加为好友
UID:
1639171
精华:
0
发帖:
2650
HP:
0 点
SP币:
2435 G
昵称: 好好活下去,懂吗!
在线时间: 508(小时)
注册时间:
2022-08-12
最后登录:
2024-05-11
B30F
2023-07-22 00:04
只看该作者
|
屏蔽
屏蔽此人
屏蔽头像
|
小
中
大
好评
顶端
回复
引用
分享
上一主题
下一主题
«
1
2
»
Pages: 1/2 Go
南+ South Plus
AI交流 (beta)
[-- 查看移动版 --]