none.gif

jumpmiho

大佬们,自己搓了个丹,但是没法涩涩,一直带衣服,这种情况是过拟合了吗?

不管加什么关键词都带衣服,nude、nudity only这种也带内衣...
参数100张训练集,20轮,单张20次
这种情况应该就是过拟合了吧?

1779386.jpg

sophie

我遇到这种情况一般就调低lora的权重或者提高大模型的权重,但是这样做有时候会丢失一些特征,感觉不能根本上解决问题

105826.jpg

Leader Three

你打標了嗎?

105826.jpg

Leader Three

不玩猜謎了,直接看我以前帖子。對擬合的定義:
https://www.blue-plus.net/read.php?tid-1879023.html
https://www.blue-plus.net/read.php?tid-1879122.html
===================
你這相當於1張圖400次。
當然,還要考慮學習率,學習日程Scheduler,優化器Optimizer等等。
我覺得是多了。

你的人能動嗎?站、坐、躺,正、側、背?
如果能動,那只是你沒把衣服的概念分出來。
如果永遠出同一張圖,那才叫過擬合。

t540dx.jpg



B4F  2023-08-23 23:19
(一只萌新发出了软软的嘤嘤声)
就像楼上说的记得tag打完整,对训练集的描述尽量完整

炼了十来个LORA 感觉将Loss值控制到0.08左右,拟合度的表现会好很多

控loss值可以通过调整学习步数或者并行数量来微调,主要影响还是训练集的质量以及Dim和Alpha这两个值,

如果楼主Tag打的是完整的没问题的话可以适当降低文本学习率(Text Lr)来看看能不能解决,推荐参数1e-5


none.gif

jumpmiho

回 3楼(Leader Three) 的帖子

出图可以动,姿势也都可以做
看完帖子感觉还是tag打的有点糊,衣服基本都是dress或者skirt一类的简单描述,还有可能确实单张图学习的多了,我试着加了衣服的tag,出的图基本也都是训练集里的衣服
不过也不是完全脱不掉衣服,算了下大概10张就能脱掉1张
emmm,感觉还是重新炼吧
谢谢大佬

none.gif

jumpmiho

回 4楼(嘤) 的帖子

翻了下记录,总共学习了36000次,loss降的也有点太低了...
大概现在模型已经默认这个人物就是带衣服的了...
还是重新打tag降低步数吧
谢谢大佬  

none.gif

jumpmiho

回 4楼(嘤) 的帖子

翻了下记录,总共学习了36000次,loss降的也有点太低了...
大概现在模型已经默认这个人物就是带衣服的了...
还是重新打tag降低步数吧
谢谢大佬  

none.gif

jumpmiho

回 1楼(sophie) 的帖子

lora的权重降到0.7左右出图就会出异形,而且还有把提示词的引导系数拉大也会出异形,拉到10以上就会有很多奇怪的细节,感觉很怪...
emmm,还是丹搓的有问题吧

none.gif

violeteyes

回 8楼(jumpmiho) 的帖子

首先,最重要的是,你的素材不能只有一种衣服——起码不能只有一种较为复杂的衣服,否则ai会认为那件“服装”就是躯体本身。我会比如选同一人的至少3套服装,将素材按不同着装风格,间隔排列。相同的风格的素材从不连续排列。否则再细致的tagger也没用

其次,用tagger插件打标,而非sd自带的。前者的标更多。

最后,请学会使用分层。lora的一些层控制脸,权重调为1;一些层和着装相关,调为0。lora本身的权重,我一般是1。