none.gif

a13sqw

Controlnet出图的偏色问题

最近尝试用controlnet固定图片里的人物,但遇到了出图颜色不准的问题。比如我用下面图片放入controlnet0,预处理选reference only
然后controlnet1,2分别选择inpaint以及tile,原图为下图的左上角。生成模式是文生图,提示词是将原图用wd tagger生成的提示词删除人物特征,并加入生成上面图片的提示词。输出结果示例为下图中其余三张

可以看到动作不对 人物整体的颜色都变得偏粉,似乎是被原图的背景影响了。想问问各位有没有什么比较好的解决办法,先谢谢各位大佬了  

1603086.gif

qqianhua

B1F  2023-07-10 02:35
(头像https://chan.sankakucomplex.com/post/show/ee6b27ec059826c9a0be4b934ee27885)
找个差不多的背景P到原图上去

none.gif

a13sqw

回 1楼(qqianhua) 的帖子

主要是这不是个例,用其它图、人物去重绘也会出现同样问题 所以感觉可能是个系统性的问题,或许能有半自动的解决办法

a869391dec6ea717.png

kb-note

tile本身就是会受到原图影响的啊
用lineart会比较合适吧

none.gif

a13sqw

回 3楼(kb-note) 的帖子

感谢建议我稍微试了一下,部分结果如下



三个controlnet 依次为reference only,inpaint,lineart, lineart选择的是anime_denoise。感觉上lineart的权重设高了会导致角色与原图过于相似,设低一些似乎和用tile出图效果差不多,设到中间则会出旧神 不知道设置怎么调会比较合适
以及我在主楼提及的颜色问题似乎没有明显的改善(也可能是我抽的次数还不够多...)

a869391dec6ea717.png

kb-note

回 4楼(a13sqw) 的帖子

lineart模式调成prompt优先
至于颜色污染,我感觉还好吧,没那么严重 这应该是因为inpaint模型为了使人物更好的融合于背景导致的
reference对于人物的控制程度本身非常有限,你这个能有这么好的效果还是因为你的参考图是ai生成的(应该是这样吧,看着像),如果想要更好的效果,还是需要炼lora模型的

none.gif

a13sqw

回 5楼(kb-note) 的帖子

参考图是AI图去掉了背景 。模式调成prompt优先后颜色问题在权重设的比较低时确实有改善,但体感重绘区域的边缘显得更突兀并且旧神出现率变高了 第一个问题似乎可以后加背景解决,旧神问题还要再多试点别的人物和图 。
Lora也确实值得试,之前一直觉得拿AI图炼Lora可能效果不理想,应该找个时间试一试
感谢提供思路