因为不了解你的训练集和训练参数，如果你降低lora权重不能解决问题，我按个人理解应该有以下几种可能：
1.训练集多样性不足（可以加入一些其他服饰或动作的图片，不一定非要是同一个人的，加入其他人物图片并与训练人物打标时区分开来就行，比如不同发色的话原人物不标记发色，其他人物标记对应发色。同时这样的“弱正则”图片要尽可能减少循环步数避免污染原人物）
2.训练集没有抠掉背景（建议用ps仔细抠掉背景，让自动打标器只识别出white background而没有blur background之类的）
3.训练集没有正确打标（如果是全靠自动打标一般情况下不会有太大问题，但还是建议手动检查一遍，去掉多余的重复性tag，更精简些）
4.网络的alpha过大（建议alpha=dim/2，如果不追求泛化性也可以更高些）
5.如果训练集过分单一也可以尝试分层训练，但不是很推荐，不如训练完再去分层控制
