AIGC LoRA 训练小实验

今年的 AIGC 特别火,特别是 stable diffusion 相关的开源工具生态,把入门门槛降得很低,这里记录下最近第一次尝试的 LoRA 训练: 首先看下最终的效果: LoRA 模型已经上传 C站:https://civitai.com/models/60018/realskin (Base Model 用的 ChilloutMix) LoRA 特点 其实本身 ChilloutMix 在人物生成方面已经很好用了,但总感觉有一种失真感,特别是皮肤太过光滑完美(也可能是Prompt的问题?),所以希望训练个加噪点的 LoRA,使皮肤能更真实一点,所以给这个 LoRA 模型起名 “real_skin”,可以对比下图左右不加LoRA和加LoRA的区别: 训练过程 训练的工具主要是 stable-diffusion-webui 和 kohya_ss 这两个开源库,使用比较简单,傻瓜式操作,机器用的腾讯云的 GN7,跑 LoRA 足够了 训练数据的准备用了个比较取巧的办法:先用 ChilloutMix 生成一些人脸图像,然后用 Photoshop 加噪点,再进行训练,省的去找图了,本来也只是训练个类似“滤镜”的效果 Photoshop 的处理,除了加噪点,另外把人脸部分抠了下图,避免噪点影响到其他区域了 最终的训练数据就是如下一些图(已经上传C站) 分辨率用的 512×512,训练参数如下: { "pretrained_model_name_or_path": "/home/ubuntu/stable-diffusion-webui/models/Stable-diffusion/chilloutmix_NiPrunedFp32Fix.safetensors", "v2": false, "v_parameterization": false, "logging_dir": "/home/ubuntu/train/train_lora/log", "train_data_dir": "/home/ubuntu/train/train_lora/image",Continue reading “AIGC LoRA 训练小实验”