今年的 AIGC 特别火，特别是 stable diffusion 相关的开源工具生态，把入门门槛降得很低，这里记录下最近第一次尝试的 LoRA 训练： 首先看下最终的效果： LoRA 模型已经上传 C站：https://civitai.com/models/60018/realskin (Base Model 用的 ChilloutMix) LoRA 特点 其实本身 ChilloutMix 在人物生成方面已经很好用了，但总感觉有一种失真感，特别是皮肤太过光滑完美（也可能是Prompt的问题？），所以希望训练个加噪点的 LoRA，使皮肤能更真实一点，所以给这个 LoRA 模型起名 “real_skin”，可以对比下图左右不加LoRA和加LoRA的区别： 训练过程 训练的工具主要是 stable-diffusion-webui 和 kohya_ss 这两个开源库，使用比较简单，傻瓜式操作，机器用的腾讯云的 GN7，跑 LoRA 足够了 训练数据的准备用了个比较取巧的办法：先用 ChilloutMix 生成一些人脸图像，然后用 Photoshop 加噪点，再进行训练，省的去找图了，本来也只是训练个类似“滤镜”的效果 Photoshop 的处理，除了加噪点，另外把人脸部分抠了下图，避免噪点影响到其他区域了 最终的训练数据就是如下一些图（已经上传C站） 分辨率用的 512×512，训练参数如下： { "pretrained_model_name_or_path": "/home/ubuntu/stable-diffusion-webui/models/Stable-diffusion/chilloutmix_NiPrunedFp32Fix.safetensors", "v2": false, "v_parameterization": false, "logging_dir": "/home/ubuntu/train/train_lora/log", "train_data_dir": "/home/ubuntu/train/train_lora/image",Continue reading “AIGC LoRA 训练小实验”