我这里用的是waifu diffusion,不过大概步骤是差不多的,因为novelai用的也是diffusion模型,只是训练集更加精确

第一步先找型,step调低一点免得完成度过高。CFG要调高,因为此参数用来引导图像是否和文字内容匹配,在塑造造型的时候调低了容易错误构形,Denoising strength 0.2到0.5就差不多,更高的话画面更奔放,可能就跟输入的图片内容不太相干了。
从20个里面选一个感觉比较好的,把选出来的这张代入到img2img里面,什么参数也不要动,进行下一次迭代。

这一次迭代的结果已经有比较理想的了,虽然完成度低,但这是step的原因。

把step调高,Batch count(生成数量)降低进行下一步迭代。


随着step的增加,画风开始偏移,从中选出看得顺眼的,送进img2img迭代。在迭代的过程中逐渐降低CFG并丰富prompt,提高ai的自由度。迭代的过程是比较痛苦的,因为要人工监督。每一次比上一次更细致一点,一点点调高step,直到最后生成氛围感差不多的图。


如果发现过拟合了就降低step或者CFG,最后加入背景,让ai自由发挥一下,搞定。

