AI绘画:Stable Diffusion Web UI(四)模型推荐 今日热讯
首先,大部分模型可能都有的一句话:
“本模型原则上禁止用于基于名人和公众人物肖像的训练风格模型,因为这会引起争议,对AI社区的发展产生负面影响。如果您必须违反上述声明训练相关模型并公开发布,请删除您的发布说明中与该模型相关的所有描述。感谢您的支持和理解。”
【资料图】
可能现在某些界限很模糊,但是勿以恶小而为之,使用公开模型请遵守作者的授权许可。
前面三篇:
AI绘画:Stable Diffusion Web UI(一)Windows本地搭建
AI绘画:Stable Diffusion Web UI(二)插件及模型安装
AI绘画:Stable Diffusion Web UI(三)基础使用教程
有需要的的小伙伴可以在合集中看看
再说点题外话,关于Windows本地是否需要单独安装cuda。查资料时看到很多博主会专门安装cuda套件以及一些更复杂的东西,我也尝试了一下发现并没有什么卵用,应该是因为我的卡太老了o(╥﹏╥)o
不建议按照大佬们的那种方式安装运行。按照官方教程安装webui,那么项目其实是运行在vnev,也就是虚环境中,所有的框架依赖都是存在这个文件夹里,对于win系统中的Python是没影响的。一旦出现问题,我们只需要删除vnev文件夹,重新安装即可。单独安装cuda的大佬们,他们本身就十分熟悉Python,而且使用多种AI工具,他们的框架和依赖都是直接安装在Python中,而不是我们这种虚环境vnev中。如果本身不是很懂,还是老老实实按照官方教程走,一旦出现报错搞不定,还要清理Python,就更弄不明白了。
1、Stable Diffusion系列
安装Stable Diffusion WebUI时,如果没有提前下载模型,那么它会默认下载一个Stable Diffusion v1.5
的模型。还有我们在下载公开模型的时候,也会发现简介里都会有一个Base Model
,大部分都是SD 1.5
。这些都是指的Stable Diffusion模型,如今最高版本是v2.1。
打个不是很恰当的比喻,SD系列的模型就相当于老黄家的公版显卡,大佬们发布的模型就相当于百花齐放的非公版系列,SD是几乎所有第三方大模型的底包。但是对于我们伸手党来说,SD系列就显得不够特色鲜明,因此仅做了解。
2、Checkpoints/大模型
ckpt格式,现在大部分是safetensors格式。至于CHECKPOINT TRAINED以及CHECKPOINT MERGE,大概就是别人训练好的和融合好的。它是大型模型,里面集合了调校好的模型参数、权重等,因此出图的的风格、画风已经相对固定。Checkpoints的意思,大概就是当你训练到某一刻时,模型达到了预期,保存后导出,这个达到预期的点就是检查点。
大模型的好处是可以直接拿来用,缺点就是想要再去微调十分麻烦。于是有了后面的lora、embedding等模型,这些属于附加模型,应用在checkpoint模型之上,可以轻易对其进行微调,而且容易训练,十分方便。因为附加模型种类繁多,下面只穿插做个简单介绍。
关于NSFW:
相比普通模型,NSFW模型拥有更好的马赛克内容和细节。刨除这些,NSFW模型出图会显得更性感....
比如下面这两张图,prompt、参数一模一样,第一张是正常模型,第二张是带有NSFW标签的模型:
Checkpoints文件放在models/Stable-diffusion
,在Web UI左上角处刷新加载、切换。
2.1ChilloutMix
写实、人像、NSFW自带vaehttps://civitai.com/models/6424/chilloutmix
这个应该是非常知名的了,因为太拟真,总有些老鼠屎不干正事,最近的豪华游艇诈骗案,可能就是用这个做的....因为饱受争议,作者怕担责一度下架该模型,但是实在是抵不过他热爱分享的心(可能),后来直接把版权给了C站然后重新上架了,使用的话请务必注意遵守规则(可以用,但是不能拿去卖)。 预览图:
以下是我的一次尝试:
可以看到如果没有明显的提示,此模型对脸相关的理解上还是有点偏西方。
下面使用lora,<lora:koreanDollLikeness_v15:0.6>:
下图使用Clip skip: 2
关于lora:英文全称Low-Rank Adaptation of Large Language Models,直译为大语言模型的低秩适应,是微软的研究人员为了解决大语言模型微调而开发的一项技术。 打个不太恰当的比方:大模型就像是你有十万大军,里面有后勤有管理有战斗有物资,他们虽然厉害但是十分死板,即便是去打一个小学森,他们也是十万人一起出动,十分可耻。lora就像是一个编外三人战斗小组,明明只是打一个小学森哪里用得到十万人,大军不用动,他们去就行了。可惜的是
这几个命运和chilloutmix差不多,已经在C站下架了,但是还是有热心用户在上传我也出一份力
2.2 henmix_real
写实、人像
自带vae
@heni29833
https://civitai.com/models/20282/henmixreal
预览图:
这个相比ChilloutMix,人像有点假,其他地方要好一点。
以下是我的尝试:
使用与ChilloutMix相同参数作为对比。
使用lora,<lora:koreanDollLikeness_v15:0.6>:
下图使用Clip skip: 2
2.3 Realistic Vision V1.3
>半写实、人像、摄影风格、NSFW
自带vae
@SG_161222
https://civitai.com/models/4201/realistic-vision-v13
预览图:
很浓烈的人像摄影风格模型,但是想出好图并不容易...作者给出了参考prompt、参数
Prompt:RAW photo, *subject*, (high detailed skin:1.2), 8k uhd, dslr, soft lighting, high quality, film grain, Fujifilm XT3
Example: RAW photo, a close up portrait photo of 26 y.o woman in wastelander clothes, long haircut, pale skin, slim body, background is city ruins, (high detailed skin:1.2), 8k uhd, dslr, soft lighting, high quality, film grain, Fujifilm XT3
Negative Prompt:(deformed iris, deformed pupils, semi-realistic, cgi, 3d, render, sketch, cartoon, drawing, anime:1.4), text, close up, cropped, out of frame, worst quality, low quality, jpeg artifacts, ugly, duplicate, morbid, mutilated, extra fingers, mutated hands, poorly drawn hands, poorly drawn face, mutation, deformed, blurry, dehydrated, bad anatomy, bad proportions, extra limbs, cloned face, disfigured, gross proportions, malformed limbs, missing arms, missing legs, extra arms, extra legs, fused fingers, too many fingers, long neck
Euler A or DPM++ 2M Karras with 25 stepsCFG Scale 7Hires. fix with Latent upscaler0 Hires steps and Denoising strength 0.25-0.7Upscale by 1.1-2.0
以下是我的一次尝试:
按照作者给的示例,我的第一次尝试就失败了。高分修复前正常,修复后模糊。
第二次尝试将高清算法从Latent更换为ESRGAN_4x后正常。
可以看到这几张图的头发都有问题,评论区的图或多或少都有这个问题,除了这个↓
按照惯例修改成亚洲面孔,感觉模型对亚洲面孔好像不友善,看起来更模糊
降低lora权重会有改善↓
猫猫头↓
2.4 DosMix
CG、人物
需要额外加载vae
https://huggingface.co/stabilityai/sd-vae-ft-mse-original/blob/main/vae-ft-mse-840000-ema-pruned.ckpt
(放vae文件夹,手动加载)
@DiaryOfSta
https://civitai.com/models/6250/dosmix
预览图:
需要注意ClipSkip 1 or 2,这个后面再说
以下是我的一次尝试:
hair、eye傻傻分不清楚....
2.5 GuoFeng3
CG、人物
需要额外加载vae
https://huggingface.co/stabilityai/sd-vae-ft-mse-original/blob/main/vae-ft-mse-840000-ema-pruned.ckpt
(放vae文件夹,手动加载)
@xiaolxl
https://civitai.com/models/10415/3-guofeng3
预览图:
作者的话:
这是一个中国华丽古风风格模型,也可以说是一个古风游戏角色模型,具有2.5D的质感。
建议的设置 - Recommended settings
Sampling steps:30 or 50
Sampler:DPM++ SDE Karras
VAE:vae-ft-mse-840000
关键词key word:
best quality, masterpiece, highres, 1girl,china dress,Beautiful face
负面词Negative words:
NSFW, lowres,bad anatomy,bad hands, text, error, missing fingers,extra digit, fewer digits,cropped, worstquality, low quality, normal quality,jpegartifacts,signature, watermark,username,blurry,bad feet
如果想元素更丰富,可以添加下方关键词 - If you want to enrich the elements, you can add the following keywords
Beautiful face, hair ornament, solo,looking at viewer,smile,closed mouth,lips china dress,dress,hair ornament, necklace, jewelry, long hair, earrings, chinese clothes,architecture,east asian architecture,building,outdoors,rooftop,city,cityscape
以下是我的一次尝试:
看评论说很容易手部畸形,以及全身照会造成脸塌陷,我也试了一下,但是没有试出来全身照...
2.6 Perfect World
CG、人物、NSFW
自带vae
@Bloodsuga
https://civitai.com/models/8281/perfect-world
预览图:
作者的话:
以下是我的尝试:
2.7 NeverEnding Dream
CG、二次元、人物、动物
自带vae
@Lykon
https://civitai.com/models/10028/neverending-dream
预览图:
作者的话:
以下是我的尝试:
2.8 Grapefruit (hentai model)
二次元、人物、NSFW
自带vae
@Ikena
https://civitai.com/models/2583/grapefruit-hentai-model
预览图:
这个第二张图是网友上传的,应该是专业的画师,没有留参数...反推也没有复现,唉
原图↓
以下是作者的说明,原文请自己去页面查看:
Grapefruit 的目标是成为一个无尽的模型,具有明亮、清晰和不那么半写实的动漫风格。模型也适用于 SFW 图像。
如作者所说,出图带有明显的光影效果,整体是明亮风格,即使添加dark之类的prompt也不会改变。另外手经常会出错。
以下是我的一次尝试:
补充:
作者提到的clip skip以及Eta noise seed,需要自己设置,不然会发现很多评论的图片无法复现。
2.9 Counterfeit-V2.5
二次元、人物
需要额外加载vae
https://huggingface.co/gsdf/Counterfeit-V2.5/blob/main/Counterfeit-V2.5.vae.pt
(放在模型同文件夹,而不是vae文件夹)
@rqdwdw
https://civitai.com/models/4468/counterfeit-v25
预览图:
作者提到的EasyNegative
我在试图复现第一张预览图时出现了错误,直接复制的参数,但是并没有成功。
作者并没有说明,但是这个模型也要设置Clip skip: 2, ENSD: 31337
随便来一张
2.10 AbyssOrangeMix3 (AOM3)
二次元、人物、风景、NSFW
需要额外加载vae
https://huggingface.co/stabilityai/sd-vae-ft-mse-original/blob/main/vae-ft-mse-840000-ema-pruned.ckpt
(放vae文件夹,手动加载)
@liudinglin
https://civitai.com/models/9942/abyssorangemix3-aom3
预览图:
作者的话:
以下是我的一次尝试:
2.11 MeinaMix
二次元、人物
自带vae
@Meina
https://civitai.com/models/7240/meinamix
预览图:
作者的话:
Enable Quantization in K samplers.Negatives: '(worst quality, low quality:1.4), monochrome, zombie, 'The best samplers in most of the generations is DPM++ 2M Karras, with a CFG scale of 5 up to 9. ( Clip skip 2. )As for the upscaler in most of the scenarios is R-ESRGAN 4x or+Anime6B, with 15 steps at 0.1 up to 0.3 denoising.
以下是我的一次尝试:
2.12 两个不一样的画风,大家自己看吧,不在详细介绍
Nyan Mix@Nyanbrehttps://civitai.com/models/14373/nyan-mix
old fish@timevisitorhttps://civitai.com/models/14978/old-fish
2.13 Cheese Daddy's Landscapes mix风景画
@cheesedaddy
https://civitai.com/models/5041/cheese-daddys-landscapes-mix
求点赞^_^