Pony: People's Works 是一款基于 SDXL 1.0 开发的 LoRA 模型,其画风灵感来源于 Civitai 平台上点赞最多和收藏最多的 Pony 系图片。这款模型并非专注于还原某位特定画师的风格或具体绘画技巧,而是通过对这些受欢迎作品的训练,展现了一种反映社区审美趋势与图片视觉吸引力的独特画风。在使用不同提示词时,这款模型可能会展现出微妙而多变的风格特征,既能保留 Pony 系特有的艺术氛围,又能展现出与众不同的创造性表达。这种多样性和灵活性使得 Pony: People's Works 成为探索 Pony 系画风的理想工具,为用户提供更多创作上的可能性。
使用技巧 | Clip Skip: 2 Strength: 0.9 |
使用方法:
V2以前的版本没有特定触发词。请使用对应模型自带的质量提示词。
对于v3及后续版本,训练了以下标签:
positive:
masterpiece, best quality, very aesthetic
negative:
worst quality, low quality, displeasing
你可以在此基础上编辑提示词。
Data Generation 数据版本:
v6:
新添加了500+张图片其中有一部分选自flux生成的图像。删除了一部分我认为品质不佳的旧图片。
现在总的图片数超过了3000,6个版本的数据总共手动增强/修正了20多条概念。
增加了模型的rank。
v5.9:
模型效果不如预期,但是我觉得训练集的图片本身应该没什么问题。打算先手动修正tag看看效果。
2025/1/3更新:
Manually updated some tags, but they seem unrelated to brightness and colors. Tentatively guessing it might be related to noise offset.
手动更新了一部分标签,但是它们和明暗色彩无甚干系。暂时猜测可能和noise offset有关。
v5:
数据集扩充到2154张图。其中作为主要训练目标的pony图片约1000张。
虽然V-pred模型也能使用基于Eps-pred技术的模型训练的lora,但是生成质量会大打折扣。这个版本将会分别在两个不同类型的模型上训练。
noobAI近期版本有比较明显的伪影,但是danbooru上的“jpeg artifact”并没有起作用。因此专门针对这个问题选择了约30张较为典型的、肉眼可见的图片作为负面案例。
观察到一个现象:pony v6和noobAI在生成有侧发的发型时,倾向于在发根处生成一个三角形的翘起。在danbooru里,这种翘起有时会被标注为“hair intakes”和“curtained hair”,但是pony会给每一个角色都套上这样的结构。这也是pony训练角色时,发型训练不像的一个重要原因。noob也观察到了类似的现象,我的猜测是danbooru以外的某个训练集大量存在这个特征,但没有对这个特征进行正确标注。
对数据集里的图片进行了筛选,其中约2/3的图片进行了正确的标注。现在,在prompt里写上“hair intakes”可能可以一定程度上减轻这个现象,但是我还没有找到根治这个毛病的办法。
v4:
对数据集的标注方式进行了部分优化。基于NoobAI Epsilon-pred v1训练。
Pony系模型有很强烈的生成耳环、耳钉以其他类型的耳部饰品的倾向,有时还会破坏人物耳部的结构。对相关的标注进行了整理。剪裁、手工修改了数据集中一部分结构错误不严重的图,剔除了一些太难修改的图片。
v3:
数据集扩展到了1429张图片,包括了正反两种例子。
其中774张是训练的目标风格。
基于Illustrious v0.1训练。
v2:
Dataset extended to 374 images. Use quality tags and aesthetic tags which comes with models to control generation quality.
训练数据集扩展到了374张。尝试使用模型自带的质量提示词来稳定生成质量。
v1:
训练了C站上224张图片,393张正则数据集。
有Animagine v3.1和Pony v6两个版本。
test ver.4:
有些欠拟合但是目前是有效的。我发现Animagine v3.1自带的质量控制词和美学提示词会改变生成图片的画风,所以这个实验版本需要不填写质量词。下一版会修复。