在Stable Diffusion上如何安装及使用hypernetwork？

hypernetwork模型是一种用于修改风格的小型神经网络。

在这篇文章中，你将学到关于hypernetwork的所有知识，以及如何使用它们来达到你想要的效果。我将从hypernetwork模型的基础知识讲起，到如何结合AUTOMATIC1111 Stable Diffusion GUI使用它们。

什么是Stable Diffusion中的hypernetwork？

hypernetwork是由Novel AI开发的一种微调技术，它是Stable Diffusion的早期采用者。它是一个附加到Stable Diffusion模型上的小型神经网络，用于修改其风格。

小型hypernetwork插入在哪里？它当然是Stable Diffusion模型中最关键的部分：噪声预测器UNet的交叉注意力模块。LoRA模型以不同的方式修改了Stable Diffusion模型的这一部分。

hypernetwork通常是一个非常简单的神经网络：一个带有dropout和激活函数的全连接线性网络。就像你在神经网络入门课程中学到的那样。它们通过插入两个网络来转换键和查询向量，劫持了交叉注意力模块。比较下面的原始模型和被劫持的模型架构。

原始Stable Diffusion模型的交叉注意力模块。

hypernetwork通过添加额外的神经网络来转换键和值。 在训练期间，Stable Diffusion模型被锁定，但允许修改附加的hypernetwork。由于hypernetwork很小，训练速度快且资源需求有限。训练可以在普通电脑上完成。

快速训练和小文件大小是hypernetwork的主要吸引力。

与其他模型类型的区别

hypernetwork与其他模型类型之间的区别：检查点模型、LoRA和嵌入。

检查点模型

检查点模型包含生成图像所需的所有信息。你可以通过它们的大文件大小识别它们。它们的范围从2到7GB。hypernetwork通常低于200MB。

hypernetwork不能单独功能。它需要与一个检查点模型一起工作来生成图像。

检查点模型比hypernetwork更强大。它可以比hypernetwork更好地存储风格。训练检查点模型时，整个模型都会被微调。训练hypernetwork时，只有hypernetwork被微调。

LoRA模型

LoRA模型与hypernetwork最为相似。它们都很小，只修改交叉注意力模块。它们的区别在于修改方式。LoRA模型通过改变其权重来修改交叉注意力。hypernetwork通过插入额外的网络来做到这一点。

用户通常发现LoRA模型产生更好的结果。它们的文件大小相似，通常低于200MB，远小于检查点模型。

LoRA是一种数据存储方法。它不定义训练过程，训练过程可以是dreambooth或额外训练。hypernetwork定义了训练。

嵌入

嵌入是一种称为文本反演的微调方法的结果。像hypernetwork一样，文本反演不改变模型。它只是定义新的关键词来达到某些风格。

文本反演和hypernetwork作用于Stable Diffusion模型的不同部分。文本反演在文本编码器中创建新的嵌入。hypernetwork在噪声预测器的交叉注意力模块中插入一个小网络。

在哪里找到hypernetwork 最好的地方是civitai.com。用Hypernetwork过滤模型类型。

如何使用hypernetwork

我将向你展示如何在AUTOMATIC1111 Stable Diffusion GUI中使用hypernetwork。你可以在Windows、Mac或Google Colab上使用这个GUI。

第1步：安装hypernetwork模型

要在AUTOMATIC1111 webui中安装hypernetwork模型，请将模型文件放在以下文件夹中。

    
复制
    
stable-diffusion-webui/models/hypernetworks

    

第2步：使用hypernetwork模型

要使用hypernetwork，请在提示中放入以下短语。

    
复制
    
hypernet:filename:multiplier

    

filename是hypernetwork的文件名，不包括扩展名(.pt, .bin等)。

multiplier是应用于hypernetwork模型的权重。默认值是1。将其设置为0会禁用模型。

如何确保文件名是正确的？你不应该写这个短语，而应该使用GUI插入它。点击hypernetwork标签。你应该看到安装的hypernetwork列表。点击你想使用的那个。

hypernetwork短语将被插入到提示中。

请注意，hypernetwork短语不被视为提示的一部分。它仅指示使用哪些hypernetwork。应用hypernetwork后，它将被移除。所以你不能使用任何提示语法，比如[keyword1:keyword2:0.5]与它们一起使用。

第3步：测试和使用模型创造艺术

为了最大限度地解锁预期的风格，首先使用它被训练的模型。但不要停在那里。一些hypernetwork需要特定的提示或只适用于特定主题，所以查看模型页面上的提示示例，看看哪些效果最好。

这里有一个专业提示：如果你注意到你的图像看起来太饱和了，这可能是一个信号，表明你需要调整乘数。这是一个简单的修复。Stable Diffusion有时会将颜色饱和度解读为达到标记的完美方式，但减少乘数可以帮助将事物恢复平衡。

一旦你确认你的hypernetwork正在施展魔法，为什么不试着在其他模型上使用它呢？你永远不知道会出现什么有趣和意想不到的效果，而且让我们实话实说，尝试玩弄它们就是纯粹的乐趣。所以，继续吧，让你的创造力奔放。

一些hypernetwork

水元素

水元素是一种独特的hypernetwork，可以将任何东西变成水！使用短语“水元素”在主题之前。确保描述背景。你可以将这个hypernetwork与Stable Diffusion v1.5一起使用。更改hypernetwork权重以调整水效果。

水元素hypernetwork模型页面

提示：

    
复制
    
water elemental woman walking across a busy street <hypernet:waterElemental_10:0.7>

    

提示：

    
复制
    
water elemental a boy running on water <hypernet:waterElemental_10:1>

    

哥特式RPG艺术风格

哥特式RPG艺术风格产生时尚的单色插图风格。与Protogen模型一起使用。

提示：

    
复制
    
drawing male leather jacket cyberpunk 2077 on a city street by WoD1 <hypernet:gothicRPGArtstyle_v1:1>

    

想了解如何利用RPA+AI打造图文工厂 扫描下方二维码加入星球