加入VIP

Stable Diffusion+ControlNet 建筑绘图教程!

文章目录

  • 01 前言
  • 02 安装教程
  • 2.1 电脑配置要求
  • 2.2 SD基础软件安装
  • 2.3 ControlNet插件模型下载
  • 2.4 模型下载
  • 03 概念绘图
  • 3.1 文生图txt2Img
  • 3.2 图生图img2Img
  • 04 精准控制绘图
  • 4.1前期准备
  • 4.2小图渲染
  • 4.3高清渲染
  • 4.4局部修改

Stable Diffusion+ControlNet建筑出图!超细致建筑AI绘图教程!

01 前言

生成式人工智能(AIGC)已经成为了多个领域的热门趋势之一。在建筑领域,AIGC正在发挥越来越重要的作用。借助人工智能的强大计算能力和算法优势,建筑师们能够更高效地生成、优化和呈现设计概念。不仅提升了设计效率,还拓展了创意边界,帮助设计师们更好地实现他们的构想。

其中,Stable Diffusion作为一种新兴的AIGC方法,在建筑效果图渲染中展现出巨大的潜力。本文将深入探讨Stable Diffusion在建筑领域中的应用,并结合ControlNet技术,精准控制建筑设计内容,输出高质量建筑效果图,为您呈现一份超细致的保姆级教程,帮助您轻松掌握这一令人激动的技术。

Stable Diffusion官网

在众多AI绘画产品中,Stable Diffusion(SD)和Midjourney可以说是两颗璀璨的明星。它们通过深度学习和图像生成技术,能够自动将文字内容或草图转化为逼真的建筑效果图。然而,在这两者之间,SD凭借其独特的可控性和渲染效果的卓越表现,成为了设计师们的首选。相较于Midjourney,SD在可控性方面表现更为出色。设计师们可以通过微调参数,精确控制每个细节的渲染效果,实现更符合设计意图的成果。这一点对于建筑设计的精准呈现至关重要,尤其是在追求特定风格或效果时,SD能够更好地满足设计师的要求。

接下来我们先用弗兰克·盖里的古根海姆博物馆草图生成一些图片,看看AI如何理解抽象的内容。

手绘草图

强控制下的效果图

平衡控制下的效果图

弱控制下的效果图

通过上面几张绘画结果的对比,我们可看到SD对于输出结果的强大可控性,同一个绘图模型通过不不同控制强度,输出的图像结果也非常不同。我们可以通过调整各项参数,来精准地控制我们想要的结果,这对于建筑设计领域来说至关重要。

接下来我将会从软件的安装,到出一张简单的建筑图,再到精准控制下的超高清效果图进行一一讲解!如果您已经安装了SD和ControlNet插件,但是不懂如何设置参数来控制出图,可跳过安装教程,从03 概念绘图章节开始学习!

02 安装教程

2.1 电脑配置要求

a.显卡(最重要!!!):N卡(Nvidia)显存4GB以上,但是至少8GB用起来才会比较舒服,不然渲染一张512*512的小图就需要几分钟体验感很差。不推荐A卡(AMD),最低配置GTX1060,不到一分钟一张图;建议配置GTX3060(AI绘图入门甜品卡,但小心矿卡)10秒左右一张图;高配GTX3080 GTX4090,体验三秒一张图,抽奖抽到爽。

b.内存:尽量16GB及以上,因为在出图的时候我们除了开SD软件,可能同时会打开各种参考图网站,SU模型,PS修图等等,容易卡死,体验贼差。

c.cpu处理器:AI绘图主要用gpu计算,不太吃cpu,与显卡相匹配的处理器就可以。

d.硬盘储存空间:100GB以上,软件本体在20-30GB,后期还需要下载很多大的模型,每个模型一般也有2-5GB,还有各种lora模型,所以储存越大越好。

2.2 SD基础软件安装

在这里推荐大家直接安装Stable Diffusion WebUI资源整合包,

秋叶整合包软件界面

电脑配置不行的,可以使用一些SD在线绘图网站,功能几乎没有太大区别,这里推荐一个:哩布哩布AI,这个网站几乎是包含所有所得SD和ControlNet功能,还内置了非常多的模型。目前每天可以免费使用300次,大家可以用这个网站体验一下:https://www.liblibai.com/

哩布哩布AI网站界面

2.3 ControlNet插件模型下载

秋叶整合包里面内置有ControlNet的插件,但是没有相应的模型,因为模型太大,而且不是所有都用得到,需要自己单独下载,并放进相应文件夹,再重新启动SD就可以自动加载了。

在生成建筑AI绘图中,用到最多的是以下四个:canny轮廓,depth深度,mlsd和seg语义分割模型。下载网址:https://huggingface.co/lllyasviel/ControlNet-v1-1/tree/main

ControlNet模型描述

ControlNet模型下载

把下载的模型文件放入你安装SD的文件夹相应路径:models\ControlNet中,之后重新启动SD,在ControlNet下选择相应的模型,就可以使用啦。

2.4 模型下载

推荐模型下载网站CIVITAI:https://civitai.com/

CIVITAI网站界面

你可以在这个网站上下载几乎多有的模型,本次教程用到的模型也全都在这里能下载到。把下载的模型(checkpoint)文件放入你安装SD的文件夹相应路径:models\Stable-diffusion,如果是Lora模型需要放在路径:models\Lora。

安装好软件、插件、模型后,接下来我们就可以开启AI绘画之旅啦。

03 概念绘图

概念绘图大纲

3.1 文生图txt2Img

使用文生图进行AI绘画,主要需要三步a.输入提示词/反向词,b.基础参数设置,c.ControlNet模型控制

a.输入提示词/反向词

首先选择Stable Diffusion模型:architectureExterior_v40Exterior,其他设置保持默认就好。

第一次使用我们我们可以直接去网上搜索别人写好的提示词,找到别人生成的效果比较好的,直接复制过来就可以。很多时候反向词都可以通用,提示词也有事一些通用效果类提示词,然后再自己输入一些自己希望可以出现的内容,需要英文,每个提示词用逗号分隔。

这里我输入的提示词:

dvArchModern, 85mm, f1.8, portrait, photo realistic, hyperrealistic, orante, super detailed, intricate, dramatic, sunlight lighting, shadows, high dynamic range, house, masterpiece,best quality,(8k, RAW photo:1.2),(( ultra realistic)), modernvilla, blackandwhite, architecture, building, cloud, vivid colour, masterpiece,best quality,super detailed,realistic,photorealistic, 8k, sharp focus, a photo of a building

反向词:

(worst quality, low quality:1.4),lowres,(Text:1.3),(logo:1.3), normal quality, cropped, blurry, drawing, painting,signature, soft, blurry, drawing, sketch, poor quality, ugly, type, word,pixelated, low resolution, saturated, high contrast, oversharpened

文生图提示词与反向词填写

b.基础参数设置

基础参数我们主要设置采样方法+步数、出图尺寸、出图张数、提示词相关性。

采样方法主要运用Euler a,DPM++ 2M SDE Karras,采样步数20-40次之间即可,合理范围内次数越高生成图像时间越长,效果越好。但是如果次数过高,画面也可能出现变形和其他诡异的效果。

出图尺寸尽量选额512512左右的小图,这里我用的640460的横向图幅,因为生成的图不一定是我们满意的,所以可以先生成小图,然后用小图在图生图放大。

出图张数根据自己需求和电脑配置,建议一次1-9张,总张数=生成批次*每批数量,这里我生成的4张,分四批每批一张。

提示词相关在3-15范围都可,默认7,这里我输入的10,数值越高,越尊重我们之前输入的提示词。越低AI生成的内容越随机。所以如果画面场景比较大的话,可以低一些,在3-7之间,这样随机性更强,画面更有趣

种子默认-1。如果有别人生成的绘画是你想要的效果,也可以直接复制它的种子。

文生图基础参数设置

这里我们没有用到ControlNet,所以画面是随机的,输出的结果如下。

文生图输出结果

c.ControlNet模型控制

接下来我们看看加入ControlNet后的效果:

我上传了一张建筑速写,然后添加了两个ContorlNet模型MLSD和Canny,记住一定要点击启用按钮,不然就不会应用,选择好模型,点击💥按钮运行,允许预览可以看到运行后的结果。

MLSD控制权重我设置的0.7,canny控制权重我设置的0.2。0-1内,数值越高控制越强。因为MLSD模型识别图片中的主要直线,控制权重可以高一些,canny是轮廓线,但是因为本身就是手绘图,希望生成的是真实的建筑效果,所以要低一些,给一个0.2就好。

所有的参数设置都不是固定的,要适情况而定,大家可以控制设置不同的数值,对比查看效果,这样对这些参数的设置会更加直观。

MLSD模型参数设置

Canny模型参数设置

通过ContorlNet的控制我们可以看到,画面的建筑空间结构和我们上传的草图基本一致。

ControlNet参考底图

ControlNet控制下的文生图效果

3.2 图生图img2Img

使用图生图进行AI绘画,主要需要四步a.输入提示词/反向词,b.上传图生图参考,c.基础参数设置,d.ControlNet模型控制

a.输入提示词/反向词

为了方便大家理解,模型选择、提示词和反向词我还是保持和刚才文生图一样的内容。

b.上传图生图参考

图生图,顾名思义就是通过一张参考图来生成一张新的图,这里我上传了一张同种类型的住宅图片。缩放模式选择拉伸。

图生图选项设置

c.基础参数设置

基础参数设置和之前文生图同理,图片尺寸选择和上传图像一样的尺寸。这里多了一个重绘幅度的选项,数值在0-1之间,0表示整幅图不重绘,1表示整幅图全部重绘,0.7就是重绘70%。

图生图基础参数设置

首先我们还是不启用ControlNet选项,重绘幅度分别选择0、0.2、0.5、0.7、0.85、1 这6个数值,看一下输出的结果。

图生图不同重绘幅度输出结果对比

可以看到AI在重绘幅度大于0.5以后逐渐放飞自我,甚至完全看不到和原图有什么关系。

接下来我们启用ControlNet试试吧!

d.ControlNet模型控制

这次我们添加了三个模型分别是MLSD、Depth、Canny。参数设置如下图,这次我们找的参考图跑出来的Depth深度图效果一般,空间感不强,其实他在很多时候至关重要,所以如果空间效果比较好的话,给一个高数值,他可以对生成的画面控制的很出色。

MLSD模型参数设置

Depth模型参数设置

Canny模型参数设置

来看一下生成的结果,跟不添加ControlNet相比,我们可以明显感觉到,建筑的整体结构始终没有改变。所以通过ControlNet的控制,我们可以对原始参考图进行图生图,生成很多张不同类型的建筑效果图,极大地提高了工作效率,再也不怕甲方一星期要三套方案,每套方案出三种类型啦!😭

ControlNet控制下图生图不同重绘幅度输出结果对比

04 精准控制绘图

精准控制绘图大纲

想要做到精准控制绘图,首先要清楚整个过程是人在控制AI,所以我们自己要先清楚画面内容,不然AI也很难按照我们的想法来。

4.1前期准备

我们以一个建筑改造为例。这是一个城市旧街道,我们要对其进行更新改造,设计成一条中式老街,沿街设置商业店铺。首先要对原始底图进行PS设计意向处理。

a.PS设计意向:

以下是我在ps中进行的操作,首先清理背景中的旧电线,接着添加青石板路地面,然后寻找一些传统老街、古镇的图片素材,将合适的立面角度直接扣下来ps在墙面,为场景增加灯笼配景、背景树木等等,最后添加一些人物增加场景感。

效果图PS设计意向操作步骤

这是最终ps后的设计效果,我们目前可以不用在意太多细节,只要整体透视没大问题就可以。

效果图PS设计意向

b.ControlNet Segment图层

接下来进行第二步,根据ps设计意向绘制segment语义分割图层(语义分割是将标签或类别与图片的每个像素进行关联的一种方法。)每一种标签分类都有对应的颜色,我们可以在网上搜索controlnet categories and color等关键词,进行查询。

Segment语义分割类别与对应颜色

下图是ps设计意向图和对应seg图层, 我主要对以下四种类别进行了绘制:road(道路),building(建筑),tree(树),person(人物)。分的越细致,画面效果越好。

PS设计意向图与Segment图

4.2小图渲染

准备好PS设计意向图和Segment图后,我们就可以打开SD,先进行小图渲染啦。

a.选择SD模型:realisticVisionV50_v50VAE

提示词:

85mm, f1.8, portrait, photo realistic, hyperrealistic, super detailed, intricate, dramatic, sunlight lighting, shadows, high dynamic range, house, masterpiece,best quality,(8k, RAW photo:1.2),(( ultra realistic)),cloud, vivid colour, masterpiece,best quality,super detailed,realistic,photorealistic, 8k, sharp focus, Chinese architecture, ancient Chinese streets, ancient Chinese towns, tourist attractions,shops, accommodation, homestays,grocery

反向词:

(worst quality, low quality:1.4),lowres,(Text:1.3),(logo:1.3), normal quality, cropped, blurry, drawing, painting,signature, soft, blurry, drawing, sketch, poor quality, ugly, type, word,pixelated, low resolution, saturated, high contrast, oversharpened

小图渲染提示词与反向词

b.上传PS设计意向图,缩放模式选择:拉伸

PS设计意向图上传

c.基础参数设置中图像尺寸选择和意向图同比例小图尺寸(在512*512px左右,电脑配置高可以稍微提高,但不建议超过1000px),重绘幅度在0.2-0.3之间都合适,如果生成的图和PS设计意向图太过接近,效果不明显,可适当提高重绘幅度。

小图渲染基础参数设置

d.ControlNet控制

打开ControlNet,分别添加Depth模型、MLSD模型和Seg模型。

小图渲染Depth模型参数设置

小图渲染MLSD模型参数设置

Seg模型由于是我们事前在PS中绘制好的, 所以预处理模型那里选择none就可以。

小图渲染Seg模型参数设置

点击生成,等待结果,不满意的话微调参数,可以多生成几张,直到满意为止。这是我生成的结果,人物有变形和脸部不完整没有关系,因为小尺寸下,人物像素过小,AI生成的效果不好,下一步高清渲染后会好很多。

小图渲染输出结果

4.3高清渲染

选择满意的小图,直接发送到图生图进行高清渲染,通过以下四类参数设置进行渲染:基本参数设置、人物修复、高清放大图像、放大辅助。

a.基本参数设置

缩放模式这里选择:直接缩放。出图尺寸依然保持小图原尺寸,重绘幅度0.2-0.3,种子使用小图的默认种子,不用修改。

高清渲染基础参数设置

b.人物修复-ADetailer

点开ADetailer选项(没有这个选项的可以直接跳过,后期通过局部修改对人物进行修复),第一步1st选择person模型,对人体进行修复,下方输入英文描述提示词;第二步2nd选择face模型,对脸部进行修复,下方输入英文描述提示词。

ADetailer人体修复

ADetailer面部修复

c.高清放大图像-Tiled Diffusion

点开Tiled Diffusion选项,打开选项:保持输入图像尺寸;Method方法选择MultiDiffusion;放大算法选择:R-ESRGAN 4x+ Anime6B;Scale Factor放大比例选择4。其他默认就好。

高清放大图像-Tiled Diffusion参数设置

d.放大辅助-分块VAE+Latent Upscale

这里点开分块VAE,选择:Enable Tiled VAE,脚本选择:Latent Upscale,方法选择:nearest-exact,调度器选择:simple。

记住一定要把ControlNet中之前的三个模型取消应用,因为他在小图渲染中已经起到控制作用了,目前高清放大渲染,不需要ControlNet。

放大辅助参数设置

点击生成,等待结果,此过程可能时间较长,请耐心等待,根据电脑配置不同,大约在5-30分钟不等。

高清渲染输出结果

可以看到整体效果还是比较好的,人物也几乎没有变形。图片分辨率大小可以达到4000px左右,单张图片大小10MB以上,放大看细节处理也很棒,效果真实,是传统的3D模型渲染难以达到的水平。(AI对文字的处理目前还是不太成熟的,可以在PS意向中尽量减少文字内容,如果特别需要可以生成大图后,在PS中把文字加上,然后局部重绘一下,强度设置在0.2-0.3之间。)

高清渲染输出结果细节展示

4.4局部修改

之前有提到秋叶的整合包没有ADetailer插件,不能在高清渲染时对人体进行修复,那么我们来看一下没有ADetailer控制的输出结果。

缺少ADetailer控制下的高清渲染

缺少ADetailer控制下的渲染细节展示

不难发现,除了人物,其他建筑、配景等效果几乎没有区别。人像会有出现手脚变形严重,脸部渲染细节不够等问题。即便是应用ADetailer对人物进行修复,有时候效果也不一定满意,所以还是会需要对一些细节进行微调,这时就可以用到SD图生图中的局部修改功能。

我们可以先吧需要修改的部分进行裁切,并上传至图生图局部重绘(手绘蒙版)部分,在图中直接将需要修改的部分涂黑,提示词记得更换至你想要生成的内容,比如:A woman in traditional dress with her back to us.

图生图局部重绘(手绘蒙版)功能

缩放模式:拉伸,选择重绘蒙版内容、填充、仅蒙版选项。

局部重绘参数设置

图片尺寸和你裁切下来的图片尺寸保持一致,如果尺寸过小,人物渲染依然不清晰,可等比放大2-4倍,重绘幅度0.5左右,效果不好适当微调。

局部重绘参数设置

下面的ADetailer、Tiled Diffusion、分块 VAE、ControlNet脚本全都不需要启用,记得取消,其他参数不知道怎么设置的保持默认就好。最后点击生成,可一次多张或多次生成,重绘效果很难一次就满意,多试几次,选择一张满意的效果,在PS中将生成局部图放进高清大图原位置上,最终完成高清绘图!

局部绘制输出结果对比

局部修改后的高清大图

以上就是Stable Diffusion+ControlNet建筑绘图的全部流程,过程中所涉及到的参数根据大家部署的SD WebUI版本不同或使用的在线绘图网站差异,会有部分功能缺失或参数翻译不同,可通过选择选项下其他参数尝试,过程中参数都不是唯一固定的,尝试理解参数背后的作用,才能让我们对功能更加了解。

作者:无敌小芬
链接:https://www.zcool.com.cn/article/ZMTU3Mjk4OA==.html
来源:站酷
著作权归作者所有。商业转载请联系作者获得授权,非商业转载请注明出处。

微海报

标签

评论留言