皇家守卫军吧 关注:78,625贴子:867,496

【AI绘画】Stable diffusion-KR画风 Lora模型发布及效果演示

只看楼主收藏回复










IP属地:安徽1楼2024-05-10 19:08回复
    二楼放链接,这部分也会慢慢更新。同时欢迎大家返图交流!


    IP属地:安徽2楼2024-05-10 19:09
    收起回复
      地图的毛病稍微改一下都能当支线用了


      IP属地:湖北来自Android客户端4楼2024-05-10 19:13
      回复
        好帖!


        IP属地:安徽来自Android客户端5楼2024-05-10 19:13
        回复
          一、Q&A
          这部分本应是最后一部分,不过为了让大家理解,着重先提取到第一部分中来。
          Q:什么是AI绘画?
          A:AI绘画即通过人工智能生成技术得到画作或图片,通过输入一段描述性的文字,计算机进行自动解析,就可生成同一主题、不同风格的画作。当今比较火的可能就是网络上较为流行的画很多二次元人物的美少女,当然这也是其功能的一部分。
          Q:什么是stable-diffusion?
          A:stable diffusion即稳定扩散,它也是目前主流的AI绘画工具之一,其特点就是可控性强,可根据用户需求生成高质量图片,同时它也是免费开源的软件。
          Q:什么是lora?
          A:可以理解为Stable-Diffusion中的一个插件,仅需要少量的数据就可以进行训练的一种模型。在生成图片时,LoRA模型会与SD本身的大模型结合使用,从而实现对输出图片结果的调整。
          举个例子:SD大模型就像素颜的人,LoRA模型就如同进行了化妆、整容或cosplay,但内在还是大模型的底子。当然LoRA模型不仅仅限制于人物,场景、动漫、风格都有相对应的LoRA,本次训练的就是KR风格的lora。
          这里不讲太多专业术语,感兴趣的小伙伴可以自行百度了解。


          IP属地:安徽6楼2024-05-10 19:15
          回复


            IP属地:广东来自iPhone客户端7楼2024-05-10 19:22
            回复
              开辟新天地!


              IP属地:浙江8楼2024-05-10 19:24
              收起回复
                Q:为什么说是beta版?
                A:因为二代部分地图目前处理不到位,还在想办法解决中。一次炼制也会迭代出多个模型,虽然一般来说一轮炼制中最后一个的好,但试验时间也不会短。此外我也在尝试比对这个模型的泛用性和不同关键词的影响,总的来说不断进步中。
                Q:这个模型目前能画什么?
                A:这个模型可以很好还原KRF中矿洞、丛林、沙漠的画风,如矿洞的岩石地形与苔藓悬崖;丛林的自然环境、失落神庙;沙漠的岩石悬崖、源于无尽地图的埃及金字塔风格建筑和金色大门。其中矿洞最佳,海战和万圣节因为图片数量过少,目前拟合完成度欠佳。海战因为陆地块分散表现为整个画面较为散乱,但可以还原类似海三的遗迹建筑;万圣节效果较差,表现为画风和KR出入较大,原因是原图细节较多,进行了不同程度的污染。这两部分目前还在修改尝试中,感兴趣的话我也会在最后放出来


                IP属地:安徽10楼2024-05-10 19:39
                回复
                  Q:目前该模型缺陷/局限性在哪?
                  A:这个问题主要三两部分来说:
                  一是目前AI绘画的局限性:AI无法生成文字,即使是目前SD3模型也只是测试中,无法生成大量准确成段的文字;AI无法很好处理细节,它对细节一知半解:如画一个人来说,AI更会注重整体风格的把控,对于面积较小的区域,很容易忽略带过,而人类画手可以专门针对衣服上一个小装饰品进行复杂的纹理调整;AI无法很好画规矩物品,如人衣服上一排整齐的纽扣,人类画手可以很好地画出等间距的整齐的纽扣,而AI因理解不了所以会习惯性画得歪歪扭扭。
                  二是本模型局限性:结合第一段内容来说,本模型无法绘制地图上的彩蛋、出现较少的元素:如第五关海盗炸药桶、第十一关机关按钮、第十七关临时营地;无法一比一还原原图细节,
                  如第一关手拿锤子的雕像、第六关纳泽鲁之门、第九关外星飞船,虽然无法一比一还原,但是它可以按照自己理解生成一些奇特的建筑,同时我也会适时调整,对于AI理解不了,甚至会污染画面的部分进行删除,如第八关岸边的食人花。
                  三是本人能力问题,SD学习已半年有余,虽说可以利用SD结合传统工具完成一些实时的项目,但SD本身也是一款较新的发展中的软件,很多功能和应用也在探索和实践中。其lora模型的炼制(简称炼丹)
                  ①涉及范围更广:需要了解Python还有powershell,这方面我是一窍不通,对于出现的问题我也是让我朋友帮忙解决的。
                  ②修改时间更长:炼制一次模型不包括设置参数、准备素材的时间(即喂给AI学习图片的时间)根据参数不同在1h左右,无法快速实时比对参数进行修改;也无法预知关键词、画面的元素对于最后结果影响。
                  ③专业性更强:玩SD的人属于少数,会炼制SD模型的更是少之又少,其中出现的问题我的老师有时也没法给出准确解决方案,所以也是不断试错尝试当中。


                  IP属地:安徽11楼2024-05-10 19:40
                  收起回复
                    唉,真的希望二代多出点支线,最喜欢的一部


                    IP属地:四川来自Android客户端12楼2024-05-10 19:43
                    回复
                      此外还有SD本身的限制:生图是一件吃显存的事情,即使用40系显卡,也完全没资本1:1跑1920的高清图,强行跑时间也会很长,至于4K、8K大图更是天方夜谭,所以一般都会跑512×512,512×768的小图,然后最后放大高清图片,这一点我试过SD本身的重绘倍数、后期处理、upscale放大插件,runway的放大但它们都是会有一点点变化,表现在本模型上就是本来小图能看,放大后画风有一点变了,细节改变比较多。所以针对放大这一点我目前也无法解决。
                      下面是一楼原图的放大图,放大之后图片细节会部分丢失,强制高清。








                      IP属地:安徽13楼2024-05-10 19:47
                      回复
                        以官方图集为例,第一张图为原556×418AI高清放大图,表现为图片更为锐利。
                        所以这是目前软件的缺陷,确实无法解决,楼下我放图也会以768×512图来做



                        IP属地:安徽14楼2024-05-10 19:53
                        回复

                          A:不可以,防御塔属于较小的细节物品,无法一比一复刻;且一个防御塔只有一个图片,素材量过少,远远达不到给AI训练的效果。如果把全代统一起来素材都不够,最后画的也是缝合怪,不是原汁原味的KR防御塔。


                          IP属地:安徽15楼2024-05-10 19:57
                          回复

                            不可以,但是理论上仅有部分英雄可以实现。英雄常态是一个像素小人,尺寸过小,达不到基础训练标准512×512,使用Adobe Illustrator重绘也是一件工程量大且结果未知的事情。且大部分英雄素材量过少,和防御塔一个问题,达不到给AI学习训练的要求。理论上可行的是爵士和卫兹南,爵士在传奇也有戏份,老卫则是剧情核心人物,有着更多的官方插画。当然这些我都没有,因为实在不会也没时间研究这东西,如果有传奇素材的和各种官方插画的朋友欢迎直接发给我,万分感谢!此外,炼制人物还会涉及版权问题,没有铁皮的授权,我也不敢轻易炼制这种东西,可以说是种种原因吧!


                            IP属地:安徽16楼2024-05-10 19:57
                            回复
                              Q:这个模型局限性这么多,我要怎么使用它?
                              分两部分来说,一是如果你是个普通人,它生成的图给你“装逼”以假乱真就已经够了;如果你要想搞二创,它最起码最基本能给你提供地图设计思路;然后就是它能减少你的绘画时间,然你更多心思放在设计彩蛋上(此部分需要设计工具如PS配合)。如果想要生成特定的物品,如规整的道路,需要搭配SD的controlnet功能使用,这也是SD的核心功能,后面会演示到。
                              总的来说,AI是一个解放生产力的工具,它可以帮你解决60%-70%的问题,后面都是需要传统工具如PS配合出图的,这也是目前AI工具商业落地的方向。
                              ————————————————
                              Q:后面还会开放其他地图吗?
                              A:本人理想是吧,毕竟炼制模型很花时间和心思。同时这次也是第一次炼制,纯粹为了熟练整个流程同时干一件自己感兴趣的事才炼制本模型,以后可能会先稳定好二代地图的画风,然后炼一代,接着是画风相近的四代,最后可能会三代,不过有生之年了,不能承诺太多,哈哈。


                              IP属地:安徽17楼2024-05-10 19:58
                              回复