Stability Matrix の v2.9.0 がリリースされ、噂の Stable Diffusion WebUI Forge がいよいよパッケージインストールできるようになりました。
Stable Diffusion WebUI Forge （以下、Forge ）ってなに？って方については以下の記事を参照してください。
【西川和久の不定期コラム】 VRAMが少ないGPUで画像生成AIを諦めていた人に。「Stable Diffusion WebUI Forge」登場！端的にまとめると「 VRAM 容量のしょっぼい GeForce でも Stable Diffusion できるぜ！早くなるぜ！」という素晴しい AUTOMATIC1111 Stable Diffusion WebUI からのフォーク。
と言うわけで…
Stable Diffusion WebUI Forge やってみた
早速、パッケージインストール！時間はかかりましたが、問題なくインストールが完了し、WebUI も起動してきました。
AUTOMATIC1111 版とは別ディレクトリにインストールされ、切り替え可能になりますが、モデルも LoRA もすでにインストール済みのものを共有してくれます。
しかし、拡張機能だけは個別でインストールする必要があるようです。ただし、Forge は ControlNet などいくつかの拡張機能は最初から統合されており、ADetailer と Ultimate SD Upscale だけ追加でインストールしました。
と事前準備を整えて、 AUTOMATIC1111 版は v1.8.0 、Forge は f0.0.17v1.8.0rc-latest-276-g29be1da7 でやってみた！
GeForce RTX 3050 VRAM 8GB でも Stable Diffusion できることはわかっているし、他に CUDA の使える GPU もないので、メモリの効率云々は、先述の PC Watch の記事でも見ていただくとして、ここでの論点はどれだけ早くなるか？これに絞ってやってみました。
txt2img やってみた
AUTOMATIC1111 版で、いつものように AnythingElse v4.5 を使って 512×768 で生成する絵を Hires. fix で 640×960 に高解像度化しつつ 36.8 秒でできた絵。これを同じ Seed 値で、Forge だと 34.9 秒…統合されている画質を上げるという拡張機能 FreeU を有効にしても 36.5 秒とまだ早い！
FreeU の効果も感じられて、それでも今までと同じか早いとなると、Seed 値を変えながら何度も画像生成を繰り返す txt2txt では、あえて Forge を使う動機に十分なり得るかと思います。
img2img やってみた
今度は上記で生成した絵を AUTOMATIC1111 版でモデルを NeverEnding Dream (NED) に置き換えて 21.8 秒でできた絵。同じ事を Forge で実行すると 21.4 秒。しかし、FreeU を有効にすると 22.3 秒と後塵を拝する結果に。
FreeU の効果は、確かに感じられるのですが、それなしでも十分品質が高いので、遅くなることとトレードオフを許容できるか？質と量どちらを取るか、微妙なところかと思います。
Upscale やってみた
AUTOMATIC1111 版でモデルは NeverEnding Dream (NED) のまま、 Ultimate SD Upscale を使って 1920×1280 に高解像度化して 44.4 秒でできた絵。Forge だとなんと 39.7 秒！ FreeU を有効にしても 42.7 秒と、こちらもまだ早い。
ここまでで最も効果が大きかったこの Upscale 。
「メモリ効率がいい＝大きな絵を生成する余裕ができる」と言うことでしょうか？ 1 枚 5 秒近い差は大きく、かつサンプルを見ていただけばわかるのですが FreeU の効果はまったく認められないので、この 5 秒差は、これまでと手法を変えず Forge に置き換えるだけで得られるので、これは？！と、一瞬、思いました…
Forge でよくね？
えぇ、すでに AnythingElse v4.5 を使って、元絵を試行錯誤する部分は、いわゆるガチャを引くので、すでに Forge を使ってやるようにしています。
ただ img2img での実写系モデルへの置き換え、Upscale に関しては、Microsoft Power Automate for Desktop を使って行っている関係もあり、まだ移行していません。
大きな理由は Forge のアップデートが早すぎること。
Stability Matrix の v2.9.0 がリリースされてから約 1 週間で、この記事を書いてる間にも、すでに 2 回、バージョンアップがあった Forge 。
AUTOMATIC1111 版を元にしているとは言え、多数の拡張機能がビルトインされている関係もあって、UI の変化がもろに影響する Power Automate のフローを Forge のために作り替えるモチベーションが… img2img でのモデルの置き換えでは効果が薄い上に、そもそも寝ている間にフローを動かすので、1 枚ごとの生成時間が多少短くなったところで、どちらにしろ朝には終わっている w ので、バージョンアップのたびにメンテする面倒を考えると、今のまま AUTOMATIC1111 版を使っててもいいかなと… w
ただこのテクノロジーが、本家 AUTOMATIC1111 版に反映されれば嬉しいですし、Forge がもう少し安定すれば、再考しようかと。そう思いつつ、両方を切り替えながらお絵かきしています ^^
ちなみに、今回のアイキャッチも、この記事のために作った縦長の絵を、Photoshop の生成塗りつぶしを使って、横長に拡張してもらいました。あいかわらず Photoshop いい仕事をします (´▽｀)b