日々、Stable Diffusion でお絵かきを楽しんでいますが、Fooocus を使って SDXL でなかなかイケてる絵を出せずに煮詰まって、完全に停滞していました。
いろいろ調べているうちに、やはり SDXL で思った絵を出すには Comfy UI を使いこなす必要がありそうに思え、頑張って Comfy UI を環境構築にチャレンジしてみよう…という気になってきました。
この環境構築に際して、まずは以下の記事を熟読。
生成AIグラビアをグラビアカメラマンが作るとどうなる？第17回：新技術をすぐ試せるComfyUIのインストール・使いかた (西川和久) | テクノエッジ TechnoEdge
いきなり SDXL で云々は厳しそうなので、まずは普段、使っている Stable Diffusion WebUI Forge で、SD1.5 モデル AnythingElse v4.5 で生成した右の絵、このクオリティの絵を生成できる Comfy UI 環境を目標にチャレンジしてみました。
やはり Stability Matrix は偉大だった
まずは Comfy UI のインストールですが、これは Stability Matrix がやはり偉大でした。パッケージを選択して、インストールするだけで起動できました。
一瞬でした…とは、ダウンロード時間がどっぷりかかるので言いませんが、それでも何のトラブルもありませんでした。
…が、参考にした記事で「AUTOMATIC1111 の Extensions 的なもので、何をするにもこれが無いと始まらない。」と紹介されている ComfyUI-Manager のインストール。記事中では git clone で云々ってなっていますが…え？！ Stability Matrix でインストールした環境ではどうするの？
…って一瞬、フリーズしましたが、ここでも Stability Matrix は偉大だった！
パッケージ一覧から Comfy UI の Extensions （下図の矢印）のアイコンをクリックして、立ち上がってくる画面で「ComfyUI-Manager」と検索して、あとはインストールするだけ！自分でなんだかんだとダウンロードしてどうたらとか、ましてコンソールなど弄る必要一切ナシ！ (^^)b
そうして ComfyUI-Manager もインストールして、立ち上がってきたときの Comfy UI の最初の画面がこれ！
Stability Matrix でインストールすると、Stable Diffusion WebUI Forge で導入済みのモデルは共有されている状態になっているので、これで画像の生成はひとまずできる状態です。
Forge と Comfy UI で同じ絵は作れるのか？
そこで、早速、何も考えず、Stable Diffusion WebUI Forge で生成した絵と同じモデルを選び、同じプロンプトを入れ、考えられる限り各パラメータを同様に揃えて（そのつもり）、初めて Comfy UI で生成された絵がこれ！
何というかコントラストの弱い、某機動戦士なアニメのキャラクターデザインも手がけた有名イラストレーターなタッチの絵 w で、これはこれで味があっていい気もするのですが、余りに目指すところとかけ離れすぎていることをひとまず置いておいたとしても、Stable Diffusion WebUI Forge で生成したものと比較するとクオリティに一目でわかるほどの差を感じずにはいられず、これはかなり先は長そう…と言わざる得ません orz
コントラストが弱いのは VAE を適用してないからで、その他、Stable Diffusion WebUI Forge にはいろいろ拡張機能も足しているなど思いつくところは多々あるので、まずはここから SD1.5 で画質改善を試みてみるつもりです。
ちなみに、事前に Copilot さんや perplexity さんに「 Stable Diffusion Web UI と Comfy UI で同じ画像は作れる？」と聞いてみたところ、結論は不可能。その理由は二つ。
一つは、画像生成の元となるノイズを GPU で生成する Comfy UI に対して、Stable Diffusion Web UI は CPU で生成するため。いや、計算器が違っても、そんなに変わるの？と思いますが、決定的だと思えるのは二つ目。プロンプトの重みの計算する際、プロンプトで指定される重みをそのまま使う Comfy UI に対して、Stable Diffusion Web UI は各要素の重みを相対化して正規化してしまうために、同じプロンプトを使っても、効果が変わってしまうんだそうです。
…ということなので、頑張ってもまったく同じ絵は出なさそうですがクオリティの差は明らかなので、もうちょっと根詰めて、品質面での差を縮めていきたいと思います。
次回は「品質向上編」…の予定です w