つくる人をつくる AICU Inc.

[ComfyMaster28] 落書きが画像に！ControlNet Scribble入門

Written by

media

in

頭の中のイメージを、絵心がなくても、まるで魔法のように高品質な画像に変換できるとしたら？
最新のAI技術、ControlNetの「Scribble」がそれを可能にします！
シンプルな線画を描くだけで、あとはAIがあなたの意図を読み取り、驚くほどリアルで美しい画像を生成してくれるのです。

こんにちわ、AICU media編集部です。
「ComfyUI マスターガイド」第28回目になります。
本記事では、この革新的なScribble機能の使い方を、具体的な手順と豊富な作例を交えて分かりやすく解説します。AIによる画像生成の世界を、あなたも体験してみませんか？

本連載の初回はこちら。前回はこちら、目次はこちらです。

[ComfyMaster27] 写真もイラストも線画に！ComfyUIとControlNetによる線画抽出ワークフロー #ComfyUI

[ComfyMaster27] 写真もイラストも線画に！ComfyUIとControlNetによる線画抽出ワークフロー

    1. 概要

    この記事では、ControlNetのScribble機能を使って、簡単な線画から高品質な画像を生成するワークフローを解説します。具体的な手順、使用したモデルやパラメータ、そして異なる強度設定による生成結果の違いなどを示し、Scribbleの効果と活用方法を理解することを目的とします。

    以前の記事で解説したControlNetの基本設定を前提に、今回は「scribble_01.png」というサンプル線画を用いて、人物画像を生成する例を紹介します。生成にはSDXL、RealVisXlモデル、controlnet-union-sdxl-1.0モデルを使用し、プロンプトによる調整も行います。最終的には、ControlNetの強度パラメータを調整することで、線画の反映度合いを制御し、思い通りの画像生成を実現する方法を学びます。

    2. ワークフローの使用準備

    ControlNet

    ControlNetの使用準備については、以下の記事をご覧ください。

    [ComfyMaster25] 画像を自由自在に！ControlNetで完全制御

    今回は、ControlNetのScribbleを使用します。Scribbleは、線画を元に、画像の内容を推定し、その内容に沿った画像を生成します。

    画像素材

    今回は、以下の画像をScribbleに使用します。

    画像

    画像ファイルは、以下よりダウンロードしてください。

    3. ワークフロー解説

    以下がワークフローの全体構成になります。

    画像

    ワークフローのファイルは文末のリンクよりダウンロードしてください。
    以下にワークフローの主要な部分とその機能を図示し、詳細に説明します。

    1. 入力画像の読み込みと前処理
      • Load Image ノード: 「scribble_01.png」というスケッチ画像を読み込みます。
      • Scribble ノード: 入力スケッチを処理し、ControlNetに適した形式に変換します。
        • 出力解像度: 1024×1024
    2. モデルとControlNetの読み込み
      • Load Checkpoint ノード: 「RealVisXl.safetensors」モデルを読み込みます。
      • Load ControlNet Model ノード: 「controlnet-union-sdxl-1.0.safetensors」を読み込みます。
    3. プロンプト処理 (CLIP Text Encode (Prompt) ノード x2)
      • ポジティブプロンプト: 「realistic, photorealistic, 1girl, t-shirt, black_hair, long_hair,」
      • ネガティブプロンプト: 「bad hand, bad anatomy, worst quality, ai generated images, low quality, average quality, nsfw, nude, naked,」
    4. ControlNetの適用 (Apply ControlNet (Advanced) ノード)
      • 前処理されたスケッチ画像を使用してControlNetを適用します。
      • 強度: 0.4 (中程度の影響力)
    5. 潜在画像の準備 (EmptyLatentImage ノード)
      • サイズ: 1024×1024
      • バッチサイズ: 1
    6. 画像生成 (KSampler ノード)
      • Seed: 860227022998597
      • Steps: 20
      • CFG Scale: 7
      • Sampler: dpmpp_2m
      • Scheduler: karras
      • Denoise: 1.0 (完全に新しい画像を生成)
    7. 画像のデコードと保存
      • VAEDecode ノード: 生成された潜在表現を実際の画像にデコードします。
      • SaveImage ノード: 最終的に生成された画像を「controlnet_scribble」という名前で保存します。

    4. 生成結果

    以下がScribbleの生成結果です。ControlNetの強度を0.10〜0.80まで変化させながら生成を行い、その違いを一覧化しました。

    画像

    まず、0.10は、ほとんどScribbleが効いていないようです。0.20から少し効果が出てきているようで、0.30-0.40で良い具合で効いているように見えます。0.50からは、反対に効果が出過ぎていて、形状が崩れていっています。0.70からは落書きが強く反映されてしまっています。

    強度を0.40にし、プロンプトを変更して色々と画像を生成してみました。

    画像

    5. まとめ

    Scribbleは、落書きやラフ絵をプロンプトで指定した画像に変換してくれる、特に絵を描きたい人に有効なControlNetです。今回は、私の適当な落書きで試しましたが、もう少ししっかりしたラフ絵であれば、より良い画像を生成できると思います。ぜひ色々なラフ絵でお試しください！

    次回は、IPAdapterでの生成画像のコントロールの方法を紹介します。乞うご期待！
    X(Twitter)@AICUai もフォローよろしくお願いいたします！

    画像生成AI「ComfyUI」マスターPlan

    画像生成AI「Stable Diffusion」特に「ComfyUI」を中心としたプロ向け映像制作・次世代の画像生成を学びたい方に向けたプランです。最新・実用的な記事を優先して、ゼロから学ぶ「ComfyUI」マガジンからまとめて購読できます。 メンバーシップ掲示板を使った質問も歓迎です。

    • メンバー限定の会員証が発行されます
    • 活動期間に応じたバッジを表示
    • メンバー限定掲示板を閲覧できます
    • メンバー特典記事を閲覧できます
    • メンバー特典マガジンを閲覧できます
    • 動画資料やworkflowといった資料への優先アクセスも予定

    ゼロから学ぶ「ComfyUI」マガジン

    https://note.com/aicu/m/md2f2e57c0f3c

    マガジン単体の販売は1件あたり500円を予定しております。
    2件以上読むのであればメンバーシップ参加のほうがお得です！というのもメンバーシップ参加者にはもれなく「AICU Creator Union」へのDiscordリンクをお伝えし、メンバーオンリー掲示板の利用が可能になります。

    https://note.com/aicu/membership/boards/61ab0aa9374e/posts/db2f06cd3487?from=self

    もちろん、初月は無料でお試しいただけます！
    毎日新鮮で確かな情報が配信されるAICUメンバーシップ。
    退会率はとても低く、みなさまにご満足いただいております。
    ✨️オトクなメンバーシップについての詳細はこちら

    [新連載] ここからはじめる「ComfyUIマスターガイド」

    ワークフローのファイルは以下のリンクよりダウンロードしてください。

    この記事の続きはこちらから https://note.com/aicu/n/n8f82a5f619f1

    Originally published at https://note.com on Nov 1, 2024.

    More posts