[ComfyMaster28] 落書きが画像に！ControlNet Scribble入門

頭の中のイメージを、絵心がなくても、まるで魔法のように高品質な画像に変換できるとしたら？
最新のAI技術、ControlNetの「Scribble」がそれを可能にします！
シンプルな線画を描くだけで、あとはAIがあなたの意図を読み取り、驚くほどリアルで美しい画像を生成してくれるのです。

こんにちわ、AICU media編集部です。
「ComfyUI マスターガイド」第28回目になります。
本記事では、この革新的なScribble機能の使い方を、具体的な手順と豊富な作例を交えて分かりやすく解説します。AIによる画像生成の世界を、あなたも体験してみませんか？

本連載の初回はこちら。前回はこちら、目次はこちらです。

[ComfyMaster27] 写真もイラストも線画に！ComfyUIとControlNetによる線画抽出ワークフロー #ComfyUI

[ComfyMaster27] 写真もイラストも線画に！ComfyUIとControlNetによる線画抽出ワークフロー

1. 概要

この記事では、ControlNetのScribble機能を使って、簡単な線画から高品質な画像を生成するワークフローを解説します。具体的な手順、使用したモデルやパラメータ、そして異なる強度設定による生成結果の違いなどを示し、Scribbleの効果と活用方法を理解することを目的とします。

以前の記事で解説したControlNetの基本設定を前提に、今回は「scribble_01.png」というサンプル線画を用いて、人物画像を生成する例を紹介します。生成にはSDXL、RealVisXlモデル、controlnet-union-sdxl-1.0モデルを使用し、プロンプトによる調整も行います。最終的には、ControlNetの強度パラメータを調整することで、線画の反映度合いを制御し、思い通りの画像生成を実現する方法を学びます。

2. ワークフローの使用準備

ControlNet

ControlNetの使用準備については、以下の記事をご覧ください。

[ComfyMaster25] 画像を自由自在に！ControlNetで完全制御

今回は、ControlNetのScribbleを使用します。Scribbleは、線画を元に、画像の内容を推定し、その内容に沿った画像を生成します。

画像素材

今回は、以下の画像をScribbleに使用します。

画像ファイルは、以下よりダウンロードしてください。

画像ファイル (右クリックで保存)

3. ワークフロー解説

以下がワークフローの全体構成になります。

ワークフローのファイルは文末のリンクよりダウンロードしてください。
以下にワークフローの主要な部分とその機能を図示し、詳細に説明します。

入力画像の読み込みと前処理
- Load Image ノード: 「scribble_01.png」というスケッチ画像を読み込みます。
- Scribble ノード: 入力スケッチを処理し、ControlNetに適した形式に変換します。
  - 出力解像度: 1024×1024
モデルとControlNetの読み込み
- Load Checkpoint ノード: 「RealVisXl.safetensors」モデルを読み込みます。
- Load ControlNet Model ノード: 「controlnet-union-sdxl-1.0.safetensors」を読み込みます。
プロンプト処理 (CLIP Text Encode (Prompt) ノード x2)
- ポジティブプロンプト: 「realistic, photorealistic, 1girl, t-shirt, black_hair, long_hair,」
- ネガティブプロンプト: 「bad hand, bad anatomy, worst quality, ai generated images, low quality, average quality, nsfw, nude, naked,」
ControlNetの適用 (Apply ControlNet (Advanced) ノード)
- 前処理されたスケッチ画像を使用してControlNetを適用します。
- 強度: 0.4 (中程度の影響力)
潜在画像の準備 (EmptyLatentImage ノード)
- サイズ: 1024×1024
- バッチサイズ: 1
画像生成 (KSampler ノード)
- Seed: 860227022998597
- Steps: 20
- CFG Scale: 7
- Sampler: dpmpp_2m
- Scheduler: karras
- Denoise: 1.0 (完全に新しい画像を生成)
画像のデコードと保存
- VAEDecode ノード: 生成された潜在表現を実際の画像にデコードします。
- SaveImage ノード: 最終的に生成された画像を「controlnet_scribble」という名前で保存します。