つくる人をつくる AICU Inc.

ComfyUIの操作系とショートカット、ノードで「Stable Diffusion」の内部処理を学ぼう

Written by

media

in

こんにちわ、AICU media編集部です。
「ComfyUIマスターガイド」シリーズの第2回になります。
今回は、ComfyUIの基本操作と画像の生成についてご説明をしていきたいとおもいます。

第1回はこちら

【新シリーズ開始】 Google ColabでComfyUIを動かしてみよう！

第2回は、ComfyUIの基本的な操作から、ショートカット、画像の出力までの簡単な流れを解説します。AUTOMATIC1111と違い、完全にグラフィカルなユーザーインターフェースで操作するノードシステムは慣れるまで大変かと思いますが、用語や操作方法に慣れると大変見やすく効率的になります。またここでは、簡単な用語と中で起きている生成AIの処理についても解説していきます。

ComfyUIの基本操作とUIの名称

ComfyUI Manager入りのComfyUIが起動したら、まずは基本的な操作方法やユーザーインターフェース(UI)の名称をおさらいしておきましょう。

ユーザーインターフェース

画像

ComfyUIではおもに上のようなグラフキャンバス(GraphCanvas、以下Canvas)上で作業します。以下で説明をする『ノード(node)』と呼ばれる部品を使用して、画像生成を行うためのネットワークを作成していきます。

Canvasの右にあるメニュー(Menu)では、画像生成（Queue Prompt）のコマンドを投入したり、その他各種設定を行うことができます。

ノード (node)

ノード (node) とは、こぶ、結び目、節、という意味ですが、 ネットワーク用語では「結び目」「集合点」といった意味で「ノード」と呼びます。例えばコンピュータネットワークは、点（装置）とそれを結ぶ線（伝送路）で表すことができます。
ComfyUIにおける画像生成AIはこのようなネットワークの部品で表現されています。

例えば以下は「プロンプトとネガティブプロンプトを指定して、KSamplerに入力とする」を意味します。

画像

ComfyUIではノードシステムを利用して「グラフ」もしくはワークフロー（後述）を構築することで画像生成のネットワークをつくることができます。

ノードシステムとは、指示を出すノード（点）とその指示を受けるノードをライン（線）で繋げるイメージです。
複数の点を連結させていくことで、複雑な指示を出すことができ、
最終的に精密な画像を出力することができます。

ちなみに、ノードを繋げた一連を『ノードツリー』と呼ぶこともあります。
（ノードの一連流れが樹と枝葉に似ていることからこのような呼び方が生まれました）

マウス操作

左・中ボタンドラッグアンドドロップ：画面の移動
中央ホイールのスクロール：画面の拡大 / 縮小
ワークスペース上で右ボタンのクリック：ノードの追加
左ボタンダブルクリック：ノードの検索

キーボードショートカット

上から順によく使うものです、いまはまだわからない用語も多いかもしれませんが、使いながら覚えていくことをおすすめします。

Ctrl + S : ワークフローの保存
Ctrl + Enter : 現在のグラフを生成するためにキューに入れる
グラフとは現在のワークフローのことを指します。
キュー(queue)とはこれから画像生成を行う待ち列です。
Ctrl + Shift + Enter : 現在のグラフを生成の最初としてキューに入れる
いま作業している内容を待ち列の先頭に入れるという意味になります。

Ctrl＋Z：もとに戻す
Ctrl＋Y：操作のやり直し

Ctrl + O : ワークフローの読み込み
Ctrl + D : デフォルトのグラフを読み込み

[ノード操作系]
Ctrl/Shift + Click : クリックしたノードを選択範囲に追加
Ctrl + A : すべてのノードを選択
Delete/Backspace(Windows) : 選択したノードを削除
Ctrl + Delete/Backspace : 現在のグラフを全削除
Shift + Drag : 選択した複数のノードを同時に移動
Alt + C : 選択したノードを折りたたむ/折りたたまない
Ctrl + M : 選択したノードをミュート/ミュート解除
Ctrl + B : 選択したノードをバイパス
(ノードがグラフから削除され、ワイヤが再接続されたように動作)
Ctrl + C/Ctrl + V : 選択したノードをコピーして貼り付け
(選択されていないノードの出力への接続は維持されない)
Ctrl + C/Ctrl + Shift + V : 選択したノードをコピーして貼り付け
(選択されていないノードの出力から貼り付けたノードの入力への接続を維持)

[表示系]
Q : キューの表示を切り替え
H : 履歴の表示を切り替え
R :グラフを更新
Space : カーソルを押しながら移動するとキャンバスが移動

ComfyUIのワークフローとノード

ComfyUIで画像生成を実行する前に、基本となるワークフローについて説明をします。ここでは、ComfyUIの起動時に表示されるデフォルトのワークフローを例にとります。Ctrl + Dでいつでも読み込めます。

画像

ワークフロー（Workflow）とは

ワークフローとは、ComfyUIにおいて画像生成プロセスを視覚的に表現したものです。複数のノード（点）を線で接続し、データの流れを示しています。各ノードは特定の処理を担当し、それらを組み合わせることで望む画像を生成します。
ワークフローはjson形式でテキストファイルとして保存することもできますが、ComfyUIで生成されたPNG画像にも埋め込まれています。

デフォルトのワークフローの構成

デフォルトのワークフローは、以下のノード構成になっています。
この連載では基本的に、左上から右下に向かうようにノードツリーを配置して解説していきます。

画像
  • Load Checkpoint
    • モデルをロードするノードです。
    • ここでは “v1-5-pruned-emaonly.ckpt” というStable Diffusion 1.5のベースモデルが使用されています。
    • ダウンロード済みであれば他のファイルを選択することができます。
画像
  • CLIP Text Encode (Prompt)
    • CLIP (Contrastive Language-Image Pretraining)というOpenAIが最初に提案した言語と画像の学習モデルです。
    • テキストプロンプトを「条件付け(Conditioning)」にエンコードします。
    • 2つあり、上部のものがポジティブプロンプト（生成したい内容）、下部のものがネガティブプロンプト（見せたくない要素）を指定します。ノードの種類としては同じものです。
画像
  • Empty Latent Image
    • 潜在空間(Latent Space)から与える初期画像です。この段階では「サイズだけを持った無の画像」とイメージしておくと良いでしょう。
    • 生成する画像の解像度やバッチサイズ（一度の画像生成で何枚の画像を生成するか）を設定します。
    • ここでは512×512ピクセル、バッチサイズ1が設定されています。
画像
  • KSampler
    • 実際の画像生成を行うノードです。
    • サンプリング方法、ステップ数、どれだけプロンプトに従うかを指定するCFG（Classifier Free Guidance）、乱数のシードなど、画像生成とその画質に関わる重要なパラメータを設定します。
画像
  • VAE Decode
    • ここまでの処理は潜在空間での演算なので、最終的に人間が見れる画像（RGBのPNGファイル）に変換するため、VAE(Variational autoencoder; 可変オートエンコーダ)を使って圧縮された潜在表現（latent representation）を実際の画像に変換します。
画像
  • Save Image
    • 生成された画像を保存します。保存される場所は、”ComfyUI/output”フォルダになります。
    • ファイル名のプレフィックス(前置詞)を設定できます。例えば、プレフィックスに”ComfyUI”を設定した場合、保存される画像のファイル名は”ComfyUI_00001″、”ComfyUI_00002″となります。
画像

以上で、ComfyUIの基本的な操作から、ショートカット、画像の出力までの簡単な流れを解説しました。ノードシステムは慣れるまで大変かと思いますが、慣れると大変見やすく効率的になります。また、AUTOMATIC1111と違い、用語の解説とともに触ってみると、中で起きている生成AIの処理がわかりやすくなったかと思います。
次回はComfyUI Managerやmodelの基本的な使い方をご説明したいと思います。

画像生成AI「ComfyUI」マスターPlan

画像

画像生成AI「Stable Diffusion」特に「ComfyUI」を中心としたプロ向け映像制作・次世代の画像生成を学びたい方に向けたプランです。最新・実用的な記事を優先して、まとめて購読できます。 メンバーシップ掲示板を使った質問も歓迎です。

  • メンバー限定の会員証が発行されます
  • 活動期間に応じたバッジを表示
  • メンバー限定掲示板を閲覧できます
  • メンバー特典記事を閲覧できます
  • メンバー特典マガジンを閲覧できます
  • 動画資料やworkflowといった資料への優先アクセスも予定

メンバーシップ参加者にはもれなく「AICU Creator Union」へのDiscordリンクをお伝えし、メンバーオンリー掲示板の利用が可能になります。

https://note.com/aicu/membership/boards/61ab0aa9374e/posts/db2f06cd3487

もちろん、初月は無料でお試しいただけます！
毎日新鮮で確かな情報が配信されるAICUメンバーシップ。
退会率はとても低く、みなさまにご満足いただいております。

この記事の続きはこちらから https://note.com/aicu/n/nb9657cfc3d8f

Originally published at https://note.com on Aug 2, 2024.

More posts