タグ: ノード

  • [ComfyMaster17] アウトペインティングで、画像の枠を超える!

    画像サイズの [枠]ワクにとらわれず、さらに広大な世界を描きたいと思ったことはありませんか?
    ComfyUIのOutpainting(アウトペインティング)機能を使えば、既存の画像をキャンバスのように拡張し、周囲の景色や状況をAIが自動的に生成してくれるのです。画像の境界線を越えて、新たなストーリーを紡ぎ出すことができます。漫画やバナー画像をつくるときにとても便利です。

    こんにちわ、AICU media編集部です。
    ComfyUI マスターガイド」第17回目になります。
    本記事では、ComfyUIのOutpaintingの基本的な使い方から、具体的なワークフロー、そしてその無限の可能性についてご紹介します。

    前回はこちら

      1. Outpaintingとは

      Outpainting(アウトペインティング)は、既存の画像の境界を超えて拡張し、新しい視覚的要素を生成する画像処理技術です。これは、元の画像のコンテキストを維持しながら、画像の外側に新しい内容を追加することができます。

      ▼[参考]Automatic1111での利用例

      https://note.com/aicu/n/n8e03ec356736

      例えば、上下左右に50pxの拡張をする場合、以下のようになります。拡張部は、元画像のコンテキストに従った内容になっています。

      画像

      2. Outpaintingワークフロー

      それでは、Outpaintingのワークフローを作成していきます。
      ✨️便利なGoogle Colabノートブックとサンプルjsonファイルは文末にて✨️
      ここでは、以下の画像を縦に拡張してみます。

      画像

      最終的なワークフローは以下になります。

      画像

      さて、自分でアウトペインティングのワークフローを作ってみましょう!

      • メニューの「Load Default」をクリックし、標準のワークフローをロードした状態にします。モデルはstable-diffusion-xl-base-1.0を使用します。
      画像
      • 次に「Load Image」ノードを追加し、「choose file to upload」から対象の画像をアップロードします。
      画像
      • 次に空白をダブルクリックして「Pad Image for Outpainting」を追加し、「Load Image」の出力「IMAGE」と、「Pad Image for Outpainting」の入力「image」を接続します。
      画像
      • 「Pad Image for Outpainting」では、left、top、right、bottomにピクセル単位で拡張するサイズを指定できます。また、feathering(フェザリング)は、画像の端をぼかして滑らかに周囲と馴染ませる技術です。outpaintingでは、元の画像と新しく生成した部分の境界をなめらかにつなぐために使用されます。今回は、topに200px、featheringに100pxを指定しました。
      • 拡張部分にあまり大きな値を設定しすぎないことがコツです!
      • とはいえ小さすぎると描画できない要素(この場合は雲)もあるので調整しながら何回か生成するのがオススメです。
      画像
      • 次に「VAE Encode (for Inpainting)」ノードを追加し、「Pad Image for Outpainting」ノードの出力「IMAGE」「MASK」を、それぞれ「VAE Encode (for Inpainting)」ノードの入力「pixels」「mask」に接続、「Load Checkpoint」ノードの出力「VAE」「VAE Encode (for Inpainting)」ノードの入力「vae」に接続します。
      画像
      • 次に「VAE Encode (for Inpainting)」ノードの出力「LATENT」「KSampler」ノードの入力「latent_image」に接続します。
      画像
      • これで生成する準備が完了しました。
      • 上のCLIP(ポジティブプロンプト)に拡張したい画像のプロンプトとして「blue sky, cloud」を設定します。
      • 「Queue Prompt」をクリックし、生成を実行します。以下が生成結果です。しっかり上部に拡張されていることがわかります。
      画像
      • 次は「Pad Image for Outpainting」ノードの「left」に512pxを設定し、横長に画像を拡張してみました。
      画像
      • 拡張した画像に対して、さらに繰り返し拡張を加えていくことも可能です。以下の画像は、上側の拡張を数回行ったものになります。
      画像

      3. まとめ

      ComfyUIのOutpainting機能は、画像編集の可能性を大きく広げる画期的なツールです。シンプルな操作で、画像の境界線を越えて世界を拡張し、想像力豊かな表現を実現することができます。風景写真の拡張、イラストのストーリー展開、漫画制作、バナー画像制作、あるいは全く新しい画像の創造など、その用途は多岐に渡ります。ぜひ、ComfyUIのOutpaintingを試して、あなたのクリエイティビティを解き放ち、新たな表現の世界を切り開いてください。

      次回は、image-to-imageの方法を紹介します。乞うご期待!

      X(Twitter)@AICUai もフォローよろしくお願いいたします!

      画像生成AI「ComfyUI」マスターPlan

      画像生成AI「Stable Diffusion」特に「ComfyUI」を中心としたプロ向け映像制作・次世代の画像生成を学びたい方に向けたプランです。最新・実用的な記事を優先して、ゼロから学ぶ「ComfyUI」マガジンからまとめて購読できます。 メンバーシップ掲示板を使った質問も歓迎です。

      • メンバー限定の会員証が発行されます
      • 活動期間に応じたバッジを表示
      • メンバー限定掲示板を閲覧できます
      • メンバー特典記事を閲覧できます
      • メンバー特典マガジンを閲覧できます
      • 動画資料やworkflowといった資料への優先アクセスも予定

      ゼロから学ぶ「ComfyUI」マガジン

      https://note.com/aicu/m/md2f2e57c0f3c

      マガジン単体の販売は1件あたり500円を予定しております。
      2件以上読むのであればメンバーシップ参加のほうがお得です!というのもメンバーシップ参加者にはもれなく「AICU Creator Union」へのDiscordリンクをお伝えし、メンバーオンリー掲示板の利用が可能になります。

      https://note.com/aicu/membership/boards/61ab0aa9374e/posts/db2f06cd3487?from=self

      もちろん、初月は無料でお試しいただけます!
      毎日新鮮で確かな情報が配信されるAICUメンバーシップ。
      退会率はとても低く、みなさまにご満足いただいております。
      ✨️オトクなメンバーシップについての詳細はこちら


      この記事の続きはこちらから https://note.com/aicu/n/nd89f01669ee6

      Originally published at https://note.com on Sept 17, 2024.

    1. ComfyUIの操作系とショートカット、ノードで「Stable Diffusion」の内部処理を学ぼう

      こんにちわ、AICU media編集部です。
      ComfyUIマスターガイド」シリーズの第2回になります。
      今回は、ComfyUIの基本操作と画像の生成についてご説明をしていきたいとおもいます。

      第1回はこちら

      第2回は、ComfyUIの基本的な操作から、ショートカット、画像の出力までの簡単な流れを解説します。AUTOMATIC1111と違い、完全にグラフィカルなユーザーインターフェースで操作するノードシステムは慣れるまで大変かと思いますが、用語や操作方法に慣れると大変見やすく効率的になります。またここでは、簡単な用語と中で起きている生成AIの処理についても解説していきます。

      ComfyUIの基本操作とUIの名称

      ComfyUI Manager入りのComfyUIが起動したら、まずは基本的な操作方法やユーザーインターフェース(UI)の名称をおさらいしておきましょう。

      ユーザーインターフェース

      画像

      ComfyUIではおもに上のようなグラフキャンバス(GraphCanvas、以下Canvas)上で作業します。以下で説明をする『ノード(node)』と呼ばれる部品を使用して、画像生成を行うためのネットワークを作成していきます。

      Canvasの右にあるメニュー(Menu)では、画像生成(Queue Prompt)のコマンドを投入したり、その他各種設定を行うことができます。

      ノード (node)

      ノード (node) とは、こぶ、結び目、節、という意味ですが、 ネットワーク用語では「結び目」「集合点」といった意味で「ノード」と呼びます。例えばコンピュータネットワークは、点(装置)とそれを結ぶ線(伝送路)で表すことができます。
      ComfyUIにおける画像生成AIはこのようなネットワークの部品で表現されています。

      例えば以下は「プロンプトとネガティブプロンプトを指定して、KSamplerに入力とする」を意味します。

      画像

      ComfyUIではノードシステムを利用して「グラフ」もしくはワークフロー(後述)を構築することで画像生成のネットワークをつくることができます。

      ノードシステムとは、指示を出すノード(点)とその指示を受けるノードをライン(線)で繋げるイメージです。
      複数の点を連結させていくことで、複雑な指示を出すことができ、
      最終的に精密な画像を出力することができます。

      ちなみに、ノードを繋げた一連を『ノードツリー』と呼ぶこともあります。
      (ノードの一連流れが樹と枝葉に似ていることからこのような呼び方が生まれました)

      マウス操作

      左・中ボタンドラッグアンドドロップ:画面の移動
      中央ホイールのスクロール:画面の拡大 / 縮小
      ワークスペース上で右ボタンのクリック:ノードの追加

      左ボタンダブルクリック:ノードの検索

      キーボードショートカット

      上から順によく使うものです、いまはまだわからない用語も多いかもしれませんが、使いながら覚えていくことをおすすめします。

      Ctrl + S : ワークフローの保存
      Ctrl + Enter : 現在のグラフを生成するためにキューに入れる
      グラフとは現在のワークフローのことを指します。
      キュー(queue)とはこれから画像生成を行う待ち列です。
      Ctrl + Shift + Enter : 現在のグラフを生成の最初としてキューに入れる
      いま作業している内容を待ち列の先頭に入れるという意味になります。

      Ctrl+Z:もとに戻す
      Ctrl+Y:操作のやり直し

      Ctrl + O : ワークフローの読み込み
      Ctrl + D : デフォルトのグラフを読み込み

      [ノード操作系]
      Ctrl/Shift + Click : クリックしたノードを選択範囲に追加
      Ctrl + A : すべてのノードを選択
      Delete/Backspace(Windows) : 選択したノードを削除
      Ctrl + Delete/Backspace : 現在のグラフを全削除
      Shift + Drag : 選択した複数のノードを同時に移動
      Alt + C : 選択したノードを折りたたむ/折りたたまない
      Ctrl + M : 選択したノードをミュート/ミュート解除
      Ctrl + B : 選択したノードをバイパス
      (ノードがグラフから削除され、ワイヤが再接続されたように動作)
      Ctrl + C/Ctrl + V : 選択したノードをコピーして貼り付け
      (選択されていないノードの出力への接続は維持されない)
      Ctrl + C/Ctrl + Shift + V : 選択したノードをコピーして貼り付け
      (選択されていないノードの出力から貼り付けたノードの入力への接続を維持)

      [表示系]
      Q : キューの表示を切り替え
      H : 履歴の表示を切り替え
      R :グラフを更新

      Space : カーソルを押しながら移動するとキャンバスが移動


      ComfyUIのワークフローとノード

      ComfyUIで画像生成を実行する前に、基本となるワークフローについて説明をします。ここでは、ComfyUIの起動時に表示されるデフォルトのワークフローを例にとります。Ctrl + Dでいつでも読み込めます。

      画像

      ワークフロー(Workflow)とは

      ワークフローとは、ComfyUIにおいて画像生成プロセスを視覚的に表現したものです。複数のノード(点)を線で接続し、データの流れを示しています。各ノードは特定の処理を担当し、それらを組み合わせることで望む画像を生成します。
      ワークフローはjson形式でテキストファイルとして保存することもできますが、ComfyUIで生成されたPNG画像にも埋め込まれています。

      デフォルトのワークフローの構成

      デフォルトのワークフローは、以下のノード構成になっています。
      この連載では基本的に、左上から右下に向かうようにノードツリーを配置して解説していきます。

      画像
      • Load Checkpoint
        • モデルをロードするノードです。
        • ここでは “v1-5-pruned-emaonly.ckpt” というStable Diffusion 1.5のベースモデルが使用されています。
        • ダウンロード済みであれば他のファイルを選択することができます。
      画像
      • CLIP Text Encode (Prompt)
        • CLIP (Contrastive Language-Image Pretraining)というOpenAIが最初に提案した言語と画像の学習モデルです。
        • テキストプロンプトを「条件付け(Conditioning)」にエンコードします。
        • 2つあり、上部のものがポジティブプロンプト(生成したい内容)、下部のものがネガティブプロンプト(見せたくない要素)を指定します。ノードの種類としては同じものです。
      画像
      • Empty Latent Image
        • 潜在空間(Latent Space)から与える初期画像です。この段階では「サイズだけを持った無の画像」とイメージしておくと良いでしょう。
        • 生成する画像の解像度やバッチサイズ(一度の画像生成で何枚の画像を生成するか)を設定します。
        • ここでは512×512ピクセル、バッチサイズ1が設定されています。
      画像
      • KSampler
        • 実際の画像生成を行うノードです。
        • サンプリング方法、ステップ数、どれだけプロンプトに従うかを指定するCFG(Classifier Free Guidance)、乱数のシードなど、画像生成とその画質に関わる重要なパラメータを設定します。
      画像
      • VAE Decode
        • ここまでの処理は潜在空間での演算なので、最終的に人間が見れる画像(RGBのPNGファイル)に変換するため、VAE(Variational autoencoder; 可変オートエンコーダ)を使って圧縮された潜在表現(latent representation)を実際の画像に変換します。
      画像
      • Save Image
        • 生成された画像を保存します。保存される場所は、”ComfyUI/output”フォルダになります。
        • ファイル名のプレフィックス(前置詞)を設定できます。例えば、プレフィックスに”ComfyUI”を設定した場合、保存される画像のファイル名は”ComfyUI_00001″、”ComfyUI_00002″となります。
      画像

      以上で、ComfyUIの基本的な操作から、ショートカット、画像の出力までの簡単な流れを解説しました。ノードシステムは慣れるまで大変かと思いますが、慣れると大変見やすく効率的になります。また、AUTOMATIC1111と違い、用語の解説とともに触ってみると、中で起きている生成AIの処理がわかりやすくなったかと思います。
      次回はComfyUI Managerやmodelの基本的な使い方をご説明したいと思います。

      画像生成AI「ComfyUI」マスターPlan

      画像

      画像生成AI「Stable Diffusion」特に「ComfyUI」を中心としたプロ向け映像制作・次世代の画像生成を学びたい方に向けたプランです。最新・実用的な記事を優先して、まとめて購読できます。 メンバーシップ掲示板を使った質問も歓迎です。

      • メンバー限定の会員証が発行されます
      • 活動期間に応じたバッジを表示
      • メンバー限定掲示板を閲覧できます
      • メンバー特典記事を閲覧できます
      • メンバー特典マガジンを閲覧できます
      • 動画資料やworkflowといった資料への優先アクセスも予定

      メンバーシップ参加者にはもれなく「AICU Creator Union」へのDiscordリンクをお伝えし、メンバーオンリー掲示板の利用が可能になります。

      https://note.com/aicu/membership/boards/61ab0aa9374e/posts/db2f06cd3487

      もちろん、初月は無料でお試しいただけます!
      毎日新鮮で確かな情報が配信されるAICUメンバーシップ。
      退会率はとても低く、みなさまにご満足いただいております。


      この記事の続きはこちらから https://note.com/aicu/n/nb9657cfc3d8f

      Originally published at https://note.com on Aug 2, 2024.