つくる人をつくる AICU Inc.

カテゴリー: ComfyUI

[ComfyMaster48] ComfyUIでつくる! LoRAで切り拓く!AI時代のキャラクター運用とコトづくり

今、IP・キャラクタービジネスの世界は単なるグラフィックスの提供を超え、独特なストーリーやキャラクターとのエンゲージメントをユーザーとともに紡ぎ出す時代に突入しています。ComfyUIとLoRAを使ってユーザー生成コンテンツ（UGC）が融合することで、従来の常識を覆す新たなブランディング戦略が生まれ、企業とクリエイターの未来が大きく広がろうとしています。

https://note.com/aicu/m/md2f2e57c0f3c

この記事では「ComfyUIマスター」特別編として、BlendAI社が手掛けるアルファパラダイスプロジェクトにご協力いただき、デルタもんやガンマミィ、そしてベータミーナといった個性豊かなキャラクターたちが、どのようにして自由な二次創作と連動した新しいビジネスモデルを構築しているのか、その革新的な取り組みをご紹介します。従来の枠にとらわれない、AIドリブンなクリエイティブプロダクトの製作手法をお楽しみください。

1. 概要

今回は、BlendAI社が手掛けるアルファパラダイスプロジェクトにご協力いただき、キャラクターLoRAのビジネスへの活用方法について、実際の活用事例を交えて解説します。

アルファパラダイスプロジェクト
BlendAI社が展開するアルファパラダイスプロジェクトは、AI技術を活用してキャラクターを制作する取り組みです。このプロジェクトは、ギリシャ文字の24文字をモチーフにしたキャラクターシリーズを目指しており、各キャラクターは独自のデザインとストーリーを持っています。

デルタもん
プロジェクトの第一弾として発表されたキャラクター「デルタもん」は、2024年1月に登場しました。デルタもんは、AI関連のプロジェクトにおいて広く利用されることを目指しており、ユーザーが自由に利用や二次創作を行えるように設計されています15.

ガンマミィ
続いて、2024年9月に発表された「ガンマミィ」は、デルタもんに続く第二弾のキャラクターです。ガンマミィも同様に、利用規約に基づいて自由に利用や二次創作が可能です。このキャラクターは、ギリシャ文字をテーマにしたデザインで、今後も新たなキャラクターが追加される予定です。

ベータミーナ
ベータミーナは、2024年12月に発表され、2025年1月1日からクラウドファンディングが開始されました。これにより、ベータミーナの音声合成ソフトの開発が進められています。彼女は、かっこよくて頼りになる性格を持ちながらも、天然でダウナーな一面を持つキャラクターとして設定されています。

今回は、主にデルタもんLoRAの活用に着目していきます。デルタもんLoRAは、以下のリンクよりダウンロード可能です。

https://civitai.com/models/492694/deltamon-official-version10

2. 他のLoRAと組み合わせる

まずは、ビジネス活用の前に、キャラクターLoRAで作成できる画像の種類を拡張しましょう。LoRAの使用は、単体利用だけではなく、複数のLoRAを組み合わせることができます。ここでは、商用利用可能なLoRAの中から、キャラクターLoRAと組み合わせることで活用の幅が広がるLoRAを紹介します。

lineart / pencil drawing enhancer

lineart / pencil drawing enhancerは、画像を線画で生成します。漫画の作成に利用できるLoRAです。

LoRAは、以下のリンクよりダウンロード可能です。

https://civitai.com/models/381487

Chibi Style XL

Chibi Style XLは、画像をちびキャラにします。LINEスタンプの作成などに利用できます。

LoRAは、以下のリンクよりダウンロード可能です。

https://civitai.com/models/187879/chibi-style-xl

Pixel Art

Pixel Artは、VGAのようなピクセルで画像を生成します。

LoRAは、以下のリンクよりダウンロード可能です。

https://civitai.com/models/133643/lah-pixel-art-or-sdxl

GlowNeon XL

GlowNeon XLは、生成されるイラストに対してネオンの光を強調し、視覚的に魅力的な効果を追加します。これにより、作品に独特の雰囲気を与えることができます。

LoRAは、以下のリンクよりダウンロード可能です。

https://civitai.com/models/310235/glowneon-xl-lora

3. ビジネス活用

LINEスタンプ

実際のビジネス活用例の一つとして、キャラクターLoRAを使用したLINEスタンプ作成があります。LINEスタンプを販売して収益とするだけでなく、自社のIPとしての価値提供を行えます。

デルタもんのLINEスタンプは、学習用のちびキャラ画像を用意し、それを使用してFLUXのLoRAを作成しています。作成方法の詳細は、以下の記事を参照してください。

https://corp.aicu.ai/ja/flux20240907

ガンマミィジェネレーター

こちらは、マーケティングに使用した事例です。AICUとBlendAIがコラボし、チャット形式でガンマミィの画像を生成できる「ガンマミィジェネレーター」を開発・提供しました。

AICUでは、ガンマミィ・ジェネレーターを使用して生成されたイラストコンテストを実施し、多くの新キャラクターの認知を獲得しました。このコンテストやガンマミィ・ジェネレーターを利用することで、ガンマミィの認知度を上げると共に、クラウドファンディングの宣伝を行うことができました。

https://corp.aicu.ai/ja/gammamy-20241011

さらにコンテストも開催し「ガンマミィジェネレーター」を使った卓越した作品も投稿され「AICUマガジン」の裏表紙を飾ったり、キャラクターに声を提供する声優さんにファンの想いを届けられるようになってきました。これはIPプロデュース側やイベントの主催側だけでは難しい「AI時代のコトづくり」の事例となります。

#ガンマミィ #Gammamy #AICUxBlendAIガンマミィ誕生記念イラストコンテスト
こちらのAIイラストの生成にはガンマミィジェネレーターを使用させていただきました🥰 pic.twitter.com/TdmnnqmmdJ
— 森にえ (@kamitashiro_AI) October 12, 2024

https://corp.aicu.ai/ja/gammamy-20241017

ガンマミィ誕生記念イラストコンテストに応募しAICU賞を受賞した時のAIイラストを
AICU media編集部さま発行『AICUマガジンVol.6』ペーパーバック版の裏表紙に採用して頂きました
ISBNの付いた本の裏表紙に1枚絵としてご使用いただけたことを大変光栄に思います
ぜひお手に取ってご覧下さい pic.twitter.com/gUupkHjf4t
— 森にえ (@kamitashiro_AI) December 1, 2024

https://corp.aicu.ai/ja/aicu-magazine-vol-6-20241202

https://corp.aicu.ai/ja/blendai-20241212

グッズ作成

BlendAI社では、クラウドファンディングの御礼品として、クリアファイルとキーホルダーを作成しています。このようなIPを活用したグッズ作成にキャラクターLoRAは非常に有効です。

4. まとめ

本記事では、ComfyUIとキャラクターLoRAが切り拓く新時代のブランディング戦略に迫り、BlendAI社のアルファプロジェクト事例を通してその多彩な可能性を紐解いてきました。デルタもんやガンマミィといったキャラクターが、単なるビジュアルの枠を超えて、LINEスタンプやグッズ、そしてマーケティングコンテンツとして実際にビジネスシーンで活用される様子は、今後のクリエイティブ戦略に大きな刺激を与えるでしょう。この新たな技術と表現手法が、あなた自身のブランド構築やアイデアの源泉となるかもしれません。未来のブランディングへの一歩を踏み出すために、ぜひ本記事で紹介した革新的なアプローチに注目し、その可能性を感じ取ってみてください。

AICU Japan株式会社について

AICUは「つくる人をつくる」をビジョンに掲げ、最新の生成AI、クリエイティブAI技術を皆さまにお届けしています。

📝noteでは、生成AIに関する最新情報や使い方の解説を発信しています。ぜひフォローして、最新情報をチェックしてください！
https://note.com/aicu

📩メールマガジン「週刊AICU通信」では、AI関連のニュースやトレンド、イベント情報などを毎週お届けしています。購読登録はこちらから！
https://corp.aicu.ai/ja

📚️Kindleストアでは、「月刊AICUマガジン」を配信中！AI技術の特集や深掘り解説記事が読めます。
https://j.aicu.ai/kindle

Xでも情報発信中！フォローしてね😉
https://x.com/AICUai

「共有ComfyUI」オープンベータ実施中！

こちらのフォーム、もしくは下のURLでウェイトリストに登録することができます。

https://cdn.iframe.ly/weGqsov?v=1&app=1

https://share.hsforms.com/2IfeHZPwASyin8_6BuJyHwAq3r782025年2月17日まで利用可能な無償招待コードをお送りします。既にお試しいただいている方も、遠慮なく申し込んでください！

※noteのComfyUIマスタープランと、上記の「共有ComfyUI」はしばらく並列に運営していきます。他にもたくさんサービスを開発していきますので応援よろしくお願いいたします！

#生成AI #StableDiffusion #画像生成AI #AI画像生成 #プロンプト #ComfyUI #SDXL #StableDiffusionWebUI #AIイラスト #生成 #アニメイラスト #BlendAI #デルタもん #ガンマミィ #ベータミーナ

【書籍化】「ComfyUIマスターガイド」
http://j.aicu.ai/comfysb

【今すぐ使えるComfyUI】
https://aicu.jp/comfyui

【月刊AICUマガジン】「つくる人をつくる」クリエイティブAI専門誌、毎月魅力的な特集や深掘りお送りします[Kindle Unlimitedで無料]
https://j.aicu.ai/kindle

Originally published at https://note.com on Feb 8, 2025.

2025-02-08
[ComfyMaster43] 画像生成AIの基礎知識: ComfyUIを学ぶ前に知っておきたいこと – 2025年2月版
ComfyMaster「ゼロから学ぶComfyUI」は本日より、新章に突入します！
まずいったん、2025年2月次点での「画像生成AIの基礎知識」、次に「共有ComfyUI」環境における画像生成の基本をおさらいし、さらにControlNetとLoRA、動画生成と応用編に向かっていきます。

https://corp.aicu.ai/ja/aicu-comfyui-20250126

参考図書「画像生成 AI Stable Diffusionスタートガイド」

https://j.aicu.ai/SBXL

AICUが2024年3月に出版したこの教科書「(通称)SD黄色本」を、ComfyUI時代の常識で引き上げていきます！できるだけ初心者から上級者まで幅広い読者にわかるように、丁寧に、優しく表現するのでついてきてくださいね！
内容は、近日発売予定の新刊書籍の草稿でもあります！
「わかりやすかった！」「難しかった…」などのご感想は、是非コメント欄にいただけましたら幸いです。

画像生成AIの超基礎知識[2025年版]： ComfyUIを学ぶ前に知っておきたいこと

画像生成AI、最近本当によく聞くようになりましたよね！まるで魔法みたいに、言葉や簡単な指示から、想像もしていなかったような美しい画像や面白い画像がポンポン生まれてくる。
「ComfyUI」を使いこなして、そんな画像生成AIをもっと自由に操れるようになる前に、まずは画像生成AIって一体何なのか？何ができるのか？どうすれば使えるのか？ といった基本的なところから、一緒に見ていきましょう！

今回は、ComfyUIの世界へ飛び込む前に知っておきたい、画像生成AIの全体像を掴むための３つのステップをご案内します。

画像生成AIとは

画像生成AIってどんなもの？
画像生成AIって何ができるの？
画像生成AIを使うにはどうすればいい？

ComfyUIを学ぶための土台をしっかりと築いていきましょう！

画像生成AIってどんなもの？ – 魔法の箱の正体

画像生成AI、マイクロソフトの「Copilot」やOpenAIの「ChatGPT」、Xの「Grok」など、まるで魔法のように美しい画像が数単語のテキストを与えるだけで生成されていきます。ここでは、画像生成AIとは一体何なのか、その正体を解き明かし、他人に説明できるレベルでマスターしていきましょう。

画像生成AIとは：言葉やイメージを画像にする技術

画像生成AIとは、テキストや他の画像などの入力情報に基づいて、新しい画像を機械が生成する技術のことです。

例えば、「猫がピアノを弾いている(a picture of a cat play the piano)」と文章で指示（プロンプト）を入力すると、そのような画像が生成されます。人間が頭の中にイメージを持っているかどうかにかかわらず、AIが魔法のカメラで写真を撮ってきてくれたようにも感じられます。この画像生成AIは、AI技術の中でも「生成AI」と呼ばれる分野に属しています。既に獲得した「モデル」をベースに「推論」によって「それらしい画像」を生成します。生成AIは、画像だけでなく、文章、音楽、動画など、様々な種類のデータを生成することができます。

誰がどのように開発した？研究から一般利用へ

画像生成AIの歴史はコンピューターの歴史や映像の歴史、コンピューター・グラフィックス（CG）の歴史とともにあります。実は意外と古く、研究自体は1940年代から始まっていました。

初期の頃は、テレビやブラウン管、ディスプレイ技術のような電気電子技術による映像メディアの誕生とともにあり、バーコードのような白黒の印刷パターンから文字や数字といった「コード」を認識する技術が生まれます。パーセプトロンという人間の脳神経の仕組みを模した人工ニューロンやニューラルネットワークの研究とともに、セルオートマトンという簡単なアルゴリズムにより図形や模様を生成する程度でした。当時提案されたベジェ曲線のような複雑な曲線を表現できる数学のモデルは現在もAdobe Illustratorで使われています。ニューラルネットワークの研究はコンピューターの演算処理の高速化、メモリの大容量化、そして研究者たちのオープンな研究により、多層パーセプトロン、エキスパートシステム、誤差伝搬法と進化していき、近年、ディープラーニング（深層学習）という機械学習技術として進化します。特に2010年以降GAN（Generative Adversarial Network：敵対的生成ネットワーク）や拡散モデルといった新しいモデルが登場したことで、生成される画像のクオリティが飛躍的に向上しました。

特に、2022年8月に公開されたStable Diffusionは、オープンソース（公式には「ソース」ではなくオープンモデル、もしくはオープンウェイトと呼ばれています）で、誰でも無料で利用できるという点が画期的でした。これにより、画像生成AIは研究者や専門家だけでなく、多様なアプリやサービスに組み込まれ、一般の人々にも広く利用されるようになり、爆発的に普及しました。

Stable Diffusionの開発には、Stability AIという企業を中心に、多くの研究者や開発者が貢献していました。また、GoogleやOpenAI、Twitterを運営する Xといった大手IT企業も、Imagen、DALL-E、Grok といった高性能な画像生成AIを開発・公開しています。Webブラウザやスマホアプリで利用するサービスだけでなく、Stable Diffusionのようなオープンウェイトとして配布されるモデルや、さらに商用利用可能なモデルや、その追加学習をする技術、一般のクリエイターによって配布されるモデルなど多様に登場しました。

画像生成AIが一般的な認知を得るようになった経緯としては、
1. 技術の進化: ディープラーニング、GAN、拡散モデルなどの技術革新により、高品質な画像生成が可能になった。
2. オープンソース化: Stable Diffusionの登場により、無料で誰でも利用できる環境が整った。
3. SNSでの拡散: 生成された画像がTwitterやInstagramなどのSNSで拡散され、多くの人々の目に触れる機会が増えた。
4. メディアの報道: テレビやニュースサイトなどのメディアで画像生成AIが取り上げられるようになり、一般層への認知度が向上した。
といった要因が挙げられます。これは旧来の研究者が、専門家向けに論文を書いて、学会で論文誌や書籍に収録されているだけのサイクルとは明らかに異なっており、さらにX(Twitter)のGrokような「日常の出来事」を画像生成させたり、公開された画像を学習したりしていくことで、さらに成長・進化していく可能性があります。

現在どのようなサービスがある？広がる利用シーン

現在、様々な画像生成AIサービスが登場しており、用途や目的に合わせて自由に選択できるようになりました。

主な画像生成AIサービス
- Stable Diffusion: オープンソース（オープンウェイト）で、様々な派生モデルや対応できるGUIツールが存在する。「ComfyUI」もその一つです。
- Midjourney: Discord上で利用できる画像生成AI。アーティスティックな画像生成に強み。広告業界では広く使われています。
- DALL-E 2 & DALL-E 3: OpenAIが開発。テキスト指示への理解度が高く、高品質な画像生成が可能。OpenAIとマイクロソフト以外は中身がどうなっているか、直接触ることはできませんが、アプリ開発（Application Programming Interface: API）を経由して利用できます。
- Bing Image Creator (DALL-E 3 搭載): Microsoft Bingの画像検索機能に統合された画像生成AI。API費用はマイクロソフトが負担しており、無料で手軽に利用可能です。
- Adobe Firefly: アドビがAdobe Stockの画像を学習してトレーニングしたモデルで、Adobe Creative Cloudに統合された画像生成AI。Photoshopなどとの連携が強み。なおアドビには Adobe Stockに寄稿者が投稿したストック素材を生成AIモデルのトレーニングに使う許可が与えられています。
主にどのような人が使っている？

画像生成AIは、本当に幅広い層の人々に利用されています。
- クリエイター・デザイナー: イラストレーター、グラフィックデザイナー、Webデザイナーなどが、アイデアの素早い具現化、デザインのバリエーション作成、作業効率化のために利用しています。一般のグラフィックスとして最終出力に使うだけでなく、素案やレイアウト検討、実際の俳優の演技検討や撮影計画の素材。漫画の背景といった使い方もあります。
- マーケター・広告担当者: 広告素材、Webサイト用画像、SNS投稿用画像の作成に利用するケースが多く見られるようになってきました。画像素材として利用するだけでなく、多様な趣味嗜好に合わせた画像を人間が作り込む代わりに、多様な趣味嗜好に合いそうな画像を生成して「A/Bテスト」として市場に投入するといった例もあります。
- 教育関係者: 著作権や肖像権などを解決した教材作成、授業での利用、生徒の創造性育成、機械学習やAI利用の学習にも使われています。
- 研究者: 学術的な画像生成技術の探求、アニメやゲームの開発効率向上のためのツール開発、新たな表現能力の獲得を研究しています。
- 開発者: 例えばJR東日本グループによる研究開発では、電気設備の異常を検出する認識技術のために、ケーブルに発生した「自然な異常画像」を Stable Diffusionによって生成した例が報告されています。https://pages.awscloud.com/rs/112-TZM-766/images/20230921-railway_construction-02_jeis.pdf
- 一般ユーザー: 趣味のイラスト作成、SNSアイコン作成、ブログ用画像作成、アイデアの視覚化、家族写真のフィルタ処理、エンターテイメント目的など、幅広い用途で利用されています。
画像生成AIは、もはや特定の専門家だけのものではなく、アイデアを形にしたい全ての人にとって、強力なツールとなりつつあります。

画像生成AIって何ができるの？ – 創造力を解放する力

画像生成AIは、一体どんなことができるのでしょうか？
ここでは、画像生成AIの主要な機能と、具体的な活用例を見ていきましょう。
画像生成AIは、テキストや画像などの入力情報から、様々な種類の画像を生成・加工することができます。

画像生成AIの主な機能
- 画像生成: テキストプロンプトに基づいて、全く新しい画像を生成します。
- 例：「猫が宇宙遊泳をしているイラスト」「夕焼けのビーチでサーフィンをする犬の写真」など、想像力次第で無限のバリエーションの画像を生成可能です。実際に撮影するととても大変なシチュエーションや、その瞬間の表現などに威力を発揮します。
- 画像変換 (スタイル変換): 既存の画像のスタイルを別のスタイルに変換します。
  - 例：写真をイラスト風、油絵風、水彩画風などに変換。
  - 例：実写の風景写真をアニメ調の背景に変換。
- 画像拡張 (アウトペインティング/インペインティング): 既存の画像の一部を拡張したり、不要な部分を自然に消去・修正したりします。
  - 例：風景写真の左右を広げて、より広大な景色を生成。
  - 例：写真に写り込んだ不要な人物や物を消去。
- 画像高解像度化 (超解像): 低解像度の画像を、AIの力で高解像度化し、画質を向上させます。
  - 例：古い写真や低画質の画像を鮮明にする。
  - 例：生成した画像の解像度を上げて、より高品質な画像にする。
どうすれば使えるの？ – ComfyUIの世界へようこそ

画像生成AI、使ってみたくなってきましたか？
ここでは、画像生成AIを使うための方法と、この教科書で学ぶComfyUIについて解説します。まず、ComfyUIに限らず画像生成AIを利用する方法は、大きく分けて3つあります。
1. 生成サービスを利用する: Webブラウザやスマホアプリから、Midjourney、 NijiJourney、DALL-E 3、Adobe Firefly などの画像生成AIサービスを利用する方法です。
  - メリット: 手軽に始められる、特別な環境構築が不要。
  - デメリット: サービスによっては有料、生成できる画像の種類や品質、自由度に制限がある場合がある。生成された画像の権利や、参照元にする画像の権利やセキュリティが問題になる。
2. 自分で機械学習モデルを用意して利用する:Stable Diffusion などの機械学習モデルを自分で入手して、PCやクラウド環境に構築し、利用する方法です。
  - メリット: 無料で利用できる（電気代、PCやGPUの購入費用以外）、カスタマイズ性が高い、中の動作を理解できる、生成できる画像の自由度が高い。未公開画像などのセキュリティを閉じたネットワークで保護することができる。
  - デメリット: PCのスペックが必要、環境構築にある程度の知識が必要。
3. クラウド上のAPIサービスや演算基盤を利用して利用する: FalやReplicatorといった演算基盤、Stability AIのAPIなどモデルと問い合わせのためのAPIをセットにしたサービスを利用する方法です。
  - メリット: 安価で利用できる、カスタマイズ性が高い、PCやGPUのスペックに依存せず、画像の品質、アプリやサービスを開発に集中できる。
  - デメリット: 画像1枚あたり数円～数十円程度のAPI費用が必要。クラウド上のサービスを使用するためにセキュリティ面のリスクはゼロではない。未公開の画像をアップロードする可能性がある（多くの場合は学習対象にはなりません）。
「ゼロから学ぶComfyUI」では、自分で機械学習モデルを用意して利用する方法、とクラウド上のAPIサービスや演算基盤を利用して利用する方法の両方を「ComfyUI」（コンフィ・ユー・アイ）というツールを使って、自分で画像生成AIを使いこなしていく方法を解説していきます。

ComfyUIで画像生成AIを使うために必要な要素

ComfyUIで画像生成AIを利用するためには、主に以下の要素が必要です。
1. 高性能なPCまたはクラウド環境: 画像生成AIは計算負荷が高いため、ある程度のスペックのPCが必要です。Mac、とくにApple Siliconでも利用はできますが、可搬性・可用性ではGPU搭載のWindowsやLinuxが有利です。クラウド環境（Google Colabなど）やAPIサービスを利用することもできます。
2. 機械学習モデル (Stable Diffusion など): 画像を生成するためのAIモデル本体です。様々なモデルが公開されており、用途や好みに合わせて選択できます。またライセンスも商用利用可能なモデルや、商用利用不可、もしくは商用利用に適さないモデルもあります。
3. ComfyUI: Stable Diffusionなどの機械学習モデルをGUI操作で簡単に扱えるようにするツールです。かつて広く使われていた「AUTOMATIC1111/Stable Diffusion WebUI」のようなボタン・パラメータ型のユーザーインターフェース（UI）ではなく、ノードベースのインターフェースで、複雑な処理も視覚的に分かりやすく構築できます。
4. 基礎知識: 画像生成AIの基本的な仕組み、プロンプトの書き方、ComfyUIの操作方法など、ある程度の知識があると、よりComfyUIを (効果的に) 活用できます。これから一緒に学んでいきましょう！
なぜComfyUIを学ぶ必要があるのか？それは「再現性と制御性」

前出の「生成サービスを利用する」というレベルの用途に限定すれば「なぜComfyUIを学ぶ必要があるの？」という疑問はあって当然と思います。一般のホビーやエンタメ目的であればWebブラウザやスマホアプリから、XのGrokやMidjourneyやNijiJourney、ChatGPTのDALL-Eが使えればいいでしょうし、グラフィックスを使うクリエイティブ分野の方であればAdobe Fireflyを使えば商業的なライセンスも問題なさそうです。

しかし「再現性と制御性」という視点ではいかがでしょうか。プロフェッショナルな業務においては「ちょっとそれらしい画像が出れば良い」という用途は非常に限定的で、キャラクターや背景画像であれば「その同じキャラクターで違う表情がほしい」とか「違う服で」とか「太陽を夕日に」といった「再現性と制御性」が求められます。もちろんAdobe Fireflyでも頑張ればできるかもしれませんが、汎用的なグラフィックスやストックフォトをベースにした画像生成モデルには限界があり、相当に使いこなせばこなすほど、似たような画像を生成する結果にたどり着く可能性が多くなります。また特殊な用途への絞り込み、例えば「日本人女性に特化した画像生成」とか「新作アパレル向けのファッションカタログ」とか「クルマの内装」とか「電気設備の自然な異常」とか、「子どもの自然な画像」といった用途に対して、やはり「自分でモデルを作る」といった結論にたどり着くことは多いでしょう。アプリやサービスを開発する立場であれば、なおのこと、その可能性は高くなりますし、映像制作や漫画制作スタジオのような小規模な製作会社であっても、同様に「外部で一般に使われている画像生成AIでは無理」という使い方が多くなります。

そういった目的に対して、Stable Diffusion初期の2022年～2023年では、Pythonスクリプトによるシステム開発や、AUTOMATIC1111/Stable Diffusion WebUI（A1111）によるモデル、ControlNet、LoRA、機能拡張といった改造で対応していました。そのために機械学習をゼロからやり直す、といった途方もない方法も当たり前のように取られていました。いくらStable DiffusionやA1111がオープンに配布されていたとしても、演算コストや人件費で数千万～数億円はかかってしまいます。

https://corp.aicu.ai/ja/comfyui20240831

しかし、現在、広く普及してきた「ComfyUI」の時代で、そのような問題は大きく解決しています。まず「ほぼひとりで開発してきたA1111」に対して、ComfyUIは「Comfy Org」というスタートアップ企業のような団体によって複数人でオープンソースで開発されています。元Google、元Stability AIといった優秀で聡明な開発者が「映像と音声メディアの新たなフロンティアを創造する」というビジョンのもと、「快適な(Comfy)」AIのインターフェースをつくるために日夜尽力しています。

2024年9月27日に渋谷で開催された Comfy Org ミートアップにて
https://corp.aicu.ai/ja/meetup20240927

ComfyUIの特徴

ComfyUIはA1111と比較して以下のような特徴があります。

・高速
・セットアップがシンプル
・ノードベースで見やすい、フリースケール
・拡張機能を開発しやすい

まず、A1111やその派生である「Forge」は非常に優れたツールで、現在も数多くのユーザーが存在しますが、内部の動作は（オープンソースとはいえ）ユーザーに公開されているわけではありません。対してComfyUIは、非常に高速で、シンプルなテキストからの画像生成でも、ControlNetを使った複雑な生成でも、自分でノードを組み合わせて画像生成の設計図（ワークフロー）を作ります。現在どこのノードでプロセスが回っているか、どこの処理が重たいか、といった工程を確認していくことができます。拡張機能の開発も、余計な要素や知らなければならない前提知識が少なくても済むのが特徴です。

ComfyUI公式「よくある質問」より（翻訳）

Q: 今後の計画について教えてください。
A:Comfyでは、常に最先端を行くために、最先端のモデルを採用し続けます。また、PRをレビューし、Githubの問題に迅速に対応することを目指しています。また、カスタムノード作成者のユーザーエクスペリエンスと開発者エクスペリエンスを向上させる必要があります。正確なモデルについてはまだ検討中ですが、将来の改良はGithubのProjectsで共有する予定です。すべての大きな変更はGithubのディスカッションとして始まり、私たちのDiscordとMatrixサーバーで共有されます。最終的なデザインに達したら、公開ロードマップに実装を追加します。私たちのTwitter、Discord、Matrixサーバーで最新情報をご確認ください。

Q: プロジェクトはどうやって維持するのですか？
A:現在、私たちはお金を稼いでいません。オープンソースのAIツールを開発するという私たちのビジョンに賛同してくださるサポーターや投資家に支えられています。そのような方は、hello@comfy.org へどうぞ。将来的にはお金を稼ぐつもりです。

Q: どうやってお金を稼ぐのですか？
A:最近のComfyUIのセキュリティ上の懸念にはどのように対処するのですか？レジストリ上のノードは意味的にバージョン管理され、悪意のある動作についてスキャンされます。すべてをキャッチすることはできませんが、ノードがカスタムピップホイールを含むかどうか、任意のシステムコールを実行するかどうか、外部APIを呼び出すかどうかのチェックを近々追加する予定です。フラグが立てられたノードは人間がレビューします。さらに重要なことは、セキュリティ上の懸念が見つかった場合、そのノードを禁止し、そのノードをインストールしたユーザーに通知することです。このプロセスは時間をかけて改善される予定です。

Q:他に取り組んでいるプロジェクトはありますか？
A:ComfyUIはアプリケーションであり、バックエンドであり、開発者プラットフォームです。私たちはComfyUIを安全で信頼性の高いものにするためにツールに投資しています。私たちは、カスタムノードをホストするリポジトリであるComfy Registryをホストしています。レジストリ上のノードは意味的にバージョン管理され、悪意のある動作がないかスキャンされます。我々はすべてをキャッチすることはできませんが、ノードがカスタムピップホイールを含むかどうか、任意のシステムコールを実行するかどうか、または外部のAPIを呼び出すかどうかのチェックをすぐに追加する予定です。また、Comfyの新しいコミットを様々なオペレーティングシステムやGPU上のワークフローに対してテストする継続的インテグレーションテストスイートもホストしており、Comfyの信頼性を高めています。

Q:コアとなる原則は何ですか？
A:透明性とコミュニケーション。2.オープンソースとコミュニティ主導。3.AIの民主化

Q:基盤モデルについてはどうですか？
A:OSS AIコミュニティにおける最近の混乱にもかかわらず、OSS AIモデルには膨大な進歩があります。私たちはOSSモデルビルダーと密接に協力し、最高のモデルをComfyUIに導入しています。また、将来的にはAIモデルにより多くのリソースを投入する予定です。

Q:どのようにComfyUIに貢献できますか？
A:私たちのdiscord/matrixチャンネルでフィードバックをしたり、参加することができます。バグレポートや機能リクエストの提出にご協力いただける場合は、Githubに課題(Issue)を作成してください。多くの課題には #good-first-issue というタグがつけられています。それ以外の場合は、PRを投稿してください。近い将来、他のOSSプロジェクトと同様のガバナンス構造を導入する予定です。

Q:Comfyの最新情報を得るにはどうしたらいいですか？
A:Twitterでフォローしたり、DiscordやMatrixチャンネルに参加してください。

【書籍化】「ComfyUIマスターガイド」
http://j.aicu.ai/comfysb

【今すぐ使えるComfyUI】
https://aicu.jp/comfyui

【月刊AICUマガジン】「つくる人をつくる」クリエイティブAI専門誌、毎月魅力的な特集や深掘りお送りします[Kindle Unlimitedで無料]
https://j.aicu.ai/kindle

Originally published at https://note.com on Jan 28, 2025.
2025-01-28
[ComfyMaster35] ここから始める動画編！SDXL＋AnimateDiffでテキストから動画を生成しよう！ #ComfyUI [無料]
Stable Diffusionをベースに開発されたAnimateDiffは、シンプルなテキストプロンプトから動画を簡単に作成できます。画像生成AIを使って動画を生成する基本を知りたい方に向けて、この記事で一気に詳しく解説しています。

※本記事はワークフロー含め、期間限定無料で提供します！

[PR] ComfyUIマスター：カスタムノードとアプリ開発

https://j.aicu.ai/Coloso3

こんにちわ、AICU media編集部です。
「ComfyUI マスターガイド」第35回目、ついに動画編に突入です！

本記事では、SDXLとAnimateDiffを用いて、テキストから動画を作成する方法を説明します。AnimateDiff単体では、生成された動画は一貫性を保持しにくいですが、その原因と緩和方法をあわせて解説していきます。

本連載の初回はこちら。前回はこちら、目次はこちらです。

[ComfyMaster34] 便利LoRA紹介: Detail Tweaker XLで画像の精細さをコントロール #ComfyUI

https://corp.aicu.ai/ja/comfymaster34-20241118

1. AnimateDiffの概要

AnimateDiffとは

AnimateDiffは、Stable Diffusionをベースに開発された画像から動画を生成するtext-to-video(t2v)の技術です。既存のtext-to-image(t2i)モデルを特別な調整なしにアニメーション生成モデルに変換する実用的なフレームワークであり、これにより、ユーザーは高品質な画像生成能力を持つt2iモデルを、そのまま滑らかで視覚的に魅力的なアニメーションを生成するために活用できるようになります。

AnimateDiffの仕組み

AnimateDiffの核心は「モーションモジュール」という、事前にトレーニングされたプラグアンドプレイのモジュールにあります。このモジュールは、リアルな動画データからモーションプライア（Motion Priors）を学習しており、一度トレーニングされると、同じ基盤となるT2Iモデルを使用する他のパーソナライズT2Iモデルにもシームレスに統合可能です。具体的な仕組みは以下の3つのステップに分かれます。

モーションプライア（Motion Priors）とは？

モーションプライアとは、動画データから学習される「動きの先行知識」を指します。これには以下の特徴があります。
- 動きのパターンの学習：モーションプライアは、動画の連続フレーム間の変化やダイナミクスを捉え、自然な動きを再現します。
- 汎用性の確保：一度学習されたモーションプライアは、異なるt2iモデルにも適用可能で、モデルごとに動きを学習し直す必要がありません。
- 高品質なアニメーション生成：モーションプライアにより、生成されるアニメーションが時間的な一貫性と滑らかさを持ちます。
1. ドメインアダプターの導入

AnimateDiffでは、まず「ドメインアダプター」と呼ばれる別のネットワークを導入します。これは、画像データと動画データの間に存在する画質や内容の違いを補正するためのものです。動画データはしばしば動きのブレや圧縮アーティファクト、ウォーターマークが含まれるため、直接学習させるとアニメーションの品質が低下する恐れがあります。ドメインアダプターを用いることで、モーションモジュールはモーションプライアのみを学習し、画像の質に関する情報は元のT2Iモデルが保持します。

2. モーションモジュールの学習

次に、「モーションモジュール」を学習します。これは、動画データから動きのパターンであるモーションプライアを抽出し、アニメーション生成に必要な時間的なダイナミクスをモデルに追加する役割を担います。モーションモジュールは、Transformerアーキテクチャをベースにしており、動画の各フレーム間の関連性を学習します。このモジュールをT2Iモデルに統合することで、生成される画像が時間とともに自然に動くアニメーションへと変換されます。

3. MotionLoRAによる動きのパターンの微調整

最後に、「MotionLoRA」と呼ばれる軽量な微調整技術を用います。これは、既に学習済みのモーションモジュールを新しい動きのパターンに適応させるためのもので、例えばカメラのズームインやパンニングといった特定の動きを追加したい場合に使用します。MotionLoRAは少数の参考動画と短時間のトレーニングで新しい動きのパターンを学習できるため、ユーザーは簡単に特定の効果を追加できます。

AnimateDiffの利点

AnimateDiffの主な利点は以下の通りです。
- モデル固有の調整が不要: 既存のt2iモデルをそのままアニメーション生成に活用できるため、ユーザーは手間をかけずにアニメーションを作成できます。
- 高品質なアニメーション: モーションモジュールがモーションプライアを学習することで、生成されるアニメーションは自然で視覚的に魅力的です。
- 柔軟な動きのカスタマイズ: MotionLoRAを用いることで、特定の動きのパターンを簡単に追加・調整できます。
- 効率的なトレーニングと共有: MotionLoRAは少量のデータと短時間のトレーニングで動きを学習できるため、ユーザー間でのモデル共有も容易です。
2. カスタムノードのインストール

さて早速はじめていきましょう。
ComfyUIでのカスタムノードのインストール方法があやふやな方はこちらを復習お願いいたします。

★復習[ComfyMaster4]ComfyUIカスタムノード導入ガイド! 初心者でも安心のステップバイステップ解説

https://corp.aicu.ai/ja/comfyui20240809

Google ColabでのComfyUI環境設定から学びたい方はこちら
★復習[ComfyMaster1] Google ColabでComfyUIを動かしてみよう！

https://corp.aicu.ai/ja/comfyui-20240731

準備ができたら、以下のカスタムノードを使用するため、ComfyUI Managerからインストールしてください。

ComfyUI-AnimateDiff-Evolved

ComfyUI-AnimateDiff-Evolvedは、Stable Diffusionモデルを拡張して動画生成を可能にするカスタムノードです。元のAnimateDiffを進化させたバージョンで、動画生成のためのモーションモジュールと高度なサンプリング技術を組み込んでいます。

https://github.com/Kosinkadink/ComfyUI-AnimateDiff-Evolved

ComfyUI-VideoHelperSuite

ComfyUI-VideoHelperSuiteは、動画生成を支援するためのカスタムノードです。動画の編集や加工を容易にする機能を提供します。今回は、一連の画像を動画にして保存するノードを使用するために必要となります。

https://github.com/Kosinkadink/ComfyUI-VideoHelperSuite

3. モデルのインストール

RealVisXL V5.0 Lightning

今回は、RealVisXLのLightningバージョンを使用します。Lightningバージョンでは、サンプリングのステップ数を4-6回に抑えることができます。生成量の多いAnimateDiffでは、TurboやLightningなどの数ステップで生成完了するモデルを選ぶと良いでしょう。
以下のリンクよりモデルをダウンロードし、「ComfyUI/models/checkpoints」フォルダに格納してください。

https://huggingface.co/SG161222/RealVisXL_V5.0_Lightning/blob/main/RealVisXL_V5.0_Lightning_fp16.safetensors

SDXL Motion Module

SDXLのモデルで動画生成するため、SDXLのモーションモジュールをダウンロードします。SDXLのモーションモデルには、「AnimateDiff-SDXL」と「Hotshot-XL」の２種類があります。AnimateDiff-SDXLは16フレーム、Hotshot-XLは8フレームのコンテクストに対応しており、AnimateDiff-SDXLのコンテクストは長く、一貫した動画を作成しやすいですが、一方で品質が悪いことが指摘されています。詳細は、以下のIssueをご確認ください。

https://github.com/guoyww/AnimateDiff/issues/382

今回は、両方のモデルを使用してみます。それぞれ以下よりダウンロードし、「ComfyUI/custom_nodes/ComfyUI-AnimateDiff-Evolved/models」フォルダに格納してください。
- AnimateDiff-SDXL
https://huggingface.co/guoyww/animatediff/blob/main/mm_sdxl_v10_beta.ckpt
- Hotshot-XL
https://huggingface.co/hotshotco/Hotshot-XL/blob/main/hsxl_temporal_layers.f16.safetensors

4. ワークフローの解説

以下がワークフローの全体像になります。このワークフローは、テキストプロンプトから直接アニメーション動画を生成する簡潔な例です。AnimateDiffを使用することで、フレーム間の一貫性を保ちながら滑らかなアニメーションを生成します。低ステップ数（4ステップ）での高速生成を行いながら、AnimateDiffの特性を活かして品質を維持しています。

ワークフローは、以下のリンクよりダウンロードしてください。
- ワークフロー（右クリックで保存）
このワークフローの構造を以下の通りにフローチャートで表現します。

以下に、このワークフローの主要な部分とその機能を詳細に説明します。
1. モデルとAnimateDiffの設定:
  - Load Checkpoint ノード: 「RealVisXL_V5.0_Lightning_fp16.safetensors」モデルを読み込みます。
  - AnimateDiff Loader ノード: AnimateDiffのモーションモジュールをベースモデルに適用します。
    
    model_name: 「mm_sdxl_v10_beta.ckpt」または「hsxl_temporal_layers.fp16.safetensors」を設定します。
    
    beta_schedule: autoselect
  - Context Options Standard Uniformノード: AnimateDiffのコンテキストオプションを設定します。
    
    context_length: 16（Hotshot-XLの場合は8）
    
    context_stride: 1
    
    context_overlap: 4
    
    fuse_method: pyramid
    
    use_on_equal_length: false
    
    start_percent: 0
    
    guarantee_steps: 1
  - Sample Settingsノード: アニメーション生成プロセスの様々な要素をコントロールするための設定をまとめるノード
    
    noise_typeをFreeNoiseに設定します。FreeNoiseは、FreeInitという、動画生成モデルにおける時間的一貫性を向上させるための手法を利用して各フレームを生成します。これにより、一貫性を持った動画を作成しやすくなります。コンテクスト間で一貫性を保てる一方、FreeNoiseを使用しない場合と比較して、変化が小さくなります。
2. サンプリング設定:
  - FreeInit Iteration Optionsノード: FreeInit samplingのパラメータを設定します。
  - Sample Settingsノード: AnimateDiffのサンプリング設定を構成します（FreeNoiseモード）。
3. プロンプト処理:
  - ポジティブプロンプト: 「1girl, Japanese, cute, black long hair, white shirt, navy blue skirt, white shoes, upper body, green background,」
  - ネガティブプロンプト: 「(worst quality, low quality, illustration, 3d, 2d, painting, cartoons, sketch), open mouth, socks,」
4. 潜在画像の準備:
  - Empty Latent Image ノード: 1024×1024の80フレームの空の潜在画像を生成。
    
    Hotshot-XLは、次の解像度でトレーニングされているため、次の解像度のいずれかを設定してください: 320 x 768、384 x 672、416 x 608、512 x 512、608 x 416、672 x 384、768 x 320
5. 画像生成:
  - KSampler ノード:
    
    Seed: 12345
    
    Steps: 4
    
    CFG Scale: 2
    
    Sampler: dpmpp_sde
    
    Scheduler: karras
    
    Denoise: 1.0
6. 出力処理:
  - VAE Decode ノード: 生成された潜在表現を実際の画像にデコードします。
  - Video Combine ノード: 生成された画像シーケンスを16fpsの動画に変換し、「AnimateDiff」というプレフィックスで保存します。
5. ワークフローの補足

Context OptionsとView Options

通常、モーションモジュールでは、短いフレーム数しか扱えない（AnimateDiffは16フレーム、HotshotXLは8フレーム）です。これをかいかつするのがContext OptionsとView Optionsです。これらは、アニメーションを作成する際に、AnimateDiffやHotshotXLといったモデルの制限を超えて、より長いアニメーションを作るための方法です。

Context Optionsは、アニメーションの一部ずつを処理する方法です。これにより、同時に使うメモリ（VRAM）の量を制限できます。要するに、大きな作業を小分けにして進めることで、VRAMの負担を減らしているのです。これには、Stable Diffusionの拡散処理やControlNetなどの補助技術が含まれます。

View Optionsは、モーション（動き）を処理するモデルが、見るべきデータ（潜在変数）を小分けにする方法です。この方法ではVRAMを節約できませんが、処理が安定しやすく、より速く動きます。なぜなら、データが全ての処理を経る必要がないからです。

Context OptionsとView Optionsの違いは、Context Optionsがメモリを節約して少しずつアニメーションを処理するのに対し、View Optionsはメモリの節約はできませんが、速くて安定しています。

この2つを組み合わせることで、長くて安定したアニメーションを作りながら、VRAMの使用量をうまく調整することができます。VRAMに余裕がある場合は、処理をより速く行うためにView Optionsをメインに使うこともできます。

Sample Settings

「Sample Settings」ノードは、通常のKSamplerノードでは設定できないサンプリングプロセスをカスタマイズするための機能を提供します。デフォルトの設定では何の影響も与えないため、安全に接続しても動作に変更はありません。

Sample Settingsのnoise_typeで生成されるノイズのタイプを選択できます。この中のFreeNoiseは、安定性を増すために利用できます。FreeNoiseは、FreeInitという、動画生成モデルにおける時間的一貫性を向上させるための手法を用いています。この方法は、追加のトレーニングを行うことなく、ビデオ拡散モデルを使用して生成された動画の全体的な品質を改善します。
基本的に最初のcontext_lengthウィンドウと同じ初期ノイズをコンテキストの重複部分で再利用し、それ以降のコンテキストウィンドウの重複部分にはランダムにシャッフルされたバージョンを配置します。コンテキストウィンドウの重複部分でノイズをシャッフルしないため、context_lengthフレームごとに内容が繰り返されるという副作用があります。

FreeInit イテレーションオプション

前述したFreeInitの特性上、FreeInitはイテレーションが最低2回必要になります。FreeInitの動作としては、最初のイテレーションで生成された動画から低周波のノイズを取得し、それをランダムに生成された高周波のノイズと組み合わせて次のイテレーションを実行します。各イテレーションは完全なサンプルであり、イテレーションが2回行われると、1回またはイテレーションオプションが接続されていない場合に比べて実行時間が2倍になります。
1. FreeInit [sampler sigma]: この方法は、サンプラーから得られるシグマ値を使用してノイズを適用します。既存の潜在変数からの低周波ノイズとランダムに生成された潜在変数からの高周波ノイズを組み合わせることで、アニメーションの時間的一貫性を高めることを目的としています。
2. FreeInit [model sigma]: この方法は、サンプラーではなくモデルからシグマ値を使用します。カスタムKSamplerを使用する際に特に有用で、ノイズの適用がモデルの特性と一致するようにします。
3. DinkInit_v1: これはFreeInitの初期実装で、開発者が方法をさらに洗練する前に作成されたものです。他の2つのオプションほど最適化されていないかもしれませんが、特定のコンテキストで満足のいく結果を得ることができます。
6. ワークフローの実行

それでは、ワークフローを実行してみましょう。マシンスペックにもよりますが、5秒の動画を生成するにも多くの時間を要します（A100のGPUで1分、A6000で3分ほどでした）。

AnimateDiff-SDXLの結果

以下は、Sample Settingsを適用しない場合の生成結果です。プロンプトに従い女性の動画が生成されていますが、一貫性がないことが分かります。これは、AnimateDiffの特性で、Context Optionsノードのcontext_length内でしかコンテクストを正しく保持できないためです。context_overlapで数フレームをオーバーラップさせることで、次のコンテクストでの生成に前の生成結果を反映させますが、それも限界があるようです。

次にSample Settingsのnoise_typeをFreeNoiseにして生成結果です。先ほどよりも変化が少なく、コンテクスト間で一貫性が保たれていることが分かります。

その他に、一貫性を保つ方法として、Motion LoRAを使う方法があります。しかし、Motion LoRAは、SD1.5用しか存在せず、SDXLには適用できません。SD系列だと、SDXLがメジャーになっている中で、SD1.5を使用する人はあまりいないと思います。そのため、これがSDXL+AnimateDiffでのt2vの限界だと思います。ただし、この特性を活かした面白い表現をしたり、抽象的な表現をするには十分にAnimateDiffを活かせると思います。

Hotshot-XLの生成結果

次は、Sample Settingsのnoise_typeをdefautで、モーションモデルにHotshot-XLを使用して生成した結果です。コンテクスト長が8フレームしかないため、0.5秒ごとにコンテクストが変わってしまい、AnimateDiff-SDXL以上に変化の激しい動画となっています。

次にSample Settingsのnoise_typeをFreeNoiseにして生成した結果です。AnimateDiff-SDXLと同様、先ほどよりも一貫性が増しました。Hotshot-XLの方がAnimateDiff-SDXLより明瞭だと言われますが、対応している解像度がAnimateDiff-SDXLは1024×1024、Hotshot-XLは512×512なので、解像度が異なることもあり、違いが分かりづらいです。Hires.fixすれば、どちらもそれほど気にならないかもしれません（text2videoに限れば）。

7. まとめ

AnimateDiffは、Stable Diffusionの技術を基に、画像生成AIの枠を超えて動画生成を実現した画期的なツールです。軽量でありながら、自然で一貫性のあるアニメーションを生成できるため、クリエイティブな用途に広く活用が期待されます。特に、テキストプロンプトから直接アニメーションを生成できる点は、デザイナーやアニメーターにとって大きな利便性を提供します。

しかし、現状ではContext Optionsノードの制約やMotion LoRAの対応が限定的で、完全に安定した結果を得るためには工夫が必要です。今後、SDXLシリーズに最適化された技術の進展により、さらに質の高い動画生成が可能になることが期待されます。

新しい技術に挑戦し続けることは、より高品質で魅力的なコンテンツを生み出す力となります。AnimateDiffを駆使して、これまでにないアニメーション表現に挑戦してみてください。

次回は、AnimateDiffでvideo-to-video(v2v)をする方法を紹介します。乞うご期待！
X(Twitter)@AICUai もフォローよろしくお願いいたします！

[PR] ComfyUIマスター：カスタムノードとアプリ開発

https://j.aicu.ai/Coloso3

画像生成AI「ComfyUI」マスターPlan

画像生成AI「Stable Diffusion」特に「ComfyUI」を中心としたプロ向け映像制作・次世代の画像生成を学びたい方に向けたプランです。最新・実用的な記事を優先して、ゼロから学ぶ「ComfyUI」マガジンからまとめて購読できます。メンバーシップ掲示板を使った質問も歓迎です。
- メンバー限定の会員証が発行されます
- 活動期間に応じたバッジを表示
- メンバー限定掲示板を閲覧できます
- メンバー特典記事を閲覧できます
- メンバー特典マガジンを閲覧できます
- 動画資料やworkflowといった資料への優先アクセスも予定
【書籍化】「ComfyUIマスターガイド」
http://j.aicu.ai/comfysb

【今すぐ使えるComfyUI】
https://aicu.jp/comfyui

【月刊AICUマガジン】「つくる人をつくる」クリエイティブAI専門誌、毎月魅力的な特集や深掘りお送りします[Kindle Unlimitedで無料]
https://j.aicu.ai/kindle

Originally published at https://note.com on Nov 20, 2024.
2024-11-20
[ComfyMaster12]ComfyUIでのTextToImageを極める!!(2)Combineでプロンプト融合
「思い通りの画像を生成したい！けど思うようにいかない…」という方、TextToImage(t2i)を使いこなせていますか？
Stable Diffusionの内部の仕組みを理解し、ComfyUIでのText to Imageテクニックを身につけて、思い通りの画像を生成できるようになりましょう！

こんにちわ、AICU media編集部です。
「ComfyUI マスターガイド」第12回目になります。
この記事では、ComfyUIを始めたばかりの方向けに、プロンプトの基本から応用、そしてComfyUI特有のテクニックまでを、実用的なプロンプト例を交えながらわかりやすく解説します。

前回は「ComfyUIでのTextToImageを極める!!(1)プロンプトの基本文法」と題してプロンプトの基本文法について解説いたしました。

前回はこちら

https://corp.aicu.ai/ja/comfyui20240901

複数CLIPの活用: Combine

ComfyUIでは、複数のCLIPTextEncodeノードとConditioning(Combine)ノードを組み合わせることで、複数のプロンプトを同時に使用できます。例えば「龍」と「虎」を別々のCLIPTextEncodeノードに指定すると、「龍」と「虎」を組み合わせた画像を生成することができます。

使用方法

標準ワークフローを改造し、「龍」と「虎」を組み合わせた画像を生成してみます。
- メニューの「Load Default」をクリックし、標準のワークフローをロードした状態にします。
- モデルがSDXLの場合は「Empty Latent Image」を「1024, 1024, 1」
- ポジティブプロンプト用のCLIP Text Encode (Prompt)ノードを1つ追加します。なにもない場所をダブルクリックして「CLIP」と打ちます。
- 追加したノードの入力「clip」には、Load Checkpointの出力「CLIP」を接続します。
- 1つ目のCLIPTextEncodeノードのプロンプトに「tiger」と入力します。
- 2つ目のCLIPTextEncodeノードのプロンプトに「dragon」と入力します。
- Conditioning(Combine)ノードを作成し、2つのCLIPTextEncodeノードの出力を接続します。
なにもない場所をダブルクリックして「combine」と打つと現れます
- Conditioning(Combine)ノードの出力をKSamplerのpositive入力に接続します。
概念図としては以下のような接続になります。
- 最終的なワークフローは以下になります。
このようにすることで、「龍」と「虎」を組み合わせた画像を生成することができます。以下が生成した画像です。

この記事では、ComfyUIでSDXLのプロンプトを記述する基本的な方法から、応用的なテクニックまでを紹介してまいります。

次回は、プロンプトテクニックの第3弾で、『プロンプトのバッチ分割: Concat』について解説をしていきたいと思います！こうご期待ください！

X(Twitter)@AICUai もフォローよろしくお願いいたします！

画像生成AI「ComfyUI」マスターPlan

画像生成AI「Stable Diffusion」特に「ComfyUI」を中心としたプロ向け映像制作・次世代の画像生成を学びたい方に向けたプランです。最新・実用的な記事を優先して、ゼロから学ぶ「ComfyUI」マガジンからまとめて購読できます。メンバーシップ掲示板を使った質問も歓迎です。
- メンバー限定の会員証が発行されます
- 活動期間に応じたバッジを表示
- メンバー限定掲示板を閲覧できます
- メンバー特典記事を閲覧できます
- メンバー特典マガジンを閲覧できます
- 動画資料やworkflowといった資料への優先アクセスも予定
【書籍化】「ComfyUIマスターガイド」
http://j.aicu.ai/comfysb

【今すぐ使えるComfyUI】
https://aicu.jp/comfyui

【月刊AICUマガジン】「つくる人をつくる」クリエイティブAI専門誌、毎月魅力的な特集や深掘りお送りします[Kindle Unlimitedで無料]
https://j.aicu.ai/kindle

Originally published at https://note.com on Sep 2, 2024.
2024-09-02
[ComfyMaster11]ComfyUIでのTextToImageを極める!!(1)プロンプトの基本文法 #ComfyUI
「思い通りの画像を生成したい！けど思うようにいかない…」という方、TextToImage(t2i)を使いこなせていますか？
Stable Diffusionの内部の仕組みを理解し、ComfyUIでのText to Imageテクニックを身につけて、思い通りの画像を生成できるようになりましょう！

こんにちわ、AICU media編集部です。
「ComfyUI マスターガイド」第11回目になります。
この記事では、ComfyUIを始めたばかりの方向けに、「text to image」プロンプトによる画像生成の基本から応用、そしてComfyUI特有のテクニックまでを、実用的なプロンプト例を交えながら数回に分けて解説していきます。

前回はこちら

https://corp.aicu.ai/ja/comfyui20240828

1. 今回の対象とするモデル

今回は、SDXLを対象にプロンプトテクニックを解説します。特定のモデルに焦点を当てて話す理由としては、プロンプトの書き方や使用するノードがモデルの種類やバージョンにより異なるためです。ここでは、複雑性を減らして解説するために、メジャーなモデルのSDXLを利用します。各種モデルの評価については、別記事にて解説予定です。

ユーザーが知っておくべき「モデルとの対話」について簡単に図解しておきます。

ここからの画像生成では、モデル（checkpoint）としてstable-diffusion-xl-base-1.0を使用します。
- メニューから「Manager」を選択します。
- ComfyUI Manager Menuが開きます。ここで「Model Manager」を選択します。
- モデルの検索画面が表示されます。
- 上部の検索バーに「sd_xl_base_1.0.safetensors」と入力すると、モデル一覧にsd_xl_base_1.0.safetensorsが表示されます。
- sd_xl_base_1.0.safetensorsの「Install」をクリックしてください。
- しばらくすると、インストールが完了し、Refreshを求められます。
- トップ画面に戻り、メニューの「Refresh」をクリックしてください。
- Load Checkpointでsd_xl_base_1.0.safetensorsを設定できるようになります。
2. プロンプトと画像サイズ、シードの基本をおさらいしよう

プロンプトとは、AIモデルに画像を生成させるための指示文のことです。人間が言葉でAIに指示を出すための手段とも言えます。例えば、「夕焼けのビーチで遊ぶ子供たち」というプロンプトを入力すると、SDXLはそのような画像を生成しようとします。プロンプトが具体的であればあるほど、思い通りの画像が生成されやすくなります。

プロンプト例
```
A photo of a cat wearing a Santa hat, sitting on a Christmas present
```
このプロンプトは、クリスマスのプレゼントの上に座っている、サンタの帽子をかぶった猫の写真を生成するようにSDXLに指示します。「Santa hat」や「Christmas present」といった具体的な単語を追加することで、よりクリスマスらしい画像が生成されやすくなります。

画像サイズとシードを固定して実験

[TIPS] SD1.5系からSDXLに切り替えたときは、「Empty Latent Image」を[512, 512]から[1024, 1024]に切り替えるのを忘れずに。SDXLは1024×1024に最適化されているので、生成するLatent画像のサイズが小さいと本来の能力が発揮されません。
なお 1024×1024=1,048,576で必要なピクセル幅で割れば高さが求められますが、例外もあります。特に注意したいのは「16:9」で、割り算するとwidth:1365, height:768が最適…と思いきや、実はSDXL自体がこのサイズで学習をしておらず、推奨の16:9設定は「”1.75″: (1344, 768)」、もしくは「”1.91″: (1344, 704)」(nearly 16:9)となります。

実験のためにseedを1234, control_before_generateをfixedにして実験してみます。

1368×768 (seed:1234)

1344×768 (seed:1234)

1344×704 (seed:1234)

あんまりわかりやすい違いはありませんが、実用的には以下のようにおぼえておくと良いかもしれませんね！

■ComfyUI SDXLでのHDTV(16:9)最適画像サイズ

1368×768: 非推奨 (AS比1.77) 最適解像度より2,048ピクセル多い
1344×768: 学習済 (AS比1.75) 最適解像度より16,384ピクセル少ない
1344×704: 学習済 (AS比1.91) 最適解像度より102,400 ピクセル少ない。noteカバーアートにぴったりサイズ

AICU mediaでの実験によると、Google ColabのT4 GPU, RAM13GB, GPU RAM 15GB環境でのSDXLにおいて、1344×768、1344×704が平均23秒/生成(1.15s/it)であるところ、1368×768は28秒/生成(1.27s/it)というところです。なおs/itという単位はiterationといって、1ステップあたりの処理時間であるようです。この場合の設定はstep=20なので、ちょうど計算があいます。

生成時間が気になるひとは、ぜひログを見てみてください！

Google Colab上で確認できます

3. 基本的なプロンプトの書き方

SDXLのプロンプトは、基本的に英語で記述します。シンプルな英語で記述しても高品質な画像が生成されますが、より詳細な指示を与えることで、より思い通りの画像を生成できます。

3.1 プロンプトの構成要素

プロンプトは、以下の要素を組み合わせて文章形式で記述します。
- 芸術スタイル: 画像の雰囲気や画風（例：写真、絵画、アニメなど）
  - 例1: oil painting（油絵）
  - 例2: Pencil drawing（鉛筆画）
  - 例3: Concept art（コンセプトアート）
- 主題: 描写したいもの（例：猫、風景、人物など）
  - 例1: Lion（ライオン）
  - 例2: Panda（パンダ）
  - 例3: A warrior with a sword（剣を持った戦士）
- 色とトーン: 画像の全体的な色彩や雰囲気を指定
  - 例1: Vibrant colors（鮮やかな色彩）
  - 例2: Monochrome（モノクロ）
  - 例3: Warm tones（暖かい色調）
- ディテールと複雑さ: 画像の細部の精密さや全体的な複雑度を指定
  - 例1: Highly detailed（非常に詳細）
  - 例2: Intricate patterns（複雑な模様）
  - 例3: Minimalist（ミニマリスト）
- 技術的特性: 画像の技術的な側面や品質に関する指定
  - 例1: High resolution（高解像度）
  - 例2: Photorealistic（写真のようにリアル）
  - 例3: 8K（8K解像度）
プロンプト例

以下にこの構成に従って作成したプロンプトと生成画像を示します。
```
oil painting, majestic lion, golden sunset hues, Highly detailed, photorealistic, 8K
```
これらの要素を組み合わせて、より複雑なプロンプトを作成できます。

3.2 単語の区切りと記号
- 単語は空白で区切ります。
- `,`などの記号は、単語区切りとなる場合があります。
プロンプト例
```
A cat, black and white, sleeping on a red, fluffy rug
```
3.3 コメント

プロンプトにコメントを追加したい場合は、C言語のような記法が使えます。`//` で行末まで、`/* */` で囲まれた部分がコメントになります。

プロンプト例
```
A portrait of a man with a beard // ひげを生やした男性の肖像画
/* 年齢は30代くらい */ wearing a suit, photorealistic style
```
イケメンです

4. プロンプトの強調

特定の単語やフレーズを強調したい場合は、括弧で囲みます。
- (単語): 1.1倍強調
  - 例: A portrait of a woman with (green) eyes
- ((単語)): 1.21倍強調
  - 例: A portrait of a woman with ((long)) blonde hair
- (単語:数値): 数値で任意の倍率を指定
  - 例: A landscape with a (bright:1.5) blue sky
プロンプト例
```
A fantasy landscape with a (red:1.5) castle on a hill, overlooking a vast forest
```
この例では、「red」が強調され、より赤が強調された描画がされやすくなります。以下の画像は、強調前と強調後の比較画像です。両方とも同じシード値を利用して生成しています。強調後は、全体的に赤くなっており、赤が強調されていることが分かります。

5. ComfyUIでのプロンプト入力

ComfyUIでは、CLIPTextEncodeノードでプロンプトを入力します。このノードは、プロンプトをSDXLが理解できる形式に変換する役割を果たします。

ComfyUIでのSDXL環境では、ポジティブプロンプトとネガティブプロンプトの両方を同じCLIPTextEncodeノードで指定できます。
- ポジティブプロンプト: 生成したい画像の特徴を記述します。
- ネガティブプロンプト: 生成したくない画像の特徴を記述します。
それぞれのプロンプト用にCLIPTextEncodeノードを用意し、KSamplerノードの対応する入力に接続します。詳細は、以下の記事をご覧ください。

https://corp.aicu.ai/ja/comfyui20240807

6. embeddingでの品質向上

embedding（エンベッディング）は、特定の概念やオブジェクトを表現する埋め込みベクトルを学習したファイルで、非常に小さなファイルなのですが、これをComfyUIで読み込むことで、画像生成の際に特定のスタイルや要素を反映させたり、ネガティブプロンプトを簡略化することができます。
例えば、ネガティブプロンプトをまとめたembeddingを使うと、たくさんのネガティブプロンプトを指定する必要がなくなります。

使用方法

冒頭で紹介した通り、ComfyUI Manager → Model Manager →検索窓に入れる方法でインストールできるものはそちらの方法がオススメです。例えばSD1.5でよく使われる「EasyNegative」は簡単にインストールできます。

今回は、「negativeXL_D」というSDXLで人気の複数のネガティブプロンプトが埋め込まれているembeddingを使用します。ComfyU Manager経由でのインストールではない方法を紹介します。

https://civitai.com/models/118418/negativexl

https://huggingface.co/gsdf/CounterfeitXL/blob/main/embeddings/negativeXL_D.safetensors
- negativeXL_D.safetensorsをダウンロードし、ComfyUI/models/embeddingsフォルダに格納してください。
このリンクからいったんPC/Macのストレージにダウンロードし、Google ColabかGoogle Driveを使って、アップロードします。

メニューの「Refresh」すると反映されます。「Restart Required」と表示された場合は、ComfyUI Managerからの再起動で問題なく利用できますが、それ以外の問題が起きた場合は、念の為Google Colabを再起動しましょう。
- embeddingを使用するには、プロンプトに「embedding:[embeddingの名前]」を含めます。今回の場合は、ネガティブプロンプトに「embedding:negativeXL_D」を含めます。ポジティブプロンプトは「1girl」のみとします。
以下が生成結果です。embeddingありの場合は、リアル調で細部がはっきり描かれています。

1344×704 (seed:3) “1girl”のみ

1344×704 (seed:3) “1girl” + ネガティブプロンプトに「embeddings:EasyNegative」を指定

1344×704 (seed:3) “1girl” + ネガティブプロンプトに「embeddings:negativeXL_D」を指定

1344×704 (seed:3) “1girl” + ネガティブプロンプトに「embeddings:EasyNegative, embeddings:negativeXL_D」を指定

EasyNegativeとnegativeXL_Dは同じ作者・rqdwdw 氏によるembeddingsであり、近い特性を持っていますが、混ぜて使うことは必ずしも良い結果を産まないようです。￥

AUTOMATIC1111では「Textual Inversion」という機能で扱われていたembeddingですが、かつてのテクニックもモデルさえ同じであればそのまま使うことができます。 embedding、negative XLについての混合実験についてはこちらの記事もご参照ください。

https://note.com/aicu/n/n1ebba31e4514

中間まとめ

この記事では、ComfyUIでSDXLのプロンプトを記述する基本的な方法をまとめました続いて、応用的なテクニックを紹介していきます。

＜次回に続きます！＞

X(Twitter)@AICUai もフォローよろしくお願いいたします！

SDXLによる画像生成AIについてしっかり学びたいひとはこちらの書籍「画像生成AI Stable Diffusionスタートガイド」（通称「#SD黄色本」）がオススメです。

https://j.aicu.ai/SBXL

画像生成AI「ComfyUI」マスターPlan

画像生成AI「Stable Diffusion」特に「ComfyUI」を中心としたプロ向け映像制作・次世代の画像生成を学びたい方に向けたプランです。最新・実用的な記事を優先して、ゼロから学ぶ「ComfyUI」マガジンからまとめて購読できます。メンバーシップ掲示板を使った質問も歓迎です。
- メンバー限定の会員証が発行されます
- 活動期間に応じたバッジを表示
- メンバー限定掲示板を閲覧できます
- メンバー特典記事を閲覧できます
- メンバー特典マガジンを閲覧できます
- 動画資料やworkflowといった資料への優先アクセスも予定
【書籍化】「ComfyUIマスターガイド」
http://j.aicu.ai/comfysb

【今すぐ使えるComfyUI】
https://aicu.jp/comfyui

【月刊AICUマガジン】「つくる人をつくる」クリエイティブAI専門誌、毎月魅力的な特集や深掘りお送りします[Kindle Unlimitedで無料]
https://j.aicu.ai/kindle

Originally published at https://note.com on Sep 1, 2024.
2024-09-01
[ComfyMaster9]ComfyUIでワークフロー大公開！あなたの作品を世界へ発信 #ComfyUI
こんにちわ、AICU media編集部です。
「ComfyUI マスターガイド」第9回目になります！

今回は、ComfyUIで作成したワークフローをプラットフォーム上に公開・共有する方法をご紹介します。これらのプラットフォームを活用することで、自身のワークフローを世界中のユーザーに公開し、フィードバックを得たり、他のユーザーの優れたワークフローを参考にしたりすることができます。ComfyUIの可能性を最大限に引き出すためにも、ぜひこれらのプラットフォームを活用してみてください！

前回はこちら

https://corp.aicu.ai/ja/comfyui20240825

シリーズ初回はこちら
1. ワークフローを公開できるプラットフォーム

ComfyUI Managerでは、ワークフローを公開する主要なプラットフォームに対し、ComfyUI Manager上から自身のワークフローをアップロードする機能があります。ComfyUI Managerが対応しているプラットフォームは以下になります。

OpenArt

OpenArtは、AIを活用してデジタルアートを作成・探索するための多機能プラットフォームです。ComfyUIワークフローを共有・発見・実行するためのプラットフォームとしても機能しています。OpenArtは、ComfyUIのエコシステムを拡張し、ユーザー間の協力を促進しています。主に以下のような特徴があります。
- ワークフロー共有: ユーザーは自作のComfyUIワークフローをOpenArtにアップロードし、他のユーザーと共有できます。
- 発見機能: 新しい注目のワークフローや、週間トップクリエイターなどを紹介するセクションがあります。
- 実行環境: アップロードされたワークフローを直接プラットフォーム上で実行できる機能を提供しています。
- コミュニティ機能: ワークフローに対するレビューや議論ができるディスカッションセクションがあります。
- 教育リソース: ComfyUI Academyセクションでは、ComfyUIの使用方法に関するレッスンを提供しています。
https://openart.ai/workflows/home

YouML

YouMLは、ComfyUIのワークフローを共有し、活用するためのプラットフォームです。以下にYouMLの主な特徴を説明します。
- ワークフローの共有と実行: YouMLを使用すると、ComfyUIで作成したワークフローを公開し、他のユーザーが無料で実行できるようになります。これにより、GPUを持っていないユーザーでもComfyUIのワークフローを利用することが可能になります。
- クラウドベースのエディタ: YouMLは、クラウドベースのComfyUIエディタを提供しています。このエディタを使用することで、ComfyUIワークフローの作成、編集、共有のプロセスが大幅に簡素化されます。
- 多様なレシピ: YouMLには、様々な目的に特化したComfyUIワークフローのレシピが用意されています。例えば、AIステッカーメーカー、写真をレゴミニフィギュア化、顔のスワップなど、多岐にわたるレシピが公開されています。
https://youml.org/

Matrix Server

ComfyUIの開発者や熱心なユーザーが集まる公式のチャットルームがMatrix上に存在します。このルームは”ComfyUI dev”と呼ばれ、6,000人以上のメンバーが参加しています。このMatrix Serverは以下の特徴を持っています。
- 公式コミュニティ: ComfyUIのGitHubページにもこのMatrix Serverへのリンクが掲載されており、公式のコミュニケーションチャンネルとして認識されています。
- 最新情報: ComfyUIの最新情報や開発状況をリアルタイムで知ることができます。
- サポート: 開発者や経験豊富なユーザーから直接サポートを受けられる可能性があります。
- 情報共有: ComfyUIに関する議論や情報交換の中心地となっています。コミュニティメンバー同士でアイデアや作品を共有する場にもなっています。
ComfyUIのMatrix Server上のコミュニティはこちら

ComfyWorkflows

ComfyWorkflowsは、ComfyUIのワークフローを共有、発見、実行するためのプラットフォームです。このサイトは、ComfyUIコミュニティによって作成された数千のワークフローを探索できる場所として機能しています。主な特徴は、以下の通りです。
- ワークフロー共有: ユーザーは自作のComfyUIワークフローを共有できます。
- ワークフロー探索: 他のユーザーが作成したワークフローを閲覧し、利用することができます。
- 画像・動画ワークフロー: 画像生成や動画作成のためのワークフローが含まれています。
- ComfyUI Launcher: 新機能として、セットアップ不要でComfyUIワークフローを実行できるツールが提供されています。
https://comfyworkflows.com/

eSheep

eSheepは、現状アクセス不可となっており、情報を得ることができませんでした。Webサイトには、「プラットフォームは現在アップグレードとメンテナンス中です」と表示されています。

Copus

Copus.ioは、クリエイティブコンテンツの共同制作と収益化を目的としたプラットフォームです。このプラットフォームは、クリエイター同士がインスピレーションを共有し、互いに協力してプロジェクトを進めることができる環境を提供します。ComfyUIユーザーがワークフローや生成した画像を簡単に共有できるようにすることもできます。主な特徴は、以下の通りです。
- インスピレーションの共有: ユーザーは、自分のアイデアやコンセプトをプラットフォーム上で共有し、他のユーザーからのフィードバックや追加アイデアを得ることができます。
- 共同制作: 複数のユーザーが協力して、ひとつのプロジェクトを共同で制作する機能です。各ユーザーは自分のスキルを活かし、他のユーザーのアイデアと組み合わせて新しい作品を生み出します。
- 収益化ツール: 完成した作品やプロジェクトをプラットフォーム上で販売したり、ライセンス契約を結んで収益を得ることができます。収益は、貢献度に応じて公平に分配されます。
https://www.copus.io/

2. OpenArt AIへのワークフローの公開方法

ここからは、OpenArtへのワークフローの公開手順を説明します。流れとしては、OpenArtでアカウントを作成した後、ComfyUIに展開されているワークフローをComfyUI Manager経由でOpenArtにアップロードします。
- まずは、公開するワークフローをComfyUIに読み込んだ状態にします。今回は、標準のワークフローを使用します。
- 次に、メニューの「Share」をクリックします。
- 公開するプラットフォームを選択する画面が表示されます。
- 「OpenArt AI」の右にある「Website」をクリックします。
- OpenArtのウェブサイトが開きます。
- 左下にある「Sign Up」をクリックします。
- Sign inの画面に遷移します。
- 画面を下にスクロールし、下部にある「Sign Up」をクリックします。
- アカウント作成画面に遷移します。
- 表示名 (Display Name)、メールアドレス (Email Address)、パスワード (Password)、パスワードの確認 (Confirm password)を入力し、「Sign Up」をクリックしてください。
- 認証コード入力画面に遷移します。
- アカウント作成画面で入力したメールアドレスに認証コードが送信されるので、メールを確認し、メールに書かれている認証コードを「Verification Code」に入力します。
- 認証コードを入力したら、「Verify Code」をクリックします。
- アカウント登録が完了し、OpenArtのトップページに遷移します。
- ComfyUIの画面に戻ってください。
- 次に、「OpenArt AI」をクリックします。
- ワークフローの共有画面に遷移します。
- 「Get your API key here」をクリックします。
- OpenArtのウェブサイトが開きます。
- 中央にAPIキーが表示されています。右側の「Copy」をクリックし、APIキーをコピーします。
- ComfyUIの画面に戻ります。
- 「① OpenArt API Key」に先ほどコピーしたAPIキーを貼り付けます(*1)。
*1 APIキーは、ComfyUI Manager経由でOpenArtにアクセスするために必要になります。
- 次にサムネイルの設定をします。「② Image/Thumbnail (Required)」にある「ファイルを選択」をクリックします。
- ファイル選択ダイアログが表示されるので、サムネイルにしたい画像を選択します。
- 画面に選択したサムネイル画像が表示され、サムネイル画像の設定が完了します。
- 次に、ワークフローのタイトルと説明を入力します。今回は、タイトルと説明に以下を設定しました。また、OpenArtは海外のサービスのため、英語で入力することをおすすめします。
  - タイトル: ComfyUI Test Workflow
  - 説明: This workflow is a standard workflow and is for trial sharing.
- 最後に「Share」をクリックします。
- OpenArtへのアップロードが実行されます。
- アップロードが完了すると、下部に「Workflow has been shared successfully」と赤字で表示されます。これでOpenArtでのワークフローの公開が完了しました。
- 公開されているワークフローを確認するために、その表示の横のメッセージ「Click here to view it」をクリックします。
- アップロードされたワークフローのページが表示されます。
3. まとめ

本記事では、ComfyUIワークフローを公開できるプラットフォームの紹介と、OpenArtへのワークフロー公開方法について解説しました。各プラットフォームはそれぞれ独自の機能や特徴を持っており、自身のニーズや目的に合わせて最適なプラットフォームを選択することが重要です。

これらのプラットフォームを活用することで、ComfyUIユーザーは自身のワークフローを世界中に公開し、他のユーザーと共有することができます。これは、ComfyUIコミュニティ全体の活性化に繋がり、より革新的なワークフローの開発を促進するでしょう。ComfyUIの更なる発展のためにも、積極的にこれらのプラットフォームを活用し、自身の創造性を世界に発信していくことを推奨します。

次回は、高解像度化をするワークフロー「Hires.fix」を説明します。乞うご期待！

X(Twitter)@AICUai もフォローよろしくお願いいたします！

画像生成AI「ComfyUI」マスターPlan

画像生成AI「Stable Diffusion」特に「ComfyUI」を中心としたプロ向け映像制作・次世代の画像生成を学びたい方に向けたプランです。最新・実用的な記事を優先して、ゼロから学ぶ「ComfyUI」マガジンからまとめて購読できます。メンバーシップ掲示板を使った質問も歓迎です。
- メンバー限定の会員証が発行されます
- 活動期間に応じたバッジを表示
- メンバー限定掲示板を閲覧できます
- メンバー特典記事を閲覧できます
- メンバー特典マガジンを閲覧できます
- 動画資料やworkflowといった資料への優先アクセスも予定
【書籍化】「ComfyUIマスターガイド」
http://j.aicu.ai/comfysb

【今すぐ使えるComfyUI】
https://aicu.jp/comfyui

【月刊AICUマガジン】「つくる人をつくる」クリエイティブAI専門誌、毎月魅力的な特集や深掘りお送りします[Kindle Unlimitedで無料]
https://j.aicu.ai/kindle

Originally published at https://note.com on Aug 27, 2024.
2024-08-27
[ComfyMaster] ここからはじめる「ComfyUIマスターガイド」
【お知らせ】本連載の内容が書籍になります！(2025/4/18発売開始)

https://corp.aicu.ai/ja/member-info-20250214

【おしらせ】AICUが新サービス「共有ComfyUI」を提供、noteメンバーシップ向けに先行リリース開始(2025/1/26)

https://corp.aicu.ai/ja/aicu-comfyui-20250126

【おしらせ】2024年8月からAICU mediaにて継続している大型連載「ComfyUIマスターガイド」の内容がColosoで動画ラーニングメディアになりました！

ComfyUIマスター：カスタムノードとアプリ開発

https://j.aicu.ai/Coloso3

#生成AIクリエイティブAICU という名義で他に2作ありますので探してみてください！

コンセプト：こんな方に読んでほしい

・イラストレーションや漫画だけでなく映像制作に画像生成AIを使いたい
・画像生成AI「Stable Diffusion」を業務に活かしていきたい
・AUTOMATIC1111は何となく使えるが、ComfyUIに移行したい
・いったんゼロから学んで、最新の技術をキャッチアップできるところまで連れて行ってほしい
・Pythonのプログラミングとかはわかりません！
・高価なVRAM搭載PCを買えないわけではないけど、プロとしてはクラウドやサービスでの利用も当然可能、活用していきたい
・どうやったら品質を上げられるのか知りたい
・画像生成AIシステム開発の社内PoCをつくりたい、相談したいが、そもそも技術者として広範な知識が必要すぎる
・法律だけでなくクリエイターや消費者の倫理など、危ない技術やモデル、使い方における注意点もしっかり教えてほしい
・（わかっている人向け情報ではなく）映像系の読み手でもわかるように、環境やセットアップについても丁寧に教えてほしい
・内部の技術についても解説してほしい

配信方式

無料/有料を含めて様々な方法で配信します！
・毎日のnoteでの配信（週1-2本程度を予定）
・メンバーシップ向けの優先配信
・noteマガジンでの配信
・オウンドメディアでの無料配信
・インデックス化による読みやすい体系化
・多メディア等による展開の先行記事

配信済/配信予定コンテンツ

（随時更新・変更される可能性もございます）
この先は…
・アプリケーション開発
・画像生成の原理と歴史
・AIの倫理と社会
……以下続きます……！

【番外編】

https://corp.aicu.ai/ja/sam20240817

【ニュース・コラム】

https://corp.aicu.ai/ja/coloso-20240930

基本的な流れは書籍「画像生成AI Stable Diffusionスタートガイド」のAUTOMATIC1111を踏襲しつつ、A1111からより実用的な画像生成AIのプロフェッショナル／マスターとして体系的な知識を得られる構成になっています。

https://ja.aicu.ai/sbxl/

豪華なライター陣

・ゲストライター Yas さん @earlyfield8612

生成AIを含む最新テクノロジーの実用化と企業のDXを支援するポノテク株式会社の代表。AICUコラボクリエイターとして技術調査や記事の全般に参加します。電気電子工学専攻、Bond University MBA取得。

・エディター　はねごろう @hane_desu

ボーカロイドからゲームCGなど映像系ラインプロデューサーを経験し、AICUではメディアエディター「クリエイティブAIプロマネ」という新しい職業を開拓するAIビジュアルデザインPさんです。映像系のプロフェッショナルの視点から見た「画像生成AIのここがわからん！」、クリエイティブの分野にいつつ、画像生成AIの初心者や中級者にやさしい視点を担保します。

・アーティスト　犬沢某いぬさわばう @InsBow

働きすぎて肩を壊して絵描きとしての筆を折ってしまったのですが画像生成AIのおかげで最近リハビリ中……という経歴を持ったビジュアルアート/漫画/イラストレーターさん。グラフィックス、挿絵、カバーアートなどで参加します。

・AICU media代表　しらいはかせ @o_ob

画像生成AI「Stable Diffusion」をリリース直後からまいにち研究・開発・発信し続けてきた「つくる人をつくる」AICU mediaの代表。デジタルハリウッド大学大学院特任教授。東京工業大学知能システム工学・博士（工学）、東京工芸大学画像工学専攻、写真工学科。芸術科学会副会長。科学コミュニケーター。画像生成AIの使い手として、学習者やクリエイター、オープンソース開発者にとってわかりやすい解説や視点を「わかるAIを伝える」AICUとしての品質を高く維持・管理して発信しています。

「noteメンバーシップ」ご参加がオススメ

生成AIクリエイターユニオン『AICU: AI Creators Union』は、「つくる人をつくる」をビジョンに活動するアメリカのスタートアップ企業「AICU」社が「note」で提供するプロ生成AIクリエイター養成ユニオンです。このユニオンでは、画像生成AIやLLMなど、高速に進化する生成AIの最先端を学びながら、一緒に生成AIの価値を生む仲間を得ます。メンバーは、生成AIに関する最新の知識と技術を自分のペースと興味の深さで追い、それを社会に明確に伝えて価値を生む能力を養うことに焦点を置いています。
Google Colabで動くGPU不要な環境についても紹介しています。
AICU社のパートナーである生成AIトップの企業での技術と専門知識や情報にいち早く触れる機会を得られます。プロフェッショナルな環境で学び、実践的なライティング技術、PoC開発、コンテンツ作成のノウハウを習得しましょう。
プロのクリエイターを目指す学生さんや、個人ブログでの執筆を超え生成AIでの転職や起業を考えるプロフェッショナル志向の方々の参加を歓迎します。もちろん「これから勉強したい」という人々も歓迎です。

https://note.com/aicu/membership/info

[オトク]画像生成AI「ComfyUI」マスターPlan

画像生成AI「Stable Diffusion」特に「ComfyUI」を中心としたプロ向け映像制作・次世代の画像生成を学びたい方に向けたプランです。特典としてゼロから学ぶ「ComfyUI」マガジンからまとめて購読できます。メンバーシップ掲示板やDiscordを使った質問も歓迎です。
- メンバー限定の会員証が発行されます
- 活動期間に応じたバッジを表示
- メンバー限定掲示板を閲覧できます
- メンバー特典記事を閲覧できます
- メンバー特典マガジンを閲覧できます
- 動画資料やworkflowといった資料への優先アクセス
- [new]メンバー専用Discordチャンネルでの質問が可能に
特典：ゼロから学ぶ「ComfyUI」マガジン

https://note.com/aicu/m/md2f2e57c0f3c

マガジン購読は収録話数と購読者数によって動的に変化します。お早めの購入がお得になっています。基本的にメンバーシップ「ComfyUIマスタープラン」参加のほうがお得な設定になっています！マガジンの購読だけでなく、メンバーシップ参加者にはもれなく「AICU Creator Union」へのDiscordリンクをお伝えし、メンバーオンリー掲示板やDiscord利用が可能になります（Discord上でメンバー認証がございます）。

https://note.com/aicu/membership/boards/61ab0aa9374e/posts/db2f06cd3487?from=self

もちろん、初月は無料でお試しいただけます！
毎日新鮮で確かな情報が配信されるAICUメンバーシップ。
退会率はとても低く、みなさまにご満足いただいております。

AICUメンバーシップは「AI Creator Union」つまりお仕事を得やすい？

メンバー限定の会員証、活動期間に応じたバッジに加えて、以下のような「AIクリエイターユニオン」としてのメリットも可能性があります。

AICU メンバーシップ向け情報の例

AIクリエイターユニオンならではのオトクな情報が…
・コンテスト情報
・編集部からのおしらせ（キャンペーンとか）
・ライター依頼（フルリモートワーク）
・業務案件
・サンプルアートの募集など
・人材募集
などなど

もちろん、参加するだけでなく、記事へのフィードバックやご貢献、
Discordでの自己紹介やご反応をよろしくお願いいたします！

ComfyUIマスタープランメンバー会員証のスクリーンショットをご提示いただければ、会員限定のチャンネルへのアクセスロールを付与いたします。

ご参加はこちらから！

https://note.com/aicu/membership/join

メンバーシップ参加者への特典の表示例としてペイウォールの向こうには、Discordの招待リンクやComfyUIのワークフロー、サンプルなどのリンクを紹介しております。

皆様のご参加をお待ちしております！！

【書籍化】「ComfyUIマスターガイド」
http://j.aicu.ai/comfysb

【今すぐ使えるComfyUI】
https://aicu.jp/comfyui

【月刊AICUマガジン】「つくる人をつくる」クリエイティブAI専門誌、毎月魅力的な特集や深掘りお送りします[Kindle Unlimitedで無料]

メンバーシップ特典

このラインより上のエリアが無料で表示されます。

AICU Discord「AI Creator Union」招待リンク

　招待コード https://j.aicu.ai/JoinDiscord
　参加されましたら「#self-introduction-自己紹介」チャンネルにて自己紹介をいただけましたら幸いです。

【名前】
【目指していること】
【ひとこと】

また「#ComfyUIマスタープラン-認証窓口」にてメンバーシップ資格の確認を行っております。メンバーシップ保有者のみアクセスできるプライベートチャンネルにアクセスできるようになります。

サンプルコード

Google Colabで利用するComfyUI(基本)

https://j.aicu.ai/Comfy

Colabで利用するComfyUI+ControlNet同梱版

https://j.aicu.ai/ComfyCN

Originally published at https://note.com on July 31, 2024.
2024-07-31