つくる人をつくる AICU Inc.

タグ: LoRA

Stable Diffusion の追加学習「LoRA」についての記事です。

[ComfyMaster38] LoRAで動画のスタイル変えよう！

「動画をもっと簡単に、でも個性的に作りたい」
そんな願いを持つクリエイターの方々に朗報です。AnimateDiffとControlNetを組み合わせることで、簡単に動画のスタイル変換が可能になります！

こんにちわ、AICU media編集部です。
「ComfyUI マスターガイド」第38回目になります。
本記事では、前回ご紹介したAnimateDiffとControlNetを組み合わせた「video-to-video (v2v)」を応用して、参照動画のスタイルを変換してする方法を解説します。

本連載の初回はこちら。前回はこちら、目次はこちらです。

[ComfyMaster37] SDXL＋AnimateDiff＋IPAdapterで参照画像から動画を生成しよう！ #ComfyUI

[ComfyMaster37] SDXL＋AnimateDiff＋IPAdapterで参照画像から動画を生成しよう！

1. 概要

この記事では、ComfyUIを使用した高度な動画生成ワークフローについて解説します。特に、AnimateDiffやControlNetを活用して動画の各フレームをスタイライズし、LoRAを用いたスタイル変換を行う手法に焦点を当てています。ComfyUIのカスタムノードを導入し、Stable Diffusionモデルを活用したスムーズなアニメーション生成や、スタイルの適用による独自の映像表現を作成するための手順を説明します。具体的には、RealVisXL V5.0 LightningモデルやSDXL Paint Splash Style、Dissolve StyleといったLoRAを使用し、参照動画をもとに動画変換を行うプロセスを詳述しています。

2. カスタムノードのインストール

以下のカスタムノードを使用するため、ComfyUI Managerからインストールしてください。

ComfyUI-AnimateDiff-Evolved

ComfyUI-AnimateDiff-Evolvedは、Stable Diffusionモデルを拡張して動画生成を可能にするカスタムノードです。元のAnimateDiffを進化させたバージョンで、動画生成のためのモーションモジュールと高度なサンプリング技術を組み込んでいます。

https://github.com/Kosinkadink/ComfyUI-AnimateDiff-Evolved

ComfyUI-VideoHelperSuite

ComfyUI-VideoHelperSuiteは、動画生成を支援するためのカスタムノードです。動画の編集や加工を容易にする機能を提供します。今回は、一連の画像を動画にして保存するノードを使用するために必要となります。

https://github.com/Kosinkadink/ComfyUI-VideoHelperSuite

ComfyUI-Advanced-ControlNet

ComfyUI-Advanced-ControlNetは、ControlNetの機能を強化するカスタムノードです。ControlNetの強度をタイムステップやバッチ化された潜在変数にわたってスケジュールする機能を提供します。

https://github.com/Kosinkadink/ComfyUI-Advanced-ControlNet

ComfyUI-KJNodes

動画サイズのリサイズのためにComfyUI-KJNodesを導入します。ComfyUI-KJNodesは様々な便利なノードを格納しています。

https://github.com/kijai/ComfyUI-KJNodes

3. 画像生成モデルのダウンロード

RealVisXL V5.0 Lightning

今回は、RealVisXLのLightningバージョンを使用します。Lightningバージョンでは、サンプリングのステップ数を4-6回に抑えることができます。生成量の多いAnimateDiffでは、TurboやLightningなどの数ステップで生成完了するモデルを選ぶと良いでしょう。
以下のリンクよりモデルをダウンロードし、「ComfyUI/models/checkpoints」フォルダに格納してください。

https://huggingface.co/SG161222/RealVisXL_V5.0_Lightning/blob/main/RealVisXL_V5.0_Lightning_fp16.safetensors

4. LoRAのダウンロード

今回は、2つのLoRAを使用してスタイル変換を試してみます。

SDXL Paint Splash Style

カラフルなインクを塗布したような画像を生成するLoRA「SDXL Paint Splash Style」を使用します。以下のリンクよりモデルをダウンロードし、「ComfyUI/models/loras」に格納してください。

https://civitai.com/models/140335/sdxl-paint-splash-style

Dissolve Style

体や物の一部が崩壊していくような画像を生成するLoRA「Dissolve Style」を使用します。以下のリンクよりモデルをダウンロードし、「ComfyUI/models/loras」に格納してください。

https://civitai.com/models/245889/dissolve-style-lora-15sdxl?modelVersionId=277389

5. ControlNetモデルのダウンロード

ControlNet AnyTest v4

video-to-video (v2v)にControlNetの「AnyTest v4」を使用します。以下のリンクよりControlNetをダウンロードし、「ComfyUI/models/controlnet」フォルダに格納してください。

https://huggingface.co/2vXpSwA7/iroiro-lora/blob/main/test_controlnet2/CN-anytest_v4-marged.safetensors

6. AnimateDiffのモーションモジュールのダウンロード

SDXL Motion Module

今回は、SDXLのモデルで動画生成するため、SDXLのモーションモジュールをダウンロードします。使用するモデルは「Hotshot-XL」です。以下のリンクからモデルをダウンロードし、「ComfyUI/custom_nodes/ComfyUI-AnimateDiff-Evolved/models」フォルダに格納してください。

https://huggingface.co/hotshotco/Hotshot-XL/blob/main/hsxl_temporal_layers.f16.safetensors

7. 素材のダウンロード

v2vで使用する参照元動画を用意します。以下のダンス動画をControlNetで参照します。

この動画は、以下のリンクより無料でダウンロードできます。

https://www.pexels.com/ja-jp/video/2795746

8. ワークフローの解説

このワークフローは、入力ビデオの各フレームを変換し、スタイライズされたアニメーション動画を生成する高度な例です。ControlNetを使用して入力フレームの構造を保持しつつ、AnimateDiffで滑らかなアニメーションを生成し、LoRAでPaintSplashスタイルを適用しています。

文末のリンクからワークフローをダウンロードしてください。

ワークフローをフローチャート形式で表示したものが以下になります。

以下に、このワークフローの主要な部分とその機能を詳細に説明します。

この記事の続きはこちらから https://note.com/aicu/n/n8f000f1b4be2

Originally published at https://note.com on Dec 7, 2024.

2024-12-07
[ComfyMaster34] 便利LoRA紹介: Detail Tweaker XLで画像の精細さをコントロール
画像生成AIの世界は、日々進化し続けています。その中で、作品にどれだけ細かなディテールを与えられるかが、仕上がりのクオリティを左右する重要なポイントとなっています。美しい風景や繊細なキャラクター、壮大な建築物など、細部までこだわった表現は、見る者の心を掴み、深い感動を呼び起こします。

そんな中、注目を集めているのが「Detail Tweaker XL」というLoRAモデルです。このモデルを使うことで、精緻でシャープなディテールを持つ作品が生み出されます。作品の魅力を一段階引き上げたいと考えているすべてのクリエイターにとって、このモデルは強力な味方となるでしょう。

こんにちわ、AICU media編集部です。
「ComfyUI マスターガイド」第34回目になります。
本記事では、この「Detail Tweaker XL」がどのような特徴を持ち、どのように活用できるのかを詳しく見ていきます。

本連載の初回はこちら。前回はこちら、目次はこちらです。

[ComfyMaster33] 便利LoRA紹介: Envy Zoom Slider XLで画角を調整しよう！ #ComfyUI

[ComfyMaster33] 便利LoRA: Envy Zoom Slider XLで画角調整しよう！
1. 概要

Detail Tweaker XLは、その名が示す通り、画像の細部を強化することに特化したLoRAモデルです。このモデルを使用すると、生成される画像全体のディテールが著しく向上し、より鮮明で精緻な結果を得ることができます。

https://civitai.com/models/122359/detail-tweaker-xl

具体的には、物体の表面テクスチャがより精密に表現され、細かな凹凸や模様が際立つようになります。また、画像全体のシャープネスが増し、輪郭がくっきりと定義されるため、より「解像度が高い」印象を与える画像が生成されます。これは特に、建築物や自然風景、あるいは精密な機械部品などの複雑な構造を持つ被写体を生成する際に顕著な効果を発揮します。

さらに、Detail Tweaker XLの興味深い特徴として、その汎用性の高さが挙げられます。このLoRAは特定のスタイルや主題に限定されることなく、幅広いプロンプトや設定と組み合わせて使用できます。風景画から人物ポートレート、あるいはSF的な未来世界の描写まで、様々なジャンルの画像生成において、その効果を発揮することができるのです。

Detail Tweaker XLのページの説明では、強度を±3.0の範囲で使用することが推奨されています。また、使い方として、詳細度を上げる場合は、強度を+1.5から開始し、そこから調整していくことがおすすめされています。

2. 使用準備

今回使用するLoRA「Detail Tweaker XL」を以下よりダウンロードし、「ComfyUI/models/loras」フォルダに格納してください。

https://civitai.com/models/122359/detail-tweaker-xl

3. ワークフローの構成

ワークフローは、標準ワークフローにLoad LoRAノードを追加したものになります。モデルにはSDXLのベースモデルを使用しています。

ワークフローは以下よりダウンロードしてください。
- ワークフロー（右クリックで保存）
https://note.com/api/v2/attachments/download/9fa23fa1821fb0c06031cef55c7e30a0

プロンプトは以下の通りです。
- ポジティブプロンプト
```
1girl, detailed, beautiful, intricate design, delicate, flowing hair, soft lighting, pastel colors, ornate dress, lace, floral patterns, long hair, glowing, ethereal, serene expression, detailed eyes, highly detailed background, flowers, soft shading, elegant, fantasy setting, fairy tale atmosphere, sparkles, graceful, warm tones
```
- ネガティブプロンプト
```
bad hands, bad anatomy, ugly, deformed, (face asymmetry, eyes asymmetry, deformed eyes, deformed mouth, open mouth)
```
KSamplerノードの各ウィジェットの設定は以下の通りです。
- seed: 747064347533087
- control_after_generate: fixed
- steps: 20
- cfg: 8.0
- sampler_name: euler
- scheduler: normal
- denoise: 1.0
4. 生成結果の検証

まずは、LoRAなしで生成してみます。以下が生成結果です。この状態でも十分に美麗な画像となっています。

次にLoRAの強度を+3.0にし、画像生成してみます。

以下が生成結果です。LoRAなしよりも明瞭になったのではないでしょうか。例えば、周囲の花や、頭の花飾り、ドレスの柄が細かく描写されています。

次は、LoRAの強度を-3.0にし、詳細度を落としてみました。全体的に細かさが減っているように見えます。例えば、頭の花飾りの花が大きくなっていたり、洋服の柄の細かさも少なくなっています。

微妙な違いもあるので、ChatGPTに評価してもらいました。以下がChatGPTの評価結果です。

【レビュー】
1. ディテールの精密さ
・1枚目 (LoRAなし)
ディテールは十分に美しく描かれていますが、特に髪やドレスの質感において、少し柔らかくぼやけた印象があります。特に髪の毛の一本一本や、刺繍の細かい部分はやや滑らかで、精細度が少し低いと感じます。
・2枚目 (LoRA +3.0適用)
LoRAが適用されたことで、全体的に細部がよりシャープに、そして明瞭に見えます。特に髪の毛の一本一本の描写が非常に鮮明で、光の反射や髪の質感がリアルに表現されています。また、ドレスの刺繍部分の細かい装飾がより詳細に描かれており、ドレスの素材感もはっきりと感じられるようになっています。
・3枚目 (LoRA -3.0適用)
LoRAがマイナス強度で適用されているため、ディテールはLoRAなしの状態よりも減少しています。特に、髪の毛の一本一本の描写がやや滑らかになり、ドレスの刺繍や質感も控えめになっています。光の反射や細かいテクスチャがややぼやけており、ディテールが抑えられています。

2. 色の表現
・1枚目 (LoRAなし)
カラーパレットは柔らかく、少し淡いトーンでまとめられており、全体的にやや控えめな印象を与えます。色の深みやコントラストが少し少なく、ふんわりとした雰囲気です。
・2枚目 (LoRA +3.0適用)
LoRAを適用することで、色彩がより豊かに、そして鮮明に表現されています。特にドレスの花の色や背景の光のコントラストがより強調され、色の深みが増しています。全体的に鮮やかで、色が際立って見えます。
・3枚目 (LoRA -3.0適用)
LoRAがマイナス強度で適用されているため、色の表現も抑えられており、少し淡い印象になっています。特にドレスや背景の花々の色がやや薄れており、全体的により控えめで穏やかなトーンになっています。LoRAなしと比べると、少し彩度が低下しているように見えます。

3. 質感の表現
・1枚目 (LoRAなし)
ドレスの素材や髪の質感が柔らかく描かれており、特に繊細な部分において、質感のリアルさが若干欠けている印象です。
・2枚目 (LoRA +3.0適用)
LoRAにより、ドレスの布の繊維や刺繍部分の立体感が増し、髪の質感もよりリアルに描かれています。光の反射や影のつけ方が繊細で、まるで実物に近い感覚をもたらします。
・3枚目 (LoRA -3.0適用)
LoRAがマイナス強度で適用されることで、質感の描写がLoRAなしの状態よりも抑えられています。ドレスの刺繍部分がより滑らかで、立体感が少し薄れており、布地のテクスチャも控えめです。髪の毛の質感も若干ぼやけており、LoRAなしよりも滑らかな印象です。

4. 背景の詳細
・1枚目 (LoRAなし)
背景の窓やキャンドルのデザインが少し滑らかで、細部がぼやけているように感じられます。全体的に柔らかい表現がされています。
・2枚目 (LoRA +3.0適用)
LoRAが適用されているため、背景の装飾や窓のステンドグラスの模様がより細かく描かれており、キャンドルの光の反射や炎の描写も非常に細やかになっています。
・3枚目 (LoRA -3.0適用)
LoRAがマイナス強度で適用されているため、背景の細部がよりぼやけた印象です。特に花々や窓のデザインが柔らかくなり、光の反射や細かい装飾が控えめに描写されています。全体的にソフトフォーカスのような効果があり、背景が少し曖昧になっています。

5. 全体的な印象
・1枚目 (LoRAなし)
全体的にやや柔らかく、ふんわりとした幻想的な雰囲気を持っていますが、細部の描写や質感の表現において少し控えめです。
・2枚目 (LoRA +3.0適用)
LoRAによって細部の精密さが向上し、全体的に高い解像度で描かれています。ディテールが際立ち、特に質感や色の深みが増しているため、よりリアルで華やかな印象を与えます。
・3枚目 (LoRA -3.0適用)
LoRAを-1.5の強度で適用することで、全体がより柔らかく、ぼやけた印象に変わっています。LoRAなしと比較すると、ディテールが減少し、特に質感や色の鮮やかさが控えめで、ソフトな印象が強まっています。幻想的で柔らかい雰囲気が際立つ一方、細部の描写は抑えられており、より優しく控えめな印象を与えます。

【結論】
LoRAを通常の強度で適用すると、画像のディテールが大幅に向上し、質感や色彩、細部がよりシャープでリアルに表現されます。詳細な描写を求める場合、LoRAは効果的です。一方、LoRAをマイナス強度で適用すると、逆にディテールが減少し、全体的に柔らかく、ぼんやりとした印象になります。質感や色彩も控えめになり、幻想的で穏やかな雰囲気が強まるため、LoRAなしよりもシャープさが失われる結果となります。

ChatGPT

結論、プラスの強度でDetail Tweaker XLを適用すると、全体的に詳細に描かれて明瞭な画像となり、マイナスの強度で適用すると、詳細さが失われていくことになります。

5. おまけ: XY Plotで画角の変化を一括で確認

以前の記事で「XY Plot」で生成結果を一括で確認する方法を解説しました。今回もXY Plotを使用して、画角の変化を一括で確認してみます。XY Plotの解説記事は以下になります。

[ComfyMaster19]「XY Plot」で実験結果を比較!

ワークフローの全体像は以下になります。X軸にLoRAの強度、Y軸にSeedを設定しています。

ワークフローは、文末のリンクよりダウンロードしてください。

以下が生成結果です。一括でLoRAの強度の変化を確認できます。Detail Tweaker XLに関しては、遠目では詳細度の違いが分かりづらいので、アップにして確認が必要ですね。

6. まとめ

Detail Tweaker XLは、画像生成においてディテールを強化する優れたLoRAモデルです。特に、複雑な構造やテクスチャの描写において、その効果が顕著に表れます。建築物や自然風景、人物、さらにはSF的なシーンに至るまで、幅広いジャンルで活用でき、ユーザーの創造力を最大限に引き出すツールとなっています。

LoRAの強度をプラスに調整すると、画像は鮮明で精緻な仕上がりとなり、視覚的なインパクトが増します。一方で、強度をマイナスに調整することで、より柔らかく、幻想的な表現を得ることも可能です。これにより、シーンの雰囲気やテーマに合わせた柔軟なアプローチが可能となります。

Detail Tweaker XLは、さまざまなシーンで使用することができ、その汎用性と効果の高さから、クリエイティブな作品づくりに欠かせないツールとなるでしょう。

次回からいよいよComfyUIによる動画編が始まります。乞うご期待！

ここから始める動画編！SDXL＋AnimateDiffでテキストから動画を生成しよう！

X(Twitter)@AICUai もフォローよろしくお願いいたします！

画像生成AI「ComfyUI」マスターPlan

画像生成AI「Stable Diffusion」特に「ComfyUI」を中心としたプロ向け映像制作・次世代の画像生成を学びたい方に向けたプランです。最新・実用的な記事を優先して、ゼロから学ぶ「ComfyUI」マガジンからまとめて購読できます。メンバーシップ掲示板を使った質問も歓迎です。
- メンバー限定の会員証が発行されます
- 活動期間に応じたバッジを表示
- メンバー限定掲示板を閲覧できます
- メンバー特典記事を閲覧できます
- メンバー特典マガジンを閲覧できます
- 動画資料やworkflowといった資料への優先アクセスも予定
ゼロから学ぶ「ComfyUI」マガジン

https://note.com/aicu/m/md2f2e57c0f3c

マガジン単体の販売は1件あたり500円を予定しております。
2件以上読むのであればメンバーシップ参加のほうがお得です！というのもメンバーシップ参加者にはもれなく「AICU Creator Union」へのDiscordリンクをお伝えし、メンバーオンリー掲示板の利用が可能になります。

https://note.com/aicu/membership/boards/61ab0aa9374e/posts/db2f06cd3487?from=self

もちろん、初月は無料でお試しいただけます！
毎日新鮮で確かな情報が配信されるAICUメンバーシップ。
退会率はとても低く、みなさまにご満足いただいております。
✨️オトクなメンバーシップについての詳細はこちら

[新連載] ここからはじめる「ComfyUIマスターガイド」

メンバーシップ加入者向けのおまけ

Detail Tweaker XL に XY-plotを追加したワークフローはこちらです

この記事の続きはこちらから https://note.com/aicu/n/na628f140e954

Originally published at https://note.com on Nov 18, 2024.
2024-11-18
[ComfyMaster33] 便利LoRA: Envy Zoom Slider XLで画角調整しよう！

プロンプトで画角を指定しても、思ったような画角にならないといった体験をしたことはありませんか？もっと直感的に画角を調整したいですよね。
そんな画角調整を可能にするのが「Envy Zoom Slider XL 01」です。「Envy Zoom Slider XL 01」は、画角調整の自由度を飛躍的に向上させる革新的なLoRAとして注目を集めています。

この記事の続きはこちらから https://note.com/aicu/n/n3b1ef1cc3fac

Originally published at https://note.com on Nov 8, 2024.

2024-11-08
[ComfyMaster24] LoRAで表現をもっと自由に！スタイルを使いこなそう
生成画像のクオリティをさらに向上させたいと思いませんか？
そこで注目すべきなのが「LoRA」です。LoRAは、Stable Diffusionなどの大規模言語モデルに、特定のスタイルやキャラクター、オブジェクトなどを効率的に学習させることができる技術です。少ないデータ量と計算リソースで、モデルの表現力を飛躍的に高めることが可能になります。

こんにちわ、AICU media編集部です。
「ComfyUI マスターガイド」第24回目になります。
本記事では、LoRAの仕組みから、ComfyUIでの具体的な活用方法、そして応用例まで、LoRAを最大限に活用するためのノウハウを詳細に解説します。LoRAをマスターして、画像生成の可能性をさらに広げましょう！

前回はこちら
 [ComfyMaster23] 特別編: 画像の髪型を自由自在に変えてみよう！ #ComfyUI
1. LoRAとは

LoRA（Low-Rank Adaptation）は、ファイチューニング特定のタスクやスタイルにモデルを適応させるために使用されます。LoRAは、モデルのパラメータを効率的に調整し、少ないデータで特定の出力を得ることを目的としています。

LoRAの主な目的は、既存の大規模なAIモデルを特定のニーズに合わせて微調整することです。画像生成においては、LoRAを使用することで特定のスタイルやキャラクターを学習させることができます。これにより、ユーザーは自分の好みに合った画像生成が可能になります。

LoRAは、モデルの重みを低ランクで調整する手法であり、計算資源を節約しつつ高い性能を維持します。具体的には、元のモデルの重み行列を低ランク近似し、新たなパラメータを追加することで学習を行います。この方法は、従来のファインチューニングよりも少ないデータと計算リソースで済むため、多くのユーザーにとって実用的です。

LoRAのメリット
- 軽量: LoRAのファイルサイズは小さく、ダウンロードや共有が容易です。通常のファインチューニング済みモデルと比較して、数十MBから数百MB程度です。
- 効率的: 計算コストが低いため、GPUのメモリ消費量を抑えながらファインチューニングできます。また、学習時間も短縮できます。
- 柔軟性: 複数のLoRAを組み合わせることで、様々なスタイルや特徴を表現できます。例えば、キャラクターのLoRAとスタイルのLoRAを組み合わせることで、特定のキャラクターを特定のスタイルで描くことができます。
- 元のモデルへの影響なし: LoRAは元のモデルのパラメータを変更しないため、他のタスクへの影響を心配する必要がありません。LoRAを適用しない場合は、元のモデルと同じように動作します。
- 微調整が可能: LoRAの強度は、strength パラメータで調整できます。これにより、LoRAの効果を細かく制御することができます。
LoRAの具体例
- スタイルの適用: 特定のアートスタイルやキャラクターの特徴を学習させることができます。例えば、「LineAniRedmond」や「Pixel Art XL」といったスタイル用LoRAモデルが存在します。
- エフェクトの追加: 画像生成にエフェクトを追加するためにも使用されます。「Dissolve Style」や「GlowNeon XL」などのモデルがあります。
- 補正機能: 生成された画像に対してディテールや質感を向上させるためにも利用されます。「Detail Tweaker XL」などのモデルがあります。
- キャラクターの安定化: 特定のキャラクターやテーマに基づいた画像生成も可能です。ユーザーが用意したデータセットから学習したLoRAモデルは、そのキャラクター特有の特徴を維持した画像を生成します。例えば、「Deltamon Official version1.0」や「ガンマミィ・ジェネレーター」がそれに当たります。
期間限定無料「ガンマミィ・ジェネレーター」を提供開始！

2. LoRAの探し方

SDXL用のLoRAは、様々なサイトで公開されています。代表的なサイトとしては、以下のようなものがあります。
- Civitai: 最大規模のStable Diffusionモデル共有サイトです。ユーザーフレンドリーなインターフェースと豊富な検索機能を備えています。各LoRAには、サンプル画像、使用方法、レビューなどが掲載されています。
https://civitai.com
- Hugging Face: 機械学習モデルの共有プラットフォームです。SDXLを含む様々なAIモデルのLoRAが公開されています。モデルカードには、LoRAの詳細情報、使用方法、ライセンスなどが記載されています。
https://huggingface.co

これらのサイトでは、キャラクター、スタイル、オブジェクト、衣装、背景など、様々なテーマのLoRAが公開されています。キーワード検索やタグ検索で、自分の好みのLoRAを見つけることができます。

https://note.com/aicu/n/n02de834e3d5c

https://corp.aicu.ai/ja/event20240516

https://corp.aicu.ai/ja/vroid-studio-lora

3. LoRAのインストール

LoRAのインストールは、LoRAファイルをダウンロードし、「ComfyUI/models/loras」フォルダに格納するだけです。今回は、「Dissolve Style」をインストールし、ComfyUIで使用してみます。
このLoRAは、画像生成時にディゾルブ（溶解）効果（画像に溶解のような効果）を追加するためのモデルです。

まず、以下のページにアクセスします。

https://civitai.com/models/245889/dissolve-style-lora-15sdxl

開いたページから、ダウンロードボタンを押下します。

Google Colabの場合、Googleドライブ上の「ComfyUI/models/loras」フォルダにダウンロードしたファイルを格納してください。

これでLoRAのインストールは完了です。

4. LoRAの使い方

LoRAには、適用すれば即時に発現するものと、プロンプトにトリガーワードを入力することで発現するものがあります。例えば、前述した「Detail Tweaker XL」のような補正系のLoRAの多くは、適用するだけで発現するものです。一方で、「Dissolve Style」は、「ral-dissolve」というトリガーワードをポジティブプロンプトに入力することで効果を発揮します。多くのLoRAは、LoRAの説明ページにその内容が記載されています。LoRAを使用する際は、LoRAの説明をよく読んでから始めましょう。

5. ワークフローの構築

ComfyUIでのLoRAの使用は簡単です。標準ワークフローに標準ノードを1つ追加するだけで使用できます。以下が最終的なワークフローになります。赤枠のノードが標準ワークフローからの変更点になります。

ワークフローは文末よりダウンロードください。

今回追加したノードは、「Load LoRA」ノードです。Load CheckpointノードとCLIP Text Encode (Prompt)ノード、KSamplerノードの間に挿入します。各ウィジェットの用途は以下の通りです。
- lora_name: 「ComfyUI/models/loras」フォルダ内のLoRAから適用するLoRAを選択します。
- strength_model: モデルへのLoRAの影響力を設定します。値を高くすると、生成される画像がLoRAのトレーニング画像に似たスタイルを取り入れる傾向があります。
- strength_clip: CLIPモデルへのLoRAの影響力を設定します。値を高くすると、プロンプト内の特定のキーワードやトリガーワードがLoRAのトレーニングデータから抽出されやすくなります。
接続は以下の通りです。
- Load CheckpointノードのMODEL/CLIP出力をLoad LoRAノードのmodel/clip入力に接続
- Load LoRAノードのMODEL出力をKSamplerノードのmodel入力に説続
- Load LoRAノードのCLIP出力を2つのCLIP Text Encode (Prompt)ノードのclip入力に説続
最後にポジティブプロンプトの調整です。今回のLoRAを使用するには、「ral-dissolve」をポジティブプロンプトに追加する必要があります。標準ワークフローで使われているプロンプトの先頭に「ral-dissolve」を追加しました。最終的なプロンプトは以下になります。
```
ral-dissolve, beautiful scenery nature glass bottle landscape, , purple galaxy bottle,
```
6. ワークフローの実行

それでは、ワークフローを実行してみましょう。まず、LoRAを適用しないで実行します。生成された画像は以下になります。

次にLoad LoRAのstrength_modelとstrength_clipを1.0にして生成します。画像に変化が見られましたが、ディゾルブには遠い感じがします。

strength_modelを1.1にしてみます。これでディゾルブ効果が見られるようになりました。

strength_clipも1.1にしてみます。strength_modelのみが1.1の時と変わりがありませんでした。プロンプトの効果は十分に効いているということでしょう。

strength_modelを1.0に戻し、strength_clipを0.1ずつ増加させたところ、1.4でディゾルブ効果が見られました。CLIPの強度の影響度は、モデルの強度よりも弱いようです。

最後にstrength_modelとstrength_clipの両方とも1.5に設定し、生成を実行しました。かなり強くディゾルブ効果が出ていることが確認できます。

以下がLoRAなしとLoRAあり（strength_modelとstrength_clipが1.5）の比較画像です。LoRAを使用することで、好みの効果を追加できることが確認できました。

他にも多くのLoRAが存在するので、ぜひご自分の好みのLoRAを探してみてください！

X(Twitter)@AICUai もフォローよろしくお願いいたします！

画像生成AI「ComfyUI」マスターPlan

画像生成AI「Stable Diffusion」特に「ComfyUI」を中心としたプロ向け映像制作・次世代の画像生成を学びたい方に向けたプランです。最新・実用的な記事を優先して、ゼロから学ぶ「ComfyUI」マガジンからまとめて購読できます。メンバーシップ掲示板を使った質問も歓迎です。
- メンバー限定の会員証が発行されます
- 活動期間に応じたバッジを表示
- メンバー限定掲示板を閲覧できます
- メンバー特典記事を閲覧できます
- メンバー特典マガジンを閲覧できます
- 動画資料やworkflowといった資料への優先アクセスも予定
ゼロから学ぶ「ComfyUI」マガジン

https://note.com/aicu/m/md2f2e57c0f3c

マガジン単体の販売は1件あたり500円を予定しております。
2件以上読むのであればメンバーシップ参加のほうがお得です！というのもメンバーシップ参加者にはもれなく「AICU Creator Union」へのDiscordリンクをお伝えし、メンバーオンリー掲示板の利用が可能になります。

画像生成AIなんでも質問コーナー｜AICU: AI Creators Union生成AIクリエイターユニオン『AICU: AI Creators Union』は、「つくる人をつくる」をビジョンに活動するnote.com

もちろん、初月は無料でお試しいただけます！
毎日新鮮で確かな情報が配信されるAICUメンバーシップ。
退会率はとても低く、みなさまにご満足いただいております。
✨️オトクなメンバーシップについての詳細はこちら

[新連載] ここからはじめる「ComfyUIマスターガイド」

この記事の続きはこちらから https://note.com/aicu/n/ndb4d0ed583d7

Originally published at https://note.com on Oct 16, 2024.
2024-10-16
FLUX@falでデルタもん準公式LoRAをつくってみた!!
falは開発者向けのメディアプラットフォームです。今日はfalにホストされているFlux.1[dev]のLoRAを使ってデルタもんの漫画向けLoRAをつくる実験を行ってみます。
https://fal.ai/

falは人気の漫画制作ツール「Anifusion」の内部の演算基盤としても使用されているようです。非常に高速で比較的安価なAPIコストで画像生成が実現できます。

ブラウザだけでAI漫画が作れる「AniFusion」がサービスイン

今回はこちらのfalにおいて公開されている「FLUXによるキャラクターLoRA生成」を紹介します。
デルタもんを使った準公式LoRA生成実験

今回の実験はAIキャラクター「デルタもん」を開発・管理するBlendAIさんのご協力により「デルタもん4コマ漫画コンテスト」の提供でお送りします！

あなたの才能が、デルタもんの世界を動かす！「デルタもん4コマ漫画コンテスト」開催決定

まずデルタもんには既に公式LoRAが存在します

https://blendai.booth.pm/items/5801621

こちらはSDXLをベースにした追加学習（LoRA）であり、「Anifusion」使ったデルタもん漫画に利用できます。

1時間でここまでできる！「AniFusion」でデルタもん漫画を描いてみた

Anifusionを使ったすべての漫画制作工程を知りたい読者は、現在配信中の「AICUマガジン」最新刊「AICUマガジンVol.4 完全解説Anifusion」を御覧ください。
書籍版、Kindle版があり、Kindle Unlimited加入者は無料で購読可能です。

https://j.aicu.ai/MagV4

【前提】LINEスタンプ画像を使った機械学習は大丈夫なの？

デルタもんはLINEスタンプとしてリリースされています

https://store.line.me/stickershop/product/28076624/ja

LINE スタンプ – デルタもんが来た！

これは可愛いですね！買いました！

買いました！
— AICU Inc. (@AICUai) August 25, 2024

BlendAIさんの「かわいい！！みどりちゃんスタンプ」もいいですね！

https://store.line.me/stickershop/product/11304932/ja?from=sticker

このようなキャラクター画像は通常IP（Intellectual Property：インテレクチュアルプロパティ）つまり知的財産として管理されています。
このようなスタンプ画像をソースにして、機械学習や情報分析をすることは「日本の著作権法では可能」ですが、贋作をつくることが目的になったり、実際に偽物・類似品の「デルタもん」つまり、「デルタもの」をリリースして販売することは一般的には許可されていることはあまりないことです。
※「利用規約」によります。

今回の実験にあたり、BlendAIさんに利用規約を確認したところ、ご許諾いただけました。

Q: 商用利用はできますか？
A: 以下に該当する利用であれば、利用規約の範囲内で自由に商用利用ができます（ボイスは除きます。詳細は後述）。
非営利目的の利用
Youtube、Twitter(X)、Facebook、Tiktok、Instagram 等、動画投稿サイトへの投稿目的での利用
pixivリクエスト等のコミッションサイトでの利用
FANBOX や Patreon 等ファン限定作品のデータもしくはそのアクセス権を販売するサイトでの利用
ハッカソンまたはコミケ等の同人イベントでの利用（常設ではない単発のイベントのみ）
同人誌等の同人作品の販売（ダウンロード販売含む）
AIの研究開発の為の利用（ただし、成果物を頒布・公開する場合は、対価を受け取ってはならない）
個人による年間の売上が10万円以下の商品またはサービスを作る際の利用
上記以外の利用を希望する場合、ライセンス申請してください。また、ボイスの利用については、声優の権利保護のため商用利用可能な条件が異なります。ボイスの商用利用を希望する場合は、こちらのページを見てください。

https://blendai.jp/guideline

AICU Inc.が定める
画像生成AIクリエイター仕草（v.1.0）
も参照しておきます。

すべきでないこと
他者の迷惑になること。
技術的な可否と法律上の可否とマナーやモラル、過去の常識やリスクや感情を混ぜて混乱させること。
(スキルがあるからといって)他者の作品を上から目線で批判すること。
画像生成 AI だから安いとか、自動だとか、無償で何かを作れるとか「楽して儲かる」など世間を誤解させるようなこと。
すべきこと
楽しむこと。作品を作る情熱を持ち続けること。
わからないことは自分で調べて、共有し、コミュニティや Issue で共有すること。
あいさつ、返事、お礼、質問を具体化、質問時は「わからない」だけでなく詳細な情報、進行具合を報告するなど誠意、他者に対するリスペクトや理解する姿勢を持つこと。
「ぬくもりティ」だいじ。オープンソースコミュニティの開発者には敬意をもって接しよう。
画像生成AIクリエイター仕草（v.1.0）は、AICU media が提唱するものです。
倫理や法律を大切に、他者を尊重したコミュニティ構築を行っていきましょう。

画像生成AIクリエイター仕草（v.1.0）

手順：LoRA生成と公開

fal-aiが公開している flux-lora-general-training を使用して、デルタもん公式が配布している画像を学習させてみます。

https://blendai.jp/resources

実際にかかるコストなどのレポートも行っていきます！

FLUX.1[dev]の実力は？比較しながらGoogle Colabで動かしてみた。

falアカウントの作成

GitHubアカウントでのみ登録可能です。

プロジェクト「flux-lora-general-training」を開く

https://fal.ai/models/fal-ai/flux-lora-general-training

実は商用利用可能なようです。

クレジットを追加する

今回のLoRAを作成するには5ドル、その後の生成も含めると、まずは10USDぐらい必要です。Stripeで決済できますので、クレジットを追加しておきましょう。

画像の登録

実は4枚ぐらいでもできます。まずは小規模に試してみるのもいいかもしれません。

素材はBlendAIの「素材配布」から「LINEスタンプ画像」を使って登録してみます
https://blendai.jp/resources

PNGファイルの001-040までの40枚を追加してみます。

トリガーワードは「DeltamonStamp」としてみます。
キャプションファイルがあるとなお良いかもしれませんが、今回は実験なのでデフォルトのまま進行します。

予算（クレジット）を確認する

このLoRA学習用エンドポイントを実行するには5ドル相当のクレジットが必要です。なお、クレジットが不足しても実行はできることがありますが、その分、マイナスになって、次回以降は何もできなくなってしまいます。

画像生成はメガピクセルあたり0.035ドルかかります。日本円で5円弱、1ドルで約29回実行できますので生成自体の単価は安いのかもしれません。

ちなみにこの実験では1000ステップほどで実行していますが、たとえば複数のLoRAを生成した場合は、どんどんコストが大きくなります。例えば5400ステップですと…27ドルといった具合です。

学習を実行する

枚数にもよりますが10分ぐらいで終わります。速い！

生成したLoRAを試用する

結果の右側にある「▶Run interface」を押すと、TextToImageのプロジェクトが開かれ、すぐに試すことができます。

「chibi manga panels of DeltamonStamp」で生成してみました。

後頭部が描かれているのは尊いですね。

スタンプ画像の雰囲気再現性が高いです

漫画コマを生成してみました

キャラクター紹介シートっぽい

謎文字が可愛い

生成したsafetensorsをHugging Faceで公開する

今回生成したsefetensorsファイルをHugging Faceで公開してみます。

「Hugging Face」ボタンを押します。

・Hugging Faceのトークンを取得して、設定します。
・リポジトリ名を設定します
・説明書きを加えます

デルタもんStampをベースにしたLoRAです。特徴的な日本語の描き文字が化けて可愛いですね。
This LoRA is based on Deltamon Stamp. It is cute with distinctive Japanese drawn characters that have been transformed.

・インスタンスプロンプトとしてトリガーワード「DeltamonStamp」を指定します。
・ここではアクセス権を「Public」にしていますが、これは「Private」でもいいと思います。

こんな感じに公開されます。

公開できました！（publicになっています）

Hugging Faceでの生成もできます

Flux.1[dev]のワークフローを使って、ComfyUIでLoRAとして利用することもできますね。

ご許諾いただいたBlendAIさんと、かわいらしいイラストと描き文字を書いて、LINEスタンプのフォーマットに揃えて納品していただいている作者の方に感謝を表明します。

https://huggingface.co/AICU/deltamon-flux-lora

※メンバーシップ向け追加情報

この記事の続きはこちらから https://note.com/aicu/n/n02e4dc8b88d6

Originally published at https://note.com on Sept 7, 2024.
2024-09-07
AICU マガジン5月号アップデート！

AICU media 編集部の知山ことねです。
わかるAIを届ける、AICU マガジン5月号はもうお読みいただけましたか？特集の「次世代まんが制作術」が魅力の一冊となっております！

4月号に引き続き、今回も大幅アップデートを行いました。主にキャラ LoRA 制作が、現時点での保存版とも呼べる程の詳細な解説になっています。

この記事ではマガジンの紹介と、更新箇所のお知らせをします。パワーアップした AICU マガジン5月号をぜひお読みください！
購入はこちら https://j.aicu.ai/Mag2405

https://note.com/aicu/n/n61476a3fc852

https://j.aicu.ai/Mag2405

AICUマガジン5月号目次（最新版）

2024年5月29日時点での最新の目次です。

画像生成 AI で漫画を描こう！
この記事で必要なもの
漫画制作ステップ① アイビスペイントでコマを作ろう
キャンバスを用意する
コマを配置しよう
漫画制作ステップ② ネーム（下書き）を描こう
漫画制作ステップ③ 画像を生成しよう
キャラクターを生成しよう
背景を生成しよう
漫画制作ステップ④ 生成した画像を漫画に編集しよう
漫画制作ステップ⑤ フキダシを配置しよう
漫画制作ステップ⑥ 手描き文字を追加する
完成！

[キャラLoRA学習ガイド]デルタもんLoRAで学ぶLoRA制作！←Updated!
(1) データセットを用意しよう
データセットとは？
データセット作りのコツ
(2) Google Colaboratory で学習しよう
Colab notebook の用意
データセットの展開
学習の設定
(3) 生成した LoRA を回収しよう
生成してみよう！

りんりん倫理
Q1. 生成 AI は著作権違反なの？
Q2.「無断学習禁止」って何？
Q3. 生成 AI に関する法律はどこで調べればいいの？

編集コラム：生成AIクリエイターに必要なのは「自在性」
ようこそ！アイキュー部
今月の12星座占い

アップデート！「キャラLoRA制作ガイド」

今回アップデートしたのは、特集2つ目の「キャラLoRA制作ガイド」です。
第1版では、5月に行われたキャラLoRA制作ワークショップ（ https://ja.aicu.ai/event20240516/ ）の予習として、キャラLoRA用データセットの作り方をデルタもんの画像を用いて解説しました。
第2版となる今回は、データセットの作り方のみならず、学習に必要な Colab notebook の配布、使い方解説、学習時のモデルやパラメータ調整など、キャラLoRA制作に必要な情報を全て盛り込みました！

また、AICU 特製のデルタもんデータセットの配布も行っています。
期間限定で、ワークショップ「デルタもんLoRAを作ろう！」の録画も公開しています。
AICU のワークショップが気になる方や、実際の操作画面をチェックしたい方は要チェックです。

また漫画の解説では、動画を追加するなど、さらにわかりやすくなる工夫を凝らしました。

マガジンを読むと、こんなことができるようになります！

他にもアップデートにより、全体的に様々な補足情報が追加され、より親切でわかりやすいマガジンになりました。
もう第1版を読んでくださった方は、まためくってみて、新たな学びや発見を見つけてください。
まだ読んでいらっしゃらない方は、この機会にぜひ読んでみてくださいね！Kindle Unlimited で無料で読むことができます。

https://j.aicu.ai/Mag2405

次回のアップデート・次号リリースをお楽しみに！
AICU media をフォローして最新記事をお見逃しなく。記事のいいねとおすすめもお待ちしております！

Originally published at https://note.com on May 29, 2024.

2024-05-29
最先端の画像生成AIを深掘りする教科書決定版『画像生成AI Stable Diffusion スタートガイド』3月29日発売 #SD黄色本

Stability AI 公式パートナーによるAI時代のクリエイターのための教科書。東京AI祭での特別イベントも。Amazonでの購入は https://j.aicu.ai/SBXL

Amazonでの購入は https://j.aicu.ai/SBXL

『画像生成AI Stable Diffusion スタートガイド』白井暁彦＆ AICU media編集部著。AIメイキング解説フィナス／らけしで

「つくる人をつくる」デジタルクリエーションの最前線をいく、デジタルハリウッド大学発の米国スタートアップ「AICU Inc.」は、この度、画像生成AIの革新的技術「Stable Diffusion」を徹底解説した教科書『画像生成AI Stable Diffusion スタートガイド』をリリースしました。2024年3月29日にSBクリエイティブより刊行される本書は、AIによる画像生成技術に関心を持つすべての人々に、基礎から応用までを段階的に学べる一冊として開発されました。

書籍のハイライト:

AICU Inc.紹介: 「つくる人をつくる」をビジョンに、生成AIクリエイティブの最新の話題やテクニックを楽しい雰囲気の日々のブログで紹介する「AICU media編集部」により執筆。Webデザインや映像、ゲーム、メタバース、VTuber、キャラクターイラストレーションなどに多様に活躍する30年の経験を持つ著者（白井暁彦博士／しらいはかせ）が中心に、教育の現場や、豊富な知見と実績を背景に、未来のクリエイター育成に貢献します。

技術の解説: 話題の画像生成AI「Stable Diffusion」「Stable Diffusion XL」とオープンソースツール「AUTOMATIC1111」を中心に、画像生成AIの基本からプロフェッショナルな絵作りのための応用テクニック、最新のテクノロジー解説を網羅。

イラストレーションが好きな人にこそ読んで欲しい: 美しく、楽しい誌面と優しい言葉での解説。スマホで使えるniji・journeyや、最新の簡単インストーラー「Stability Matrix」、プロのイラストレーターの作例、解説、プロンプトのテクニックや背景で動いている技術の仕組み、image2image、ControlNet、LoRAでオリジナルキャラをAIに覚えさせるだけでなく、自分の子供時代の画像を学習させて不可能なコラボレーションを実現する方法など、技術系だけでなく、今後の生成AI時代に大きな進化が期待されるイラストレーターや漫画制作、映像スタジオといった幅広い用途に応用できる技術を丁寧に解説しています。

実践的学習: GPUや高度なプログラミング知識がなくても、Google Colaboratoryを使って手軽に実践できる内容を収録。学生のアクティブラーニング、集団で学ぶワークショップ、コンピュータサイエンスやコンピュータグラフィックスの研究に入って行くための基盤的な知識や、ニューラルネットワークに関する基礎知識、専門用語などを丁寧に解説。

クリエイター視点での法律・ライセンス・倫理: 画像生成AIを用いる際の著作権や倫理面での注意点を解説。法律の解釈だけでなく、プロのクリエイターとして安全かつ責任ある使用における注意点やライセンス解説を随所に盛り込んでいます。

最新情報: 2024年3月時点での最新情報に基づき、動画生成やデジタルイラストレーションの専門技術を長期にわたって理解できる歴史俯瞰や用語解説が満載。

オープンソースとコミュニティによるアップデート: 書籍だけじゃ終わらない、GitHubやGoogle Colab によるオンラインでの最新ソースへのアクセス、AICU mediaによる楽しい画像生成コミュニティでのサポートやワークショップなどのイベント情報、お仕事情報など、長く、クリエイターとして成長していけるためのパスポートになっています。

本書の目的と読者層:

『画像生成AI Stable Diffusion スタートガイド』は、幅広い読者を想定し、中高生、美術・芸術・イラストレーションの学生、クリエイター、そしてAI技術に興味を持つ一般読者まで、幅広い層に向けています。本書を通じて、今後30年のクリエイティブ産業をリードする知識とスキルを身につけることができます。プロフェッショナルだけでなく、趣味で美しい絵を生成したい方や、ビジネスシーンでのプレゼンテーション資料作成に利用したい方にも最適なガイドブックです。

「画像生成AI　Stable Diffusion スタートガイド」出版社情報より：

定価：2,640円（本体2,400円+10%税）
発売日：2024年3月29日（金）
ISBN：978-4-8156-2456-9　サイズ：B5判　ページ数：224
著者：白井暁彦、AICU media

画像生成AIの１つであるStable Diffusionを導入・体験するための入門書です。
プログラミングが分からない、ネットの情報を見てもうまく使えなかった、そんな悩みを抱えている人でもAIを使った画像生成体験ができるようにしっかりサポートします。

本書籍では以下の環境で解説します。
・Google Colab Pro環境
・Windows10/11 NVIDIA GPU環境
・MacOS Apple silicon 環境

本書籍では以下の内容を取り扱います。
・拡散モデルによる画像生成の原理
・Stable Diffusionを使用するためのWebUI環境構築
・テキスト/画像を元に画像を生成する（txt2img/img2img/ControlNet）
・Google Colab 上で追加学習を行う（LoRAの作成）

本書ではソフトウェアの使い方解説だけではなく、自分で設定できるセッティングやパラメータが画像生成にどのように関わっているのかについても解説しているため、AI技術について知識を深めたい人にとってもおすすめです。
また、既にAIを活用している方にもご満足いただけるように、よりAI画像制作を極めるヒントとなるようなStable Diffusionを含むAI画像生成を利用した作例のメイキング方法やプロンプト構成/生成パラメーターなどの情報を公開・解説しています。ハンズオン形式で最後まで取り組むことで、画像生成AIへの理解をより深めることができる1冊となっています。

全ての目次とコラムを紹介します！

Chapter 1 画像生成AI について知ろう

1-1 AI で画像を生成してみよう
1-2 画像生成AI の誕生と変遷
1-3 2024 年での「AI の定義」を考えてみよう
1-4 ニューラルネットワークについて知っておこう
1-5 拡散モデルによる画像生成の原理を知っておこう

Chapter 2 環境構築をしてはじめよう

2-1 Stable Diffusion を使う環境を用意しよう
2-2 Google Colab での環境構築
2-3 Stability Matrix をローカル環境で構築する
2-4 簡単な言葉で画像を生成する
2-5 モデルをダウンロードする
2-6 VAE をダウンロードする

Chapter 3 プロンプトから画像を生成してみよう

3-1 プロンプトで意のままの画像を作り出す
3-2 ネガティブプロンプトを構築する
3-3 思い通りの画像を生成する
3-4 画像の解像度を上げよう
3-5 様々なパラメータを調整しよう
3-6 様々なプロンプトを試してみよう

Chapter 4 画像を使って画像を生成してみよう

4-1 img2img でできることを知ろう
4-2 Sketch を使って画像を生成しよう
4-3 Inpaint で画像を編集してみよう
4-4 Inpaint を応用して画像を修正する
4-5 Outpainting で画像を拡張する
4-6 img2img で画像の解像度を上げる
4-7 拡張機能でアップスケーリングをしてみよう

Chapter 5 ControlNet を使ってみよう

5-1 ControlNet について知っておこう
5-2 ControlNet をダウンロード・準備する
5-3 ControlNet を使って画像を生成する
5-4 プリプロセッサの働きを理解しよう

Chapter 6 LoRA を作って使ってみよう

6-1 追加学習でできることを知ろう
6-2 LoRA を使用して画像を生成しよう
6-3 自分の画風LoRA をつくる
6-4 様々な種類のLoRA をつくってみよう
6-5 学習内容を出力させてみよう

Chapter 7 画像生成AI をもっと活用しよう

Interview Guest フィナス
Interview Guest らけしで
画像生成AI の活用と注意点
AUTOMATIC1111/WebUI おすすめ拡張機能
関連用語

充実したコラム！

ページ番号とともに紹介します

使用するGoogle アカウントに注意しよう 14
変わりゆく社会とAI の関係性 25
利用しているプログラムについて 43
Google Colab のエラーに対応しよう 45
Google Colab の計算資源を有効に管理しよう 47
パッケージ選択ではエスケープしないように注意しよう 57
画像の保存場所を変更しよう 62
コミュニティで質問してみる 63
StableDiffusion シリーズとは 65
CLIP のゼロショット転移性 78
embedding とは 82
デフォルメキャラ風の画像を生成してみよう 106
色の変化を抑える設定をしておこう 111
下書きから画像を生成してみよう 114
Mask blur を調整して自然に見せる 118
拡張機能とは 124
オープンソースライセンスの確認 131
複数のControlNet を使用する 141
Openpose をもっと使いこなそう 144
これからのLoRA の活用方法 149
LoRA の学習データで気を付けるべきこと 154
手元に保管しているモデルファイルをLoRA 学習に使う 158
写真や写実的な画像を学習させる場合 161
学習の全体像を把握しよう 167

主著者紹介：
白井暁彦（Akihiko Shirai, PhD /しらいはかせ）（X アカウント：@o_ob）

エンタメ・メタバース技術の研究開発に関わる研究者、ホワイトハッカー作家、米国スタートアップ「AICU Inc.」「Hidden Pixel Technology Inc.」のCEO。東京工芸大学写真工学科卒、同画像工学専攻修了。キヤノン株式会社とグループの研究所より生まれた英国・Criterion Software にて世界初の産業用ゲームエンジン「RenderWare」の普及開発に参加、その後、東京工業大学知能システム科学専攻に復学。博士学位後、NHK エンジニアリングサービス・次世代コンテント研究室、フランスに渡りENSAM 客員研究員、国際公募展Laval Virtual ReVolution の立ち上げ、日本科学未来館科学コミュニケーター神奈川工科大学情報メディア学科准教授を経て、2018 年よりデジタルハリウッド大学大学院客員教授およびグリー株式会社GREE VR Studio Laboratory Director。スマートフォン向けメタバース「REALITY」を開発・運用するREALITY 株式会社の立ち上げを通して、Virtual YouTuber などXR ライブエンタメ技術のR&D、国際発信など、メタバースエンタテイメントの未来開発や知財創出を中心に、自らエンタテイメントのライブプレイヤーとして世界に向けた開発・発信活動方法論化しながら世界中のエンタテインメント技術業界に数百人の規模でクリエイターを育成している。2023 年よりデジタルハリウッド大学発米国スタートアップ企業「AICU Inc.」CEO。生成AI 時代に「つくる人をつくる」をビジョンに英語、日本語、フランス語、プログラミング言語などでオープンな作家活動を続けている。日本バーチャルリアリティ学会IVRC 実行委員会委員。芸術科学会副会長。著書に『WiiRemote プログラミング』（オーム社）、『白井博士の未来のゲームデザイン – エンターテインメントシステムの科学-』（ワークスコーポレーション）、『AI とコラボして神絵師になる　論文から読み解くStable Diffusion』（インプレスR&D）他。

アシスタントクリエイター知山ことね（X アカウント：@ChiyamaKotone）

デジタルイラストレーション、テクニカルライター、チャットボット開発、Web メディア開発を担当するAICU Inc. 所属のクリエイター。AICU Inc. のAI 社員「koto」キャラクターデザインを担当している。小学校時代に自由帳に執筆していた手描きの雑誌「ザ・コトネ」「ことまがfriends」のLoRA が話題に。技術書典15「自分のLoRAを愛でる本」他。

AICU Inc. について：Xアカウント@AICUai　https://corp.aicu.ai/ja info@aicu.ai

「生成AI時代につくる人をつくる」をビジョンに活動する2023年に設立された米国シリコンバレーを本拠地にするデジタルハリウッド大学発のスタートアップ企業です。LINEアカウント「全力肯定彼氏くん」「AI確定申告さん」、Webに住むAIアイドル「AICuty」、クリエイティブAIレポーター「Koto」など楽しみのあるAI体験を開発する「AIDX Lab」、わかるAIを楽しく届ける AI総合メディア「AICU media」、AI人材教育コンテンツ開発、障害者向けワークショップ開発、AIキャラクター開発運用、某有名企業の新技術プロトタイプコンテンツ開発など「クリエイティブAI」ならではのコンテンツ技術開発・体験開発を世界的な企業に展開している価値開発企業。画像生成AI「Stable Diffusion」を開発公開した Stability AI 公式パートナーであり、Google for Startups認定スタートアップでもあります。1994年に杉山知之が創立したデジタルハリウッド大学（愛称「デジハリ」）はCGやデジタルクリエーションを専門に学ぶ学校ですが、開学のころからずっと変わらず伝えていることは『すべてをエンタテインメントにせよ！』。エンタテイメント技術の研究開発で30年の経験を持つCEO白井暁彦とAI社員、少数精鋭の人間味あふれる多様なスタッフや協力クリエイターとともに、すべてをエンタテインメントにするまで追求する文化が AICUにも息づいています。

AICU media 編集部 https://note.com/aicu　media@aicu.ai

「わかるAIを楽しく届ける」総合AI情報メディア。AIレポーター「Koto」がクリエイティブAIを中心に24時間365日最新情報をお届けしています。活動メディアはnote、 X(Twitter)、動画メディア、各種商用サイトへの記事提供、同人誌・商業書籍・電子書籍など書籍企画との開発、子ども向けからお年寄り向けまで「つくる人をつくる」をビジョンに幅広いワークショップやイベントを開発しています。AI先進企業の新サービスの普及展開のお手伝い、AI活用したい企業の技術検証や社内展開、学校・スクール等のコンテンツ開発についても案件をお待ちしております。

ファンコミュニティは note.com/aicu/membership

ご購入とお問い合わせ:

『画像生成AI Stable Diffusion スタートガイド』は、全国の書店およびオンライン書店でお買い求めいただけます。

Amazon購入ページ： https://j.aicu.ai/SBXL

最新情報は AICU media note.com/aicu

X(Twitter) @AICUai https://twitter.com/AICUai

@PRTIMES_JP
最先端の画像生成AIを深掘りする教科書決定版『画像生成AI Stable Diffusion スタートガイド』発売 https://j.aicu.ai/SBXL
https://prtimes.jp/main/html/rd/p/000000013.000133647.html

2024-04-05
子供の時の絵を AI で学習、生成してみよう！ #描画タイムマシン

つくる人をつくる！AICU media の知山ことねです。

昨日の記事「 VRoid Studio を使ってキャラクター LoRA を作ろう！ 」が好評で、LoRA の制作に興味を持っている方からの「ぜひやってみたい！」という声を聴くことができました。

ところでこちら、画像生成AI「Stable Diffusion」の一大ブームを予言した深津貴之さんのつぶやきです。

▶世界変革の前夜は思ったより静か｜深津貴之 (fladdict) https://note.com/fladdict/n/n13c1413c40de https://note.com/aicu/n/n9d5cf46761b7 @fladdict

子供の頃の絵って魅力的ですよね。Soraが正式リリースされるのはまだわかりませんが、うかうかしていられませんね！

子供ゴコロあふれる「真の芸術」を爆発させていきましょう。

今回は、画像生成 AI でたびたび話題になる「下手な子供の絵を生成する AI」、命名「描画タイムマシン」を Stable Diffusion の LoRA 学習を利用して作っていきます！

美と知能を超え、人間性を爆発させていきましょう。

Google Colabだけで作る描画タイムマシン

描画タイムマシンは学習元の画像データと Google Colab だけで完成するので、皆さんもぜひ、自分の幼少期の絵やお子さんの絵で一緒に作ってみてください。

用意するもの：小学校時代の黒歴史

まずは学習元の画像、データセットを用意します。

今回は、この原稿を書いている私、知山ことねが小学生の時に自由帳に描いていた 直筆雑誌「ザ・コトネ」「ことまが friends」 を用意しました。

この色鉛筆の質感と歪んだデッサンが小学生らしいですね。
これらのページをスキャンして、画像データとして PC に取り込みます。

学習には15～40枚ほどの画像を用意することをおすすめしますので、1枚の絵をそのまま学習したい場合は、絵を最低7,8枚ほど用意しましょう（後述しますが、あとで左右反転コピーを行って枚数を増やすことができます）。

今回は1枚の紙に複数イラストが描かれているため、貴重なサンプルとして切り取ってデータセットを増やしていきます。雑誌の中のイラストを多く含んだ箇所20ページほどをスキャンしました。

PC に取り込んだら、画像をそれぞれトリミングしていきます。今回は LoRAを扱いやすい Stable Diffusion (SD1.5) で学習を行うので、Photoshop 等を使い 512×512 px の正方形に画像を切り取っていきます。これを正則画像化といいます。

またこのままではノートの罫線や文字、透けている裏の紙の内容などのノイズも学習されてしまうので、それらの不要な部分は塗りつぶして消去し、画像全体のコントラストを上げるなどの色調補正も行いました。

これをイラストの枚数分繰り返し、正則画像化済みの画像のデータセットを作りました。

またこの時に、用意できた画像の枚数が少ない場合や、画像の左右のバランスが望まない崩れかたをしている場合（左向きの顔が多い、など）は、左右反転したコピーPhotoshop等で作成し、保存しましょう。

また、LoRA を作ったことがある人ならご存じかと思いますが、学習時に画像をセットにして学習を行うため、画像枚数を2の倍数、具体的には「2,4,…で割り切れる枚数」に揃えましょう。今回は32枚にしています。

学習

データセットが用意できたら、フォルダにまとめて他の LoRA と同じように学習を行います。もちろんローカル環境でも Colab でも可能ですが、初めて LoRA を制作する方は khoya-trainer の Colab notebook をおすすめします。

これは kohya-ss さん ( https://github.com/kohya-ss ) が制作した sd-scripts ( https://github.com/kohya-ss/sd-scripts?tab=readme-ov-file ) を Linaqruf ( https://github.com/Linaqruf ) さんが Colab notebook で使用できるようにしたものです。
編集した画像のzipファイルをドライブにアップロードし、手順に沿ってパスや LoRA のファイル名などを入力して実行すると学習された LoRA を制作することができます。

また今回は2次元のイラストを学習しますが、アニメ系の絵柄には寄せたくないので、2次元イラスト LoRA 学習定番の AnyLoRA などのアニメ系モデルではなく、Stable-Diffusion-v1–5 を使用して学習しました。

詳しい学習の流れはいずれ日本語の解説版を作って公開しようと思います。
（AICU mediaメンバーシップ掲示板でリクエストいただけるとプライオリティが上がるかもしれません…！）

AUTOMATIC1111 StableDiffusionWebUI をGoogle Colabで！｜AICU: AI Creators Union生成AIクリエイターユニオン『AICU: AI Creators Union』は、「つくる人をつくる」をビジョンに活動するnote.com

完成！

Colab の実行が完了したら終了です！完成した LoRA で画像を生成してみましょう！

モデル v1–5-pruned-emaonly

鉛筆のストロークや雑な色塗り、斜めに歪んだデッサンを再現することができました！Stable Diffusionおそるべし底力。

大人になってから子供っぽい絵を描くことはなかなか難しいので、過去の自分とコラボレーションできる感覚は楽しいです。また画像だけでなく動画の素材に使う、さらに「不可能な動画」を製作できる可能性があります。
ファミリーカーむけの広告動画などにも需要がありそうですね。

これを使ったファンシーイラストやキャラクターデザインの探求にも使えそうです。ガチな産業向けの用途だけでなく、「子供の絵あるある～！」と誰かにシェアしたくなるような画像が生成できるので、皆さん試してみてください！
※LoRAを生成するときは本人やお子さんの許諾をもって実施してくださいね！

面白い作品ができたら、ぜひこちらのメンバーシップ掲示板でご共有ください～！

メンバーオンリー画像投稿コーナー

メンバーオンリー画像投稿コーナー｜AICU: AI Creators Union生成AIクリエイターユニオン『AICU: AI Creators Union』は、「つくる人をつくる」をビジョンに活動するnote.com

Stable Diffusion — ControlNet入門はこちらから

img2img 入門シリーズはこちらから。

※本ブログは発売予定のAICU media新刊書籍に収録される予定です。期間限定で先行公開中しています。
メンバー向けには先行してメンバーシップ版をお届けします
Stable Diffusionをお手軽に、しかもめっちゃ丁寧に学べてしまう情報をシリーズでお送りします。
メンバーは価値あるソースコードの入手や質問、依頼ができますので、お気軽にご参加いただければ幸いです！

AICU: AI Creators Union｜AICU media生成AIクリエイターユニオン『AICU: AI Creators Union』は、「つくる人をつくる」をビジョンに活動するnote.com

この下にGoogle Colabで動作する「AUTOMATIC1111/Stable Diffusion WebUI」へのリンクを紹介しています。
メンバーシップ向けサポート掲示板はこちら！応援よろしくお願いします！

AUTOMATIC1111 StableDiffusionWebUI をGoogle Colabで！｜AICU: AI Creators Union生成AIクリエイターユニオン『AICU: AI Creators Union』は、「つくる人をつくる」をビジョンに活動するnote.com

Originally published at https://note.com on February 28, 2024.

2024-03-05
VRoid Studio を使ってキャラクター LoRA を作ろう！

つくる人をつくる！AICU media 知山ことねです。
突然ですが、 AI を使って漫画を創作したい！と思ったことがあるそこの貴方！
こんな壁にぶつかったことがあるのではないでしょうか。
「同じキャラクターが二度と生成できない！」

漫画を描くにはキャラクターの特徴を固定して生成する必要がありますよね。そんな時に役立つのは、特定のキャラクターを学習させたいわゆる「キャラクター LoRA」です。すでにそういった LoRA を制作したことがある方もいるかと思います。
例えば先日発表されたBlendAIさんの「デルタもん」は、 二次創作が AI 限定 ということもあり、多くの人が LoRA の制作を行っていました。

しかし、いざ LoRA を作ろう！と思っても、そもそも学習元の画像がないとキャラクター LoRA が制作できない…という第二の壁が立ちはだかります。
AI で生成した絵を学習に使用する場合、特徴的なキャラクターを作ろうとするほど生成が難しくなり、データセットの枚数が足りなくなってしまいますよね。

しかしそんな時におすすめなのが、「VRoid Studio」です！

VRoid Studio とは？

「VRoid Studio」とは、株式会社 pixiv が運営している 3D キャラクター制作ツールです。PC、タブレット端末を用いて、無料で感覚的に3Dのキャラクターを制作することができます。

3D初心者でも簡単
たくさんのプリセットアイテムとパラメータを搭載。ゼロからモデリングをしなくても、アイテムを選んで組み合わせ、パラメータを調整するだけでキャラクターメイキングができます。

オリジナリティを表現

絵を描くように髪型を直感的にモデリングできるだけでなく、3Dモデルに直接デザインを描いて、こだわりの表情や瞳、服のデザインを制作可能。普段のお絵かき感覚で3D創作に取り組むことができます。

無料で利用可能

VRoid Studioの利用は無料。煩雑なセットアップもなく、すぐにインストールして始められます。もちろん制作したモデルもさまざまな用途で無料で使うことができます。

VRoid Studio 公式サイト

今回はこの VRoid Studio を用いてキャラクターを作成、そのスクリーンショットを撮影し、それをもとにキャラクター LoRA を制作します。

キャラクターを作る

まずは公式サイトから VRoid Studio をインストールしましょう。
Windows, Mac, iPad に対応しています。

ソフトをインストールできたら、画面左「新規作成」の＋アイコンを選択して新しいモデルを作成します。

男女を選択するとモデルのエディタが開きます。

・画面上のタブ
顔、髪型、体形、衣装、アクセサリー、ルック（アウトラインの細さや陰影の質）のメニューを開きます。

・画面左のメニュー
顔や身体のパーツのプリセットを選択します。

・画面右のパラメータ
プリセットから選択したパーツの大きさやバランス、ディテールの微調整を行います。

またモデルを回転などする場合の操作は以下の通りです。
ショートカットキー — VRoid ヘルプ (pixiv.help)

操作方法を覚えたら、好きにキャラクターを作ってみましょう。
私はチャイナな女の子を作りました。

撮影

モデルができたら、モデル編集画面の右上のカメラのアイコンを選択し、撮影に移ります。

ここでは、キャラクターにポーズをとらせたり、動かしたりして撮影することができます。

・画面左のメニュー
表情、ポーズ、背景の編集を切り替えます。

・中央
キャラクターが動きます。このスクリーンショットを撮ります。
画面右下の青いカメラのアイコンをクリックすると、画面中央のキャラクターのみのスクリーンショットを保存することができます。

・画面右のメニュー
キャラクターにとらせるポーズ、表情を選択します。

表情やポーズ、視点を変えながら撮影していきましょう。
この画像にバリエーションを持たせるほど、LoRA を制作した際にとることのできるポーズが柔軟になります。

✨VRoidでキャラクターを作るときにはこちらの書籍もオススメです

📖3Dマイキャラメイキング VRoidでキャラを作ろう！ペーパーバック — 2023/9/18 佐久間蒼乃 (著)

今回は25枚撮影し、学習の偏りをなくすためにコピー、左右反転を行って50枚の画像を用意しました。

学習

データセットが用意できたら、フォルダにまとめて他の LoRA と同じように学習を行います。もちろんローカル環境でも Colab でも可能ですが、初めて LoRA を制作する方は khoya-trainer の Colab notebook をおすすめします。

これは kohya-ss さん ( https://github.com/kohya-ss ) が制作した sd-scripts ( https://github.com/kohya-ss/sd-scripts?tab=readme-ov-file ) を Linaqruf ( https://github.com/Linaqruf ) さんが Colab notebook で使用できるようにしたものです。

Stable DiffusionのLoRA活用方法、こちらもおすすめです。

zipファイルをドライブにアップロードし、手順に沿ってパスや LoRA のファイル名などを入力して実行すると学習された LoRA を制作することができます。

この辺の流れはいずれ日本語の解説版を作って公開したいです…！
AICU mediaメンバーシップ掲示板でリクエストいただけるとプライオリティが上がるかもです

完成！

完成です！実際に生成した画像がこちら。
モデル anything-v4.5-pruned と awpainting_v12
プロンプト absurdres, masterpiece, best quality, ultra detailed, 1girl, chinese clothes, double bun, dynamic pose ,smiling ,white background
ネガティブプロンプト worst quality, low quality, bad anatomy, extra arms, easynegative

作ったキャラクターの特徴が再現されていますね！
また、もっと平面的なイラストを生成できる LoRA やちびキャラ用の LoRA を使用すれば、4コマ漫画などで使いやすそうなイラストを生成することもできます。

使用した LoRA「chibi comic style」

生成画像

かわいいちびキャラを生成することができました！

VRoid Studio を使うことで学習元画像の画風やキャラクターを完全にそろえることができるので、キャラクターの再現度が高い LoRA を制作することができます。

これで漫画用キャラ LoRA 制作はばっちり！皆さんもぜひ試してみて下さい。
魅力的な作品ができたらこちらのメンバーシップ掲示板でご共有ください！

Stable Diffusion — ControlNet入門はこちらから

img2img 入門シリーズはこちらから。

※本ブログは発売予定の新刊書籍に収録される予定です。期間限定で先行公開中しています。
メンバー向けには先行してメンバーシップ版をお届けします
Stable Diffusionをお手軽に、しかもめっちゃ丁寧に学べてしまう情報をシリーズでお送りします。
メンバーは価値あるソースコードの入手や質問、依頼ができますので、お気軽にご参加いただければ幸いです！

この下にGoogle Colabで動作する「AUTOMATIC1111/Stable Diffusion WebUI」へのリンクを紹介しています。
メンバーシップ向けサポート掲示板はこちら！応援よろしくお願いします！

Originally published at https://note.com on February 27, 2024.

2024-03-05