つくる人をつくる！AICU media の 知山ことねです。

昨日の記事「 VRoid Studio を使ってキャラクター LoRA を作ろう！ 」が好評で、LoRA の制作に興味を持っている方からの「ぜひやってみたい！」という声を聴くことができました。

ところでこちら、画像生成AI「Stable Diffusion」の一大ブームを予言した深津貴之さんのつぶやきです。

▶世界変革の前夜は思ったより静か｜深津 貴之 (fladdict) https://note.com/fladdict/n/n13c1413c40de https://note.com/aicu/n/n9d5cf46761b7 @fladdict

子供の頃の絵って魅力的ですよね。Soraが正式リリースされるのはまだわかりませんが、うかうかしていられませんね！

子供ゴコロあふれる「真の芸術」を爆発させていきましょう。

今回は、画像生成 AI でたびたび話題になる「 下手な子供の絵を生成する AI」、命名「描画タイムマシン」を Stable Diffusion の LoRA 学習を利用して作っていきます！

美と知能を超え、人間性を爆発させていきましょう。

Google Colabだけで作る描画タイムマシン

描画タイムマシンは学習元の画像データと Google Colab だけで完成するので、皆さんもぜひ、自分の幼少期の絵やお子さんの絵で一緒に作ってみてください。

用意するもの：小学校時代の黒歴史

まずは学習元の画像、データセットを用意します。

今回は、この原稿を書いている私、知山ことねが小学生の時に自由帳に描いていた 直筆雑誌「ザ・コトネ」「ことまが friends」 を用意しました。

この色鉛筆の質感と歪んだデッサンが小学生らしいですね。
これらのページをスキャンして、画像データとして PC に取り込みます。

学習には15～40枚ほどの画像を用意することをおすすめしますので、1枚の絵をそのまま学習したい場合は、絵を最低7,8枚ほど用意しましょう（後述しますが、あとで左右反転コピーを行って枚数を増やすことができます）。

今回は1枚の紙に複数イラストが描かれているため、貴重なサンプルとして切り取ってデータセットを増やしていきます。雑誌の中のイラストを多く含んだ箇所20ページほどをスキャンしました。

PC に取り込んだら、画像をそれぞれトリミングしていきます。今回は LoRAを扱いやすい Stable Diffusion (SD1.5) で学習を行うので、Photoshop 等を使い 512×512 px の正方形に画像を切り取っていきます。これを正則画像化といいます。

またこのままではノートの罫線や文字、透けている裏の紙の内容などのノイズも学習されてしまうので、それらの不要な部分は塗りつぶして消去し、画像全体のコントラストを上げるなどの色調補正も行いました。

これをイラストの枚数分繰り返し、正則画像化済みの画像のデータセットを作りました。

またこの時に、用意できた画像の枚数が少ない場合や、画像の左右のバランスが望まない崩れかたをしている場合（左向きの顔が多い、など）は、左右反転したコピーPhotoshop等で作成し、保存しましょう。

また、LoRA を作ったことがある人ならご存じかと思いますが、学習時に画像をセットにして学習を行うため、画像枚数を2の倍数、具体的には 「2,4,…で割り切れる枚数」に揃えましょう。今回は32枚にしています。

学習

データセットが用意できたら、フォルダにまとめて他の LoRA と同じように学習を行います。もちろんローカル環境でも Colab でも可能ですが、初めて LoRA を制作する方は khoya-trainer の Colab notebook をおすすめします。

これは kohya-ss さん ( https://github.com/kohya-ss ) が制作した sd-scripts ( https://github.com/kohya-ss/sd-scripts?tab=readme-ov-file ) を Linaqruf ( https://github.com/Linaqruf ) さんが Colab notebook で使用できるようにしたものです。
編集した画像のzipファイルをドライブにアップロードし、手順に沿ってパスや LoRA のファイル名などを入力して実行すると学習された LoRA を制作することができます。

また今回は2次元のイラストを学習しますが、アニメ系の絵柄には寄せたくないので、2次元イラスト LoRA 学習定番の AnyLoRA などのアニメ系モデルではなく、Stable-Diffusion-v1–5 を使用して学習しました。

詳しい学習の流れはいずれ日本語の解説版を作って公開しようと思います。
（AICU mediaメンバーシップ掲示板でリクエストいただけるとプライオリティが上がるかもしれません…！）

AUTOMATIC1111 StableDiffusionWebUI をGoogle Colabで！｜AICU: AI Creators Union生成AIクリエイターユニオン『AICU: AI Creators Union』は、「つくる人をつくる」をビジョンに活動するnote.com

完成！

Colab の実行が完了したら終了です！完成した LoRA で画像を生成してみましょう！

モデル v1–5-pruned-emaonly

鉛筆のストロークや雑な色塗り、斜めに歪んだデッサンを再現することができました！Stable Diffusionおそるべし底力。

大人になってから子供っぽい絵を描くことはなかなか難しいので、過去の自分とコラボレーションできる感覚は楽しいです。また画像だけでなく動画の素材に使う、さらに「不可能な動画」を製作できる可能性があります。
ファミリーカーむけの広告動画などにも需要がありそうですね。

これを使ったファンシーイラストやキャラクターデザインの探求にも使えそうです。ガチな産業向けの用途だけでなく、「子供の絵あるある～！」と誰かにシェアしたくなるような画像が生成できるので、皆さん試してみてください！
※LoRAを生成するときは本人やお子さんの許諾をもって実施してくださいね！

面白い作品ができたら、ぜひこちらのメンバーシップ掲示板でご共有ください～！

メンバーオンリー画像投稿コーナー

メンバーオンリー画像投稿コーナー｜AICU: AI Creators Union生成AIクリエイターユニオン『AICU: AI Creators Union』は、「つくる人をつくる」をビジョンに活動するnote.com

Stable Diffusion — ControlNet入門はこちらから

img2img 入門シリーズはこちらから。

※本ブログは発売予定のAICU media新刊書籍に収録される予定です。期間限定で先行公開中しています。
メンバー向けには先行してメンバーシップ版をお届けします
Stable Diffusionをお手軽に、しかもめっちゃ丁寧に学べてしまう情報をシリーズでお送りします。
メンバーは価値あるソースコードの入手や質問、依頼ができますので、お気軽にご参加いただければ幸いです！

AICU: AI Creators Union｜AICU media生成AIクリエイターユニオン『AICU: AI Creators Union』は、「つくる人をつくる」をビジョンに活動するnote.com

この下にGoogle Colabで動作する「AUTOMATIC1111/Stable Diffusion WebUI」へのリンクを紹介しています。
メンバーシップ向けサポート掲示板はこちら！応援よろしくお願いします！

AUTOMATIC1111 StableDiffusionWebUI をGoogle Colabで！｜AICU: AI Creators Union生成AIクリエイターユニオン『AICU: AI Creators Union』は、「つくる人をつくる」をビジョンに活動するnote.com

Originally published at https://note.com on February 28, 2024.

つくる人をつくる！AICU media 知山ことねです。
突然ですが、 AI を使って漫画を創作したい！と思ったことがあるそこの貴方！
こんな壁にぶつかったことがあるのではないでしょうか。
「同じキャラクターが二度と生成できない！」

漫画を描くにはキャラクターの特徴を固定して生成する必要がありますよね。そんな時に役立つのは、特定のキャラクターを学習させたいわゆる「キャラクター LoRA」です。すでにそういった LoRA を制作したことがある方もいるかと思います。
例えば先日発表されたBlendAIさんの「 デルタもん」は、 二次創作が AI 限定 ということもあり、多くの人が LoRA の制作を行っていました。

しかし、いざ LoRA を作ろう！と思っても、そもそも学習元の画像がないとキャラクター LoRA が制作できない…という第二の壁が立ちはだかります。
AI で生成した絵を学習に使用する場合、特徴的なキャラクターを作ろうとするほど生成が難しくなり、データセットの枚数が足りなくなってしまいますよね。

しかしそんな時におすすめなのが、「VRoid Studio」です！

VRoid Studio とは？

「VRoid Studio」とは、株式会社 pixiv が運営している 3D キャラクター制作ツールです。PC、タブレット端末を用いて、無料で感覚的に3Dのキャラクターを制作することができます。

3D初心者でも簡単
たくさんのプリセットアイテムとパラメータを搭載。ゼロからモデリングをしなくても、アイテムを選んで組み合わせ、パラメータを調整するだけでキャラクターメイキングができます。

オリジナリティを表現

絵を描くように髪型を直感的にモデリングできるだけでなく、3Dモデルに直接デザインを描いて、こだわりの表情や瞳、服のデザインを制作可能。普段のお絵かき感覚で3D創作に取り組むことができます。

無料で利用可能

VRoid Studioの利用は無料。煩雑なセットアップもなく、すぐにインストールして始められます。もちろん制作したモデルもさまざまな用途で無料で使うことができます。

VRoid Studio 公式サイト

今回はこの VRoid Studio を用いてキャラクターを作成、そのスクリーンショットを撮影し、それをもとにキャラクター LoRA を制作します。

キャラクターを作る

まずは 公式サイトから VRoid Studio をインストールしましょう。
Windows, Mac, iPad に対応しています。

ソフトをインストールできたら、画面左「新規作成」の＋アイコンを選択して新しいモデルを作成します。

男女を選択するとモデルのエディタが開きます。

・画面上のタブ
顔、髪型、体形、衣装、アクセサリー、ルック（アウトラインの細さや陰影の質）のメニューを開きます。

・画面左のメニュー
顔や身体のパーツのプリセットを選択します。

・画面右のパラメータ
プリセットから選択したパーツの大きさやバランス、ディテールの微調整を行います。

またモデルを回転などする場合の操作は以下の通りです。
ショートカットキー — VRoid ヘルプ (pixiv.help)

操作方法を覚えたら、好きにキャラクターを作ってみましょう。
私はチャイナな女の子を作りました。

撮影

モデルができたら、モデル編集画面の右上のカメラのアイコンを選択し、撮影に移ります。

ここでは、キャラクターにポーズをとらせたり、動かしたりして撮影することができます。

・画面左のメニュー
表情、ポーズ、背景の編集を切り替えます。

・中央
キャラクターが動きます。このスクリーンショットを撮ります。
画面右下の青いカメラのアイコンをクリックすると、画面中央のキャラクターのみのスクリーンショットを保存することができます。

・画面右のメニュー
キャラクターにとらせるポーズ、表情を選択します。

表情やポーズ、視点を変えながら撮影していきましょう。
この画像にバリエーションを持たせるほど、LoRA を制作した際にとることのできるポーズが柔軟になります。

✨VRoidでキャラクターを作るときにはこちらの書籍もオススメです

📖3Dマイキャラメイキング VRoidでキャラを作ろう！ ペーパーバック — 2023/9/18 佐久間蒼乃 (著)

今回は25枚撮影し、学習の偏りをなくすためにコピー、左右反転を行って50枚の画像を用意しました。

学習

データセットが用意できたら、フォルダにまとめて他の LoRA と同じように学習を行います。もちろんローカル環境でも Colab でも可能ですが、初めて LoRA を制作する方は khoya-trainer の Colab notebook をおすすめします。

これは kohya-ss さん ( https://github.com/kohya-ss ) が制作した sd-scripts ( https://github.com/kohya-ss/sd-scripts?tab=readme-ov-file ) を Linaqruf ( https://github.com/Linaqruf ) さんが Colab notebook で使用できるようにしたものです。

Stable DiffusionのLoRA活用方法、こちらもおすすめです。

zipファイルをドライブにアップロードし、手順に沿ってパスや LoRA のファイル名などを入力して実行すると学習された LoRA を制作することができます。

この辺の流れはいずれ日本語の解説版を作って公開したいです…！
AICU mediaメンバーシップ掲示板でリクエストいただけるとプライオリティが上がるかもです

完成！

完成です！実際に生成した画像がこちら。
モデル anything-v4.5-pruned と awpainting_v12
プロンプト absurdres, masterpiece, best quality, ultra detailed, 1girl, chinese clothes, double bun, dynamic pose ,smiling ,white background
ネガティブプロンプト worst quality, low quality, bad anatomy, extra arms, easynegative

作ったキャラクターの特徴が再現されていますね！
また、もっと平面的なイラストを生成できる LoRA や ちびキャラ用の LoRA を使用すれば、4コマ漫画などで使いやすそうなイラストを生成することもできます。

使用した LoRA「chibi comic style」

生成画像

かわいいちびキャラを生成することができました！

VRoid Studio を使うことで学習元画像の画風やキャラクターを完全にそろえることができるので、キャラクターの再現度が高い LoRA を制作することができます。

これで漫画用キャラ LoRA 制作はばっちり！皆さんもぜひ試してみて下さい。
魅力的な作品ができたらこちらのメンバーシップ掲示板でご共有ください！

Stable Diffusion — ControlNet入門はこちらから

img2img 入門シリーズはこちらから。

※本ブログは発売予定の新刊書籍に収録される予定です。期間限定で先行公開中しています。
メンバー向けには先行してメンバーシップ版をお届けします
Stable Diffusionをお手軽に、しかもめっちゃ丁寧に学べてしまう情報をシリーズでお送りします。
メンバーは価値あるソースコードの入手や質問、依頼ができますので、お気軽にご参加いただければ幸いです！

この下にGoogle Colabで動作する「AUTOMATIC1111/Stable Diffusion WebUI」へのリンクを紹介しています。
メンバーシップ向けサポート掲示板はこちら！応援よろしくお願いします！

Originally published at https://note.com on February 27, 2024.