つくる人をつくる AICU Inc.

投稿者: media

韓国の学生が作ったブラウザだけで動くAIモーションキャプチャ「Metive」

ミクやMMDが大好きな韓国の学生3人が約6ヶ月情熱を注いで作ったAIモーションキャプチャサービス「Metive」がオープンベータとなりました。
こちらのURLから無料で試用できます。
https://metive.app

✨ 学生3人が約6ヶ月間情熱を注いで作ったAIモーションキャプチャサービス、「Metive」のオープンベータを開始しました！

MetiveはMMD互換のソフトウェアで、PMXモデルの読み込みとVMDファイルのエクスポートをサポートしています。

📢… pic.twitter.com/UOk3MyXjHb
— noname0310 (@noname20310) October 25, 2024

これが無料で使えるなんて最近の映像式モーションキャプチャーの進歩は凄いなぁ…#Metive https://t.co/rV82fr5vqs pic.twitter.com/gXt0N0Zu1n
— むぎたん (@mugi_1633) October 25, 2024

まだ v.0.13.0ですが、動画付きで丁寧な日本語マニュアルが整備されています。
https://metive.app/docs

実際にやってみた様子がこちらです。

韓国？の学生さん3人で作ったAIモーキャプがすごい。
ブラウザだけ。babylon.jsで作ってる #Metive pic.twitter.com/avlKQyy8fb
— Dr.(Shirai)Hakase – AICU media編集長しらいはかせ (@o_ob) October 25, 2024

「Metive」の使い方は簡単です。
1. 動画をドロップ
2. AIモーションキャプチャを処理→アニメーションデータがサーバー側で生成される
3. MMD (PMX)を読み込む
4. モデルを選択して、再生させたいアニメーションデータを選択
5. 再生▶ボタンを押す
　今回は「Tda式初音ミクV4X」をお借りしました

https://3d.nicovideo.jp/works/td30681

ものすごい勢いでバージョンが上がっています。

使い方はこんな感じ。
さっき「movが読めんぞ」ってDiscordで言ったら、その場で直してくれたので v.0.13になった。すごいな。
指が動いているのに注目。#Metive pic.twitter.com/3rl1GNjy3R
— Dr.(Shirai)Hakase – AICU media編集長しらいはかせ (@o_ob) October 25, 2024

開発者の一人、nonameさんはDiscordでのインタビューに流暢な日本語で対応してくださいました。
Metiveは「メーティブ」と読むそうです。
どんな意味？と聞いてみたところ
nomame「特に意味はなく、ただ発音しやすい言葉を考えました」とのこと。

GitHubをみると、Web3Dのライブラリ「babylon.js」を使ったMMDなども開発されているようです。

babylon-mmdはブラウザでmmdモデルとモーションをロードできるライブラリです。

興味のある方は是非ご覧ください。https://t.co/Ttp6s3d89v
— noname0310 (@noname20310) June 21, 2024

なかなか活発なGitHubです。今後の成長が期待されます。

今後の成長が楽しみなAIツールの誕生の瞬間でした！

ところで韓国のこの分野（3Dキャラクターモーションアニメーション）の研究開発ってすごいですよね。
先日のSIGGRAPH2024でのKAIST「MOVIN TRACIN」とか

AICUはSIGGRAPH ASIA 2024 学生ボランティアを応援します。

Student Volunteers

https://note.com/o_ob/n/nddab7d8298e9

そういえば「つくる人をつくる」AICUも韓国とコラボしていました。
https://note.com/aicu

Colosoでフルバージョンが観れます！
Coloso「生成AIクリエイティブ AICU」シリーズ

■「超入門：Stable Diffusionではじめる画像生成AI」動画公開開始

https://j.aicu.ai/AICUXColosoJP

■「初級者：広告企画から動画制作までのプロセス」動画公開 10/31(木) 18時予定

https://j.aicu.ai/ColosoJPXAICU

■「ComfyUIマスター：カスタムノードとアプリ開発」動画公開 11/22(金) 18時

https://j.aicu.ai/Coloso3

これからもクリエイティブAI分野で世界の「つくる人をつくる」を探っていきます！

Originally published at https://note.com on Oct 25, 2024.

2024-10-25
[ComfyMaster27] 写真もイラストも線画に！ComfyUIとControlNetによる線画抽出ワークフロー
デジタルアート制作において、画像から線画を抽出する技術は、イラストのトレースや3Dモデル作成の下準備など、様々な用途で重要性を増しています。特に、AI技術を活用した自動線画抽出は、作業効率の大幅な向上に貢献します。今回は、線画抽出をComfyUIで実現します。

こんにちわ、AICU media編集部です。
「ComfyUI マスターガイド」第27回目になります。
本記事では、ComfyUI、ControlNet、そしてLoRAを組み合わせることで、高品質かつ詳細な線画を効率的に生成するワークフローを紹介します。

本連載の初回はこちら。前回はこちら、目次はこちらです。

[ComfyMaster26] ControlNetでイラストを精密に実写化！ #ComfyUI

[ComfyMaster26] ControlNetでイラストを精密に実写化！

1. 概要

今回は、ComfyUIを用いて画像から高品質な線画を抽出するワークフローを紹介します。ControlNetとLineartを用いて画像から線画を生成し、LoRAを用いて漫画スタイルの線画に仕上げます。
具体的には、「AnyLine LineArt」ノードで画像から粗い線画を抽出し、それを「controlnet-union-sdxl-1.0」と「LineAniRedmond」LoRAを用いて、より洗練された線画へと変換します。
このワークフローを使用することで、元の画像の構図を維持しながら、アーティスティックで高精細な線画を生成することが可能です。様々な画像（アニメ風、実写、建物）を用いた作例も提示し、ワークフローの有効性を示します。

2. ワークフローの使用準備

ControlNet

ControlNetの使用準備については、以下の記事をご覧ください。

[ComfyMaster25] 画像を自由自在に！ControlNetで完全制御

今回は、ControlNetのLineartを使用します。Lineartで粗い線画を抽出し、その後にその線画を低ノイズでサンプリングし、補正をかけます。

LoRA

今回は、LoRAに「LineAniRedmond」を使用します。このLoRAは、漫画スタイルの画像を生成してくれるLoRAで、線画の質を上げるために使用します。以下のリンクよりダウンロードし、「ComfyUI/models/loras」フォルダに格納してください。

https://civitai.com/models/127018/lineaniredmond-linear-manga-style-for-sd-xl-anime-style

使用素材

今回は、以下の画像を線画にします。

以下のリンクから画像をダウンロードしてください。
- 女性のイラスト (右クリックで保存)
https://note.com/api/v2/attachments/download/54a45213199b43c2255a1c5713f59ba7

3. ワークフローの解説

以下がワークフローの全体構成になります。このワークフローは、入力画像から高品質な線画を抽出し、それを基に新しい、より詳細で洗練された線画を生成します。ControlNetとLoRAの使用により、元の画像の構造を維持しながら、高度にスタイライズされた線画が作成されます。結果として、元の画像の本質的な特徴を保持しつつ、より洗練された、アーティスティックな線画表現が得られることが期待されます。

ワークフローは、文末のリンクよりダウンロードしてください。
以下に、このワークフローの主要な部分とその機能を図示し、詳細に説明します。
1. 入力画像の読み込みと線画抽出
  - Load Imageノード: 「girl_anime_02.jpeg」を読み込みます。
  - AnyLine LineArtノード: 入力画像から線画を抽出します。
    
    モード: lineart_standard
    
    解像度: 1280
    
    詳細度: 0.1
  - Image Invertノード: 抽出された線画を反転させます。
2. モデルとLoRAの読み込み
  - Load Checkpointノード: 「RealVisXl.safetensors」モデルを読み込みます。
  - Load LoRAノード: 「LineAniRedmondV2-Lineart-LineAniAF.safetensors」LoRAを適用します。
    
    強度: 1.0 (モデルとCLIP両方に適用)
3. ControlNetの設定
  - Load ControlNet Modelノード: “controlnet-union-sdxl-1.0-pro.safetensors” を読み込みます。
  - Apply ControlNet (Advanced)ノード: 抽出された線画を使用してControlNetを適用します。
    
    強度: 0.5
4. プロンプト処理 (CLIP Text Encode(Prompt)ノード x2)
  - ポジティブプロンプト: 「8k, best quality, masterpiece, ultra detailed, ultra high res, extremely detailed, finely detail, lineart,」
    
    線画が細かくなるように品質向上のタグを設定する
    
    「lineart」は、
  - ネガティブプロンプト: 「colorful, monochrome,」
    
    線画のみになるように、色が付くようなタグを設定しておく
5. 画像生成 (KSamplerノード)
  - Seed: 474030329745381
  - Steps: 20
  - CFG Scale: 7
  - Sampler: dpmpp_2m
  - Scheduler: karras
  - Denoise: 0.8
6. 画像のデコードと後処理
  - VAE Decodeノード: 生成された潜在表現を実際の画像にデコードします。
  - Color To Maskノード: デコードされた画像から白色部分をマスクとして抽出します。
  - Save Image With Alphaノード: 最終的に生成された画像をアルファチャンネル付きで保存します。
AnyLine LineArtの詳細

AnyLine LineArtノードは、複数の線画検出モデルを使用して入力画像を線画に変換します。このノードの各ウィジェットの意味は以下の通りです。
- merge_with_lineart: 線画抽出を行う解像度を設定します。以下のモデルから選択可能です。
  - lineart_standard: 標準的な線画用の汎用モデル。
  - lineart_realistic: リアルな画像に特化し、細部を捉えるモデル。
  - lineart_anime: アニメスタイルの画像に最適化され、特徴的な要素を強調します。
  - manga_line: マンガスタイルのイラストに特化したモデル。
- resolution: 線画抽出を行う解像度を設定します。デフォルトは512ですが、必要に応じて高解像度や低解像度に調整可能です。高解像度はより詳細な線画を提供しますが、計算資源を多く消費します。
- lineart_lower_boundとlineart_upper_bound: 線検出プロセスの感度を制御するためのパラメータです。これらの値を調整することで、線画の細かさや強調具合を微調整できます。
- object_min_size: 抽出時に考慮されるオブジェクトの最小サイズを指定し、小さなノイズやアーティファクトをフィルタリングします。デフォルト値は36です。
- object_connectivity: 抽出中に接続されたコンポーネントの識別方法を定義します。デフォルト値は1で、オブジェクト間の接続性を決定します。例えば、複数のオブジェクトが接触している画像で、それらを一つの連続した形状として扱いたい場合、このパラメータを調整します。デフォルト値は1で、接続されたピクセルがどのようにグループ化されるかを制御します。（具体的に抽出される線画にどのような影響があるのか不明）
4. 生成結果の確認

以下が生成結果になります。背景は抽出できていないですが、前面の人物は線画に変換できています。

出力される画像は、背景が透過画像となっているので、抽出元画像と重ねて表示してみました。元画像に比較的忠実に抽出されていることが分かります。

他の画像でも試してみました。

実写からの線画抽出例です。こちらも綺麗に抽出できています。

建物から線画を抽出してみました。かなり細かいところまで線画として抽出できています。

5. まとめ

本記事で紹介したワークフローを用いることで、ComfyUI、ControlNet、LoRAの連携による高品質な線画抽出が可能になります。AnyLine LineArtノードによる柔軟な線画抽出、ControlNetによる精密な制御、そしてLineAniRedmond LoRAによる画風調整といった各要素が組み合わさり、様々な画像に対して精緻でアーティスティックな線画生成を実現します。アニメ風、実写、建物といった多様な画像例からも分かるように、このワークフローは幅広い用途に応用できる強力なツールとなります。今後のデジタルアート制作において、本記事で紹介したワークフローが、より効率的で創造的な作品制作の一助となることを期待します。

次回は、ラフ画から画像生成の方法を紹介します。乞うご期待！
X(Twitter)@AICUai もフォローよろしくお願いいたします！

画像生成AI「ComfyUI」マスターPlan

画像生成AI「Stable Diffusion」特に「ComfyUI」を中心としたプロ向け映像制作・次世代の画像生成を学びたい方に向けたプランです。最新・実用的な記事を優先して、ゼロから学ぶ「ComfyUI」マガジンからまとめて購読できます。メンバーシップ掲示板を使った質問も歓迎です。
- メンバー限定の会員証が発行されます
- 活動期間に応じたバッジを表示
- メンバー限定掲示板を閲覧できます
- メンバー特典記事を閲覧できます
- メンバー特典マガジンを閲覧できます
- 動画資料やworkflowといった資料への優先アクセスも予定
ゼロから学ぶ「ComfyUI」マガジン

https://note.com/aicu/m/md2f2e57c0f3c

マガジン単体の販売は1件あたり500円を予定しております。
2件以上読むのであればメンバーシップ参加のほうがお得です！というのもメンバーシップ参加者にはもれなく「AICU Creator Union」へのDiscordリンクをお伝えし、メンバーオンリー掲示板の利用が可能になります。

https://note.com/aicu/membership/boards/61ab0aa9374e/posts/db2f06cd3487?from=self

もちろん、初月は無料でお試しいただけます！
毎日新鮮で確かな情報が配信されるAICUメンバーシップ。
退会率はとても低く、みなさまにご満足いただいております。
✨️オトクなメンバーシップについての詳細はこちら

[新連載] ここからはじめる「ComfyUIマスターガイド」

そして本講座の内容は各種有料メディアでも展開準備中です！
■「ComfyUIマスター：カスタムノードとアプリ開発」

https://j.aicu.ai/Coloso3

この記事の続きはこちらから https://note.com/aicu/n/n74e7edf56832

Originally published at https://note.com on Oct 25, 2024.
2024-10-25
あんしんなクリエイティブAIで「陽のあたる場所」をつくる

エキサイティングな生成AIの年になった2024年も、もう残り僅かになってきました。「つくる人をつくる」をビジョンにするAICU Inc. は、新たな挑戦をいくつか準備していきます。その一つが「『生成AI倫理』に「AIクリエイター視点でしっかりと意見を述べていこう」という取り組みです。

シリーズ「AIクリエイターに訊く生成AI倫理」

生成AI分野、特にクリエイティブなAI、クリエイティブとAI分野で活躍する第一線のクリエイターの方々に直接！インタビューや講演録、寄稿や公開質問といったオピニオンを通して、法律や技術と同時に「ほんとうの意味で生成AIに求められる倫理感とは？」について時間をかけて考えてみたいというシリーズ企画「AIクリエイターに訊く生成AI倫理」を開始します。

第1回はAICU代表、AICU media編集長、デジタルハリウッド大学大学院特任教授、「しらいはかせ」こと白井暁彦（@o_ob）からスタートします。いつもは編集長として、プリンシパルライターとしてAICU編集部で執筆する白井氏ですが、今回は先日開催された東京科学大学INDEST「あんしんAIセミナー」で語られた講演録『あんしんなクリエイティブAIで「陽のあたる場所」をつくる』から、聞き手は編集部です。第三者視点で、最新の考えに迫ります。

カバーアートはもちろん画像生成によるものです。しかもプロテクトが入っているそうです。

今回の講演概要

白井さんはエンターテイメントシステムの研究者です。

https://akihiko.shirai.as/

AICUという会社をやっています。AICUでは、例えばチャットボットを作ったり、動画を作ったり、レクチャーをしたり、読み物メディアとして『AICUmedia』、『AICUマガジン』等々のメディアを運営したりしてきています。また、画像生成をしていく人たちの品質やテクニック、倫理観を検定試験にしていく取り組みも提案しているそうです。

今回は、そんな検定試験の中身になるようなお話です。白井さんは「つくる人をつくる」、クリエイティブAIで「陽の当たる場所」を作っていこうと考えています。法整備も大事ですが、そもそもAIが理解されていない問題が生成AIの普及を阻んでいます。事例とともにその問題をどんどん明らかにしていき、科学コミュニケーターで培った経験を元に様々な世代に「子供でもわかるような言葉」を意識して伝えています。白井さんのお話を全て紹介することはできませんが、その言葉の一部を見ていきましょう。

事例1：『超入門：Stable Diffusionではじめる画像生成AI』

最近、韓国をベースにする国際ラーニングメディア「Coloso」への3件の動画コンテンツシリーズをリリースしました。「Coloso（コロソ）」という韓国をベースにする国際ラーニングメディアで公開されています。

・『超入門：Stable Diffusionではじめる画像生成AI』
・『初級者：広告企画から動画制作までのプロセス』
・『ComfyUIマスター：カスタムノードとアプリ開発』

白井氏：この3作は基本的に、（アニメや漫画、イラストではなく）「リアリスティックな生成AIじゃなきゃ作れない」という画質の画像生成を「責任を持って活用する」ための「持続的創作活動を行う基盤を築く」というコンセプトで作っています。氏は『韓国の生成AI分野は日本と異なる進化・進歩・倫理観があり、困難も多いが韓国企業とのコラボレーションから学ぶことは多い』と述べており、また『結構な勢いで売れていて、こういうのを学びたい人はちゃんとお金払って学ぶんだなということが体感できた』と述べています。

白井氏：日本では文化庁をはじめ、法整備が進んでいる一方で、議論がいわゆる「炎上屋」のおかげで変なブレーキが踏まれてしまうケースがみられます。それからテクノロジー的には「SD黄色本」で解説した「AUTOMATIC1111」に並んで「ComfyUI（コンフィユーアイ）」のほうが主流になっていて、知っている人たちの技術はものすごく高い一方で、まとまった体系的な知識を教えられる人がいるのかというとなかなかアンダーグラウンドな世界に落ちている感じがしています。なので、教科書などを真面目に作って、専門学校の先生とか大学の先生がそれを利用できるようにするということやっています。

事例2：『AICUマガジン』

また、中高生がこういったAIの世界を楽しそうと思って入ってこれるように『AICUマガジン』を毎月発行しています。漫画の書き方や生成AI時代の社会と倫理なども特集しました。

「AniFusion」（アニフュージョン）みたいな最新刊のテクノロジーツールといったものが袋とじになっていて、これを買ってくれた人がコードを入れると1ヶ月無料で遊べるというのもやっています。書いてあるプログラムや書いてあるプロンプトを打ち込んだら同じことができるみたいなことができる世界は、すごく大事だなと思っています。なので、儲からないですけど、根性でAICU Magazineは出し続けています。

頑張って続けていると、Stability AIも準公式で協力してくれますし、「BlendAI」のキャラクター「ガンマミィ」の漫画連載が始まるなどしました。漫画の連載が始まるというのはすごい大事なことで、「AIで漫画を描く人」に「漫画の原稿料が払える」ということなんですよね。そういう世界がやってこないと、いくら無料でコンテンツを作り続けても、それはその趣味への範囲を超えていかないということなんです。紙の本を出すということも結構重要で、ちゃんと産業が成り立っていく、その重さを感じられます。

事例3：博士や修士卒が書く知的探求メディア

実はAICUの主要ライター陣は「しらいはかせ」、東京工業大学知能システム科学卒・博士(工学)をはじめとして国内外の大学の修士卒以上が活躍しています。これは白井氏の日本科学未来館での科学コミュニケーターという経験からきているらしく、『専門的な知識を有しているからこそ、責任持って面白く、わかりやすく伝えるプロでもある』という考え方があるそうです。

最近では、東京ゲームショウ（TGS2024）での紹介記事がきっかけになって、テレビ取材になったケースも有るそうです。

▲感情分析で変わるゲーム【トレたまneo】2024.10.03

たしかに、ゲームやアニメの世界と違って、クリエイティブAIの世界は専門的な知識、特にコンピューターサイエンスから工学、芸術学、メディア学や文学などにも精通している必要がありますよね。怪しげな情報が飛び交うディープ・フェイクの時代に「博士や修士でなければ責任持って書けない」という視点は特徴があります。

事例4：障害者向けクリエイティブワークショップ

白井氏：僕らの仕事の中には、神奈川県をクライアントにして、「ともいきメタバース講習会」という障害者に向けたクリエイティブワークショップも実施しています。障害者の施設を回って、知的障害、身体障害、精神障害、発達障害といったいろんな人たちに実際に接してクリエイティブなことをやることによって、付加価値を出していっています。その中にメタバースやAI生成というのがいかに役に立つか、どんな問題が払われているのかといったことを研究しています。障害者の人たちにとって「AIで文字から画像生成をできるということは本当に求められていた技術だ」ということを、長年養護学校で先生を勤められた先生が生々しく僕に語ってくれました。『生成AIは悪だ』と言い放っている人たちに訊きたいのですが、あなた方が『生成AIは悪である、と思っているだけ』であって、「その技術を否定されることによってどんな人が傷ついているか？」を想像していますか。

たしかに、音声文字入力や視線入力、漢字の予測変換入力なども「AIのおかげ」ですし、これは障害者だけでなく障がいを持たない方々にも有益な技術ですよね。画像生成がそのような技術になる可能性は大いにありますね。

事例5：『CG WORLD』2024年11月号 vol.315の表紙

今月の『CGWORLD』に注目です。表紙は杉山学長というデジタルハリウッド大学の初代学長・改革者です。『CGWORLD』が30周年で特集を組みました。

https://amzn.to/4hhas22

白井氏：杉山先生には30年前、僕が21歳のときに出会いました。この人が「この後デジタルコンテンツやCGなどを学びたい人がたくさん増えるからそういう学校を作ったほうがいいと思うんだ」と言って、株式会社で大学を作るということをやってきました。当時はゲームやCGの専門学校はなかったんです。今であれば想像もつかないかもしれませんけど、CG業界にはデジタルハリウッド卒業生がたくさんいます。さらに専門学校の先生にもいます。そういったところにちゃんとした「先生たちの先生」を送り込んだ人です。

この背景は生成AIで作っています。杉山先生のご意向をFacebookメッセンジャーで聞いて「こういう絵にしたい」、それに合わせて僕はキャラクターデザインまで起こして、レイアウトや配置を編集部や本人と一緒にやりました。杉山先生はALSという病気で人工呼吸器をつけて車椅子でしか移動できません。AIの力がなかったらここまでできないです。AIのおかげで今月成し遂げました。そして僕はもちろん個人のAIクリエイターとして、『CGWORLD編集部』から結構なお金を頂きました。CGクリエイターとしてCGWORLDの表紙を飾ることは並大抵のことでは実現しませんし、「クリエイターとして飯を食う、対価をもらう」というのはこういうことの積み重ねなんだと思います。

「CGWORLD vol.315」画像生成AIによる表紙メイキング、大公開。

事例6：AIキャラクター「ガンマミィ」

最新の事例として、先日AICUから電撃公開された「ガンマミィ・ジェネレーター」が紹介されました。

期間限定無料「ガンマミィ・ジェネレーター」を提供開始！

白井氏：僕らはメディア企業というだけでなく、最新の制御された高品質な画像生成AIというテクノロジーを使って「ガンマミィジェネレーター」という「ガンマミィ」を誰でも使えるチャットシステムを1日ぐらいで作りきるだけの技術力はあります。ですが、その想像をさらに上回るようなテクノロジーやテクニックですごい絵を作ってくる人が出てくるんです。これは感動です。やはり予想を上回るようなことを作ってきてこそ、我々はやっと報われるんです。それに対してお金を出したいという人が出てきてこそ、やっと経済が回るということなので。生成AIに対して「エアプをやっている人たち」（※やってもいないことをやったように言ったりする、いわゆる知ったかぶりを指す言葉「エアプレイ」や「エアプレーヤー」の省略語）には「変な邪魔しないでください」と言いたいです。

白井氏：僕たちは無料で作れる「ガンマミィ」をリリースしているのに、使ったこともないという人たちが「生成AIは悪だから」と言うのは構いませんけど、そういう世界線と我々の世界線がどういう風に今後変わっていくのかというのは、皆さんがしっかりと認識していただきたい事実だし、未来だと思います。例えば、真面目に商業をやっている人たちは「学習こそが価値だ」と言って、GPUを買い集めてライセンスを買い、新しいモデルを探求し、広告や映像制作に使っています。AIは安く作る技術じゃなくて不可能を可能にする技術なんです。

事例7：『画像生成AI Stable Diffusion スタートガイド』

https://j.aicu.ai/SBXL

この本の中で、200ページのところに書いているのが、「画像生成AIクリエイター仕草（v.1.0）」というコンセプトで、「すべきことと、すべきでないこと」を「子供でもわかるよう」に話しています。簡単に言うと、「すべきでないこと」は「他人の迷惑」になること。技術的な可否や法律の可否、マナーやモラル、過去の常識、リスク、感情を混ぜて「混乱させること」。マナーやモラルというのは皆さんの知識、理解、お気持ち、感情なので、法律的にできる、できないという話や、技術的にできる、できないという話と混ぜてはいけないのです。

白井氏：つまり、「赤信号は渡ってはいけないけど、僕は急いでるので渡ります」というリスクを犯している個人の話であって、その人が車に轢かれたら自業自得なのに、そこを混ぜて「自分はこう思う」みたいな話をしても仕方ないんです。そこを混ぜて混乱させるみたいなことがそもそもテクニックとして喋る人もいますけれど、それに混乱させられては技術やテクノロジー、商売といったものを整理することはできないです。だから『混ぜて混乱させているやつは誰だ？』という視点に皆さんの目を光らせてください。
「生成AIだから安い」、「自動だ」、「無料で何か作れるなんて楽して儲かる」みたいなのも嘘です。これは完全に世間を誤解させている行為です。生成AIだから安くて早いということはないです。生成AIはやっているクリエイターだったらわかると思います。1時間の中で絵を作らなきゃいけないとなったら、できるだけ頑張ってたくさん作って、その中から「最高の絵を作った」という、これがクリエイターです。だからこそ人の心を動かすので、楽な道でもなければ、自動でできるものでもないです。そこは誤認をしてほしくないところです。
すべきことは、とにかく楽しむこと、作品を作る情熱を持ち続けることだと思います。僕は、陽の当たる場所を作るためには徹底抗戦するつもりです。

ここで「画像生成AIの価値創出」要素として、

・技術の進化速度について発信し続けていくことが価値
・「写真と同じ」
・オープンなモデルでどんな価値を出せるか？
・「学習こそが価値」
・「安く作る技術」ではなく「不可能を可能にする技術」
・「つくる人をつくる」

とまとめました。

画像生成AIの近年

さらに歴史を振り返ります。ラスコー洞窟など先史時代の絵画から、

写真の歴史、

https://www.statista.com/chart/18488/camera-timeline/

CG/画像生成AIの誕生と変遷文化的背景 (1940-2020)

そして近年の画像生成AIの歴史です。

白井氏：画像生成の世界でLvmin Zhangさんを知らない人はいないと思います。Style Transferのアニメスケッチをやったり、style2paints、ControlNet、Fooocus、Forgeなどを開発している彼ですね。彼は実は日本のシモセラ・エドガーさんに習っています。日本で勉強していた人で今もまだ学生をやっています。

https://note.com/aicu/n/n8990c841e373

こういう中国出身、もしくは中華系二世の研究者でアメリカの文化に馴染んで研究している人たちは、画像生成のコア的なテクノロジーをやってる人たちにかなりの確率でいます。この人たちは日本のアニメや漫画がめちゃくちゃ好きなんです。その人たちが我々のアニメや漫画を、外部のサイトを使ってAIに学習させています。僕は10年以上前に彼らの論文を読んだとき、「ちょっと待て。これは著作権違反だぞ。」と気づきました。学会に訴えたり、査読者としてコメント出したり。いくらテクノロジー的に楽しくても僕はこの論文はアクセプトできない、と言ったんだけれども、実はもうそのときすでにデータセットが存在していてもう止められなかったんです。
ところが、日本の研究者や世界の研究者で、アニメを学習させることにこんなに価値があると分かっていた人がほとんどいなかったんです。その頃はまだ、欧米の研究者も日本の研究者も、それを問題だとは思っていなかったんです。イラストコミュニケーションサービスのSNSもたくさんありました。robot.txtも無視されていました。僕はそのときにもっと力を持っていたら、もっとこの問題に社会の目を向けるべきだと思いましたが、社会がそこに目を向けていたかというと疑問があります。CGの研究者そんなに多くないし。そして、今は中国の研究者はかなり野放し状態になっています。対中国人が云々という話をしているんじゃないです。中国のCG研究者やコンピュータービジョンの研究者は数千から数万いますが、我々日本の研究者は数百から数千です。彼らの興味と探究心と成果です。日本の研究がいかに不甲斐がないかということを身を持って感じています。もっと大きなところに出て、インパクトのある研究を世界のステージで対話して、英語で論文を書き、日本の研究者がちゃんとこの状況を認識している人が増えて、たくさんの才能が戦っていかないといけないということは認識してください。

今後のAI利用に関する議論の可能性

アメリカには法律があって、教育や引用などはフェアユースで公共物であるから使ってよいと認められています。そのフェアユースとしての引用は、日本の著作権法ではフェアユースの記述がないんです。最近議論はされていましたけど、生成AIの時代においてというのと、著作権法30条が適応してしまった瞬間にだいぶおかしくなりました。

つまり、生成AIの議論のかなり過激な問題の原点は、著作権法30条の改正が原因だったし、多くの人たちはそこで声を上げるべきだったんですね。やらなきゃいけないのが著作権法30条の4の改正でしょう？ということは、僕は議論したいこととしてあります。日本は憲法改正には非常に保守的です。ところが、著作権法に関しては4〜5年に一度改正されてるんです。だったらこうするべきだって皆さんで言い続ければいいんですよ。議論のやり方は先ほど言った「混ぜるな禁止」をちゃんと考えてほしいなと思っています。

やはり事業者レベルで言うと経産省だと思うんですね。つまり、文科省でもなく経産省が対応すべきだと思います。文化庁が著作権の定義で特に変える必要ないという結論に至ってる以上、これは経済の話です。誰が権利を持っていてどういう対価を払っているのかという話になるのであって、やはりちゃんと対話相手として権利団体はしっかりとそういう専門家を置いて、議論にちゃんと挟まっていてほしいと思っています。

例題：NijiJourneyでみかけた他のユーザが生成した画像

問題です。この画像に知的財産の侵害はあるでしょうか？この画像を自分のブログに自分の著作として利用することはできるでしょうか？この画像をブレンドして新たな画像を作ることはできるでしょうか？テクノロジーとしてできる、できないという問題と、法律としてできる、できないの問題を考えてみてください。

答えです。これはとある弁護士さんによる2024年8月ごろの監修ですが、知的財産の損害はないとのことです。マクドナルドの商標は侵害していません。「マクドナルド」と書いちゃったら問題では？と思うかもしれませんが、それも大丈夫です。皆さんの考えている知的財産の侵害というものは、実はちょっと違うんじゃないの？ということがこの1枚でも語れます。

自分のブログに利用できるかというと、これも「画像生成による生成物は著作物ではない」という判例が出ていまして、日本においても「著作とは、思想又は感情を創作的に表現したもの」なので、一般的なサービスによって生成されただけのテキストや画像には「著作権がない」ということになっています。なので、これは別に著作権侵害にならないです。つまり、「このNijiJourneyの画像可愛い。じゃあ“僕の画像として”ブログにおこう」と“僕の画像として”のところだけが問題であり、著作物ではなく、「NijiJourneyで拾った画像です」だったら別に問題がないです。

ブレンドして新たな画像を作ることができるかという点は、「日本の法律においては問題がない」というのがこの問題を問われた弁護士さんのご意見ですが、他の人の画像をアップロードしたら、それは実は複製権を侵害している可能性があります。それから、依拠性や類似性を目的としてやってるんだったら、それは依拠性などを侵害する可能性があります。

ほんとうの意味で生成AIに求められる倫理感とは？

書籍「画像生成AI Stable Diffusionスタートガイド」から数十枚のスライドを引用しつつ、特にこの図を指しました。

白井氏：欧州のリスクベースアプローチについても紹介をしておきます。「容認できないリスク」、「ハイリスク」、「限定的なリスク」、「最小限のリスク」等がある中、「画像生成AIはどのようなリスクレベルなのか？」をしっかり捉えてほしい。これが医療や法律、そして自動運転車に例えたら、どのようなリスクレベルなのかをはっきりと認識したうえで、反対するなら、反対としてきちんと責任を持って、どのような社会を考えているのか、すべてのひとにわかるように話をしてほしいと思います。

まとめ

しらいはかせ、白井暁彦氏は事例を交えながら、熱量たっぷりに、AIが理解されていない問題や著作権の問題がどうして起こっているのかをお話しくださいました。「画像生成AIクリエイター仕草（v.1.0）」の「子供でもわかるような、すべきこととすべきでないこと」を心に刻みながら、あんしんなクリエイティブAIで「陽のあたる場所」をつくる、そのための問題と向き合っていける世の中をつくっていきたいですね。

みなさんの意見も訊きたい！

ご感想はこの記事のコメント欄、もしくは
Xでは引用いただいて、ハッシュタグは
#AIクリエイターに訊く #生成AI倫理
でよろしくお願い致します。みなさんの建設的な意見はネット上のみならず、AICU Magazineや動画メディアや論文等でも扱っていきたいと考えております。

また「私はAIクリエイター、なので意見を述べたい！」という方はご寄稿いただく仕組みも準備しております。X@AICUai にてDMをいただけると幸いです。

Originally published at https://note.com on Oct 24, 2024.

2024-10-24
【最速レビュー】Stability AI 最新ベースモデル「Stable Diffusion 3.5」リリース！Stability AI APIで「日本人の生成」を試してみた！
2024年10月22日23時（日本時間）、Stability AI による最新ベースモデル「Stable Diffusion 3.5」のオープンリリースがアナウンスされました。
AICU編集部では「日本人の生成」を通してSD3.5の評価を実施しました。

Introducing Stable Diffusion 3.5, our most powerful models yet.

This open release includes multiple variants that are highly customizable for their size, run on consumer hardware, and are free for both commercial and non-commercial use under the permissive Stability AI Community… pic.twitter.com/KlyE8OjrxN
— Stability AI (@StabilityAI) October 22, 2024

最もパワフルなStable Diffusion 3.5をご紹介します。このオープンリリースには、そのサイズに対して高度にカスタマイズ可能で、民生用ハードウェアで動作し、寛容なStability AI Community Licenseの下、商用・非商用ともに無料で使用できる複数のバリエーションが含まれています。 Hugging FaceのStable Diffusion 3.5 LargeとStable Diffusion 3.5 Large Turbo、そしてGitHubの推論コードを今すぐダウンロードできます。 Stable Diffusion 3.5 Mediumは10月29日にリリースされる予定です。

https://x.com/StabilityAI/status/1848729212250951911
日本語版公式リリースより

リリースされるもの
- Stable Diffusion 3.5 Large: 80億のパラメータ、1メガピクセル解像度。
- Stable Diffusion 3.5 Large Turbo: Stable Diffusion 3.5 Large の蒸留版、わずか4ステップで高品質な画像を生成。Stable Diffusion 3.5 Largeよりもはるかに高速。
- Stable Diffusion 3.5 Medium (10月29日リリース予定): 26億のパラメータ、改良されたMMDiT-Xアーキテクチャとトレーニング方法により、カスタマイズのしやすさと画質を両立させ、コンシューマー向けハードウェアで「箱から出してすぐに使える」ように設計されています。0.25～2　メガピクセルの解像度の画像を生成できます。
モデルの特徴（公式リリースより）

モデルの開発にあたっては、柔軟な基盤を構築できるよう、カスタマイズ性を優先しました。これを実現するために、Query-Key Normalization をトランスフォーマーブロックに統合し、モデルのトレーニングプロセスを改善し、さらにファインチューニングや開発を簡素化しました。
このレベルの下流での柔軟性をサポートするために、いくつかのトレードオフが必要でした。異なるシードを使用した同じプロンプトからの出力に、より大きなばらつきが生じる可能性があります。これは意図的なもので、ベースモデルにおける幅広い知識ベースと多様なスタイルの維持に役立ちます。しかし、その結果、特定性のないプロンプトでは出力の不確実性が増大し、見た目のレベルにばらつきが生じる可能性があります。
特にMediumモデルでは、品質、一貫性、およびマルチ解像度生成能力を向上させるために、アーキテクチャとトレーニングプロトコルにいくつかの調整を加えました。

モデルの優位性
- カスタマイズ性： 特定のクリエイティブニーズを満たすために、モデルを簡単にファインチューニングしたりカスタマイズされたワークフローに基づくアプリケーションを構築したりすることができます。
- 効率的なパフォーマンス：特にStable Diffusion 3.5 MediumおよびStable Diffusion 3.5 Large Turbo モデルでは標準的な一般消費者向けのハードウェアで高負荷をかけずに実行できるように最適化されています。
- 多様な出力：広範な指示を必要とせずに、特定の人物だけでなく、さまざまな肌の色や特徴を持つ世界を代表するような画像を作成します。
- 多彩なスタイル：3D、写真、絵画、線画など、幅広いスタイルと美しさを生成することが可能です。また、想像可能なほぼすべての視覚スタイルにも対応しています。
Stable Diffusion 3.5 Medium は、他の中型モデルを上回る性能を持ち、プロンプトの再現性と画像品質のバランスに優れていますので、効率的で高品質なパフォーマンスを求める場合の最適な選択肢となりうるでしょう。

Stability AI Community license の概要

https://ja.stability.ai/blog/introducing-stable-diffusion-3-5

community license の概要は以下の通りです。
- 非営利目的の場合は無料： 個人および組織は、科学研究を含む非営利目的の場合、無料でモデルを使用することができます。
- 商用利用も無料（年間収益100万ドルまで）：年間収益が100万ドル未満のスタートアップ企業、中小企業、クリエイターは、商用目的でも無料でこのモデルを使用できます。
- 成果物の所有権：制限付きライセンスを伴うことなく生成されたメディアの所有権を保持します。
年間収益が100万ドル以上の企業は、エンタープライズライセンスをこちらからお問い合わせください。

ComfyUIが即日対応

そしてまさかのComfyUIがリリース即日対応を発表しました。

Bet you never saw this coming! Stable Diffusion 3.5 just dropped!
We are excited to announce our day 1 support for the Stable Diffusion 3.5 model series!

Follow our blog to get started on SD3.5, or use the beta “missing model” feature to download models. No skill is required! pic.twitter.com/lPfizVvLFv
— ComfyUI (@ComfyUI) October 22, 2024

まさかこんなことが起こるなんて！Stable Diffusion 3.5がリリースされました！Stable Diffusion 3.5モデルシリーズの初日サポート開始をお知らせできることを嬉しく思います！SD3.5の使用を開始するには、当社のブログをフォローするか、ベータ版の「missing model」機能を使用してモデルをダウンロードしてください。スキルは必要ありません！

https://x.com/ComfyUI/status/1848728525488197963

昨日リリースされた内容はこちらです。
missing model機能について、チェックしていかねばですね！

「ComfyUI V1」デスクトップアプリのリリース告知！新UI、カスタムノードのマーケットプレイス機能[CNR]も。

いますぐ触りたいアナタに！
HuggingFace Spacesにて試用環境が公開されています
Stable Diffusion 3.5 Large (8B)

https://huggingface.co/spaces/stabilityai/stable-diffusion-3.5-large

公開直後のため、流石に混雑しているようです。同時に公開されたTurboのほうが使えそうです。

Stable Diffusion 3.5 Large Turbo (8B)

https://huggingface.co/spaces/stabilityai/stable-diffusion-3.5-large-turbo

文字表現についても機能は維持されているようです。
「gemini boys with a panel written “AICU”」

公式APIでの「Stable Diffusion 3.5 Large」

Stability AI 公式APIマニュアルによると、既にGenerate APIとして提供が始まっています。APIキーを取得し、Open Google Colabにアクセスしてください。

[AICU版] Stability AI APIガイド
https://note.com/aicu/n/n4eda1d7ffcdf

公式Google Colab notebook へのリンク

デフォルトの解像度は1Mピクセル、1024×1024です。
modelパラメータのデフォルトが「sd3.5-large」になりました。
{sd3-large, sd3-large-turbo, sd3-medium, sd3.5-large, sd3.5-large-turbo}
クレジット消費は「生成成功につき」以下のとおりです。

・SD3.5 & 3.0 Largeは一律6.5クレジット
・SD3.5 & 3.0 Large Turbo：一律 4クレジット
・SD3 Medium：一律3.5クレジット。
失敗した生成については請求されません。

AICUによるSD3.5ギャラリー

SD3.5にて生成
「gemini girls with a panel which written “AICU”」

SD3.5 Turboにて生成
「textured palette knife oil painting of a cat riding a surfboard on the beach waves in summer. the cat has a mouse friend who is also riding the surfboard」

良いものだけ紹介するのではなく、
文字の描画を含めた連続生成の歩留まり率を表現してみます。
「cinematic film still, action photo of a cat with “AICU loves SD3.5”, riding a skateboard through the leaves in autumn. the cat has a mouse friend resting on their head」
SD3.5・同一プロンプト、Seed=0にて実験

「Japanese girls with a panel which is written “AICU loves SD3.5″」

実写系日本人の表現については、結構特徴掴んでいる感じがします。
指の再現率については工夫が必要そうです。

ネガティブプロンプトの効果を確認します。
「bad finger, nsfw, ugly, normal quality, bad quality」を入れることで歩留まり率が上がりました。

さいごに、ComfyUIのブログにあったプロンプトを紹介します。

Prompt: A photorealistic 4K image of a woman with transparent, crystal-like skin, glowing from within with a soft golden light.
NP:bad finger, nsfw, ugly, normal quality, bad quality

AICU編集部のレビュー

電撃リリースとなったStable Diffusion 3.5です。
即日対応を実現したComfyUI、そして商用で試用する上で、APIとしての互換性は高く保たれているようなので安心しました。初期レビューとして少し触ってみた範囲ですが、人種の多様性、特に日本人の描写について多様性と表現力があることを確認しました。
モデルの特性としての「カスタマイズ性」はどのようなところで発揮されるのか、ファインチューニング関係がComfyUIで登場することを期待します。また既存APIでのモデル間比較やEdit API、Style APIとの関係、そして10月29日に予定されているSD3.5Mリリース以降の動向も注目したいところです。

【PR】商用でも利用できるStability AI APIを学びたいアナタへ
超入門：Stable Diffusionではじめる画像生成AI

https://j.aicu.ai/AICUXColosoJP

Originally published at https://note.com on Oct 22, 2024.
2024-10-22
「ComfyUI V1」デスクトップアプリのリリース告知！新UI、カスタムノードのマーケットプレイス機能[CNR]も。
画像生成AIにおける世界で最も注目されているツール「ComfyUI」を開発するサンフランシスコの団体「Comfy Org」より、「ComfyUI V1」のリリース告知が発表されました！今回のアップデートでは、ワークフローの強化と生産性向上を目的とした、多くの改善と新機能が追加されました。主なアップデート内容は以下の通りです。

デスクトップアプリ版が登場！

この2ヶ月間、Comfy OrgはComfyUI のシームレスなデスクトップ体験を提供するために尽力してきました。目標は、技術に詳しくないユーザーでも可能な限りスムーズな体験を楽しめるようにすることです。スタンドアロンパッケージからの改善点は以下の通りです。
- コード署名済み＆セキュア: ComfyUI がセキュリティ警告を発動することなく開けるようになりました。アプリはコード署名されているため、そのバージョンが直接Comfy Orgから提供されたものであることを常に知ることができます。
- クロスプラットフォーム: Windows / macOS / Linux で利用可能
- 自動アップデート: 自動アップデートにより、ComfyUI の安定版リリースを常に使用できます。
- 軽量パッケージ: バンドルはわずか 200MB です！
- 推奨 Python 環境: 手動設定の手間はもうありません。インストールプロセスをスムーズにするために、推奨される Python 環境を含めました。
- ComfyUI Manager をデフォルトで搭載: ComfyUI レジストリから直接ノードをインストールし、最新の意味的にバージョン管理されたノードにアクセスできます。ナイトリーバージョンは引き続き最新の Git コミットから入手できます。
- タブ: 複数のワークフローをタブで開いて、それらを移動できるようになりました。
- カスタムキーバインド: ブラウザレベルのコマンドの干渉なしに、真のカスタムキーバインドを定義できるようになりました。
- リソースの自動インポート: インストール中にそのディレクトリを選択することで、既存の ComfyUI を再利用できます。入力、モデル、出力は自動的にインポートされます。
- 統合ログビューア: デバッグが必要な場合にサーバーログを表示できます。
現在、クローズドベータ版としてリリースしています。ダウンロードページからウェイティングリストにて、ご登録ください。今後数週間でより多くの方々に展開していく予定で、まもなくオープンベータ版をリリースし、その時点でソースコードはオープンソース化される予定とのことです。

Introducing ComfyUI V1, a packaged desktop application

– Windows (@nvidia), macOS (apple silicon), Linux
– One click install for less technical users
– Ships with ComfyUI manager
– Auto-installed python environment

Join the closed beta: https://t.co/JFWz9DgqER pic.twitter.com/Wk1pM5vrUj
— ComfyUI (@ComfyUI) October 21, 2024

全く新しいユーザーインターフェース

デスクトップアプリケーションの新しいインターフェースは、ComfyUI を更新するとすぐに利用できます。V1が一般公開される際には、現在のすべてのユーザーインターフェースは新しいUIに切り替わります。
- トップメニューバー: 多くのアクションをトップメニューバーに統合し、拡張機能開発者はカスタムメニュー項目を簡単に追加できるようになりました。
- モデルとログへのアクセスが容易に: トレイアイコンを右クリックするだけで、モデル、カスタムノード、出力ファイル、ログにすばやくアクセスできます。
- モデルライブラリ: すべてのモデルを簡単に参照し、ライブラリからチェックポイントローダーとして直接ドラッグアンドドロップできます。
- ワークフローブラウザ: ワークフローをワークフローブラウザに保存してすばやくアクセスできるようになりました。また、別のディレクトリにエクスポートすることもできます。
- モデルの自動ダウンロード: ComfyUI では、ワークフローにモデルの URL/ID を埋め込み、自動ダウンロードできるようになりました。たとえば、テンプレートを開いていて、モデルがない場合、ComfyUI はワークフローで定義されている不足しているモデルをダウンロードするように促します。例
  この新しい UI は、最新の ComfyUI ですべての人が利用できます。パッケージを更新してください。
https://github.com/Comfy-Org/ComfyUI_frontend/blob/main/public/templates/default.json?ref=blog.comfy.org#L351

新しいUIの有効化

V1 UI を使用するには、次の手順に従います。
1. ComfyUI を更新します。
2. 設定メニューで v1 UI を有効にします。
動画解説はこちら

Comfy Node Registry (CNR)

ここ数か月間、Comfy Orgはカスタムノードのレジストリ（https://registry.comfy.org/）に取り組んできました。
これは NPM に似ています（ノードがセマンティックなバージョンで公開されるという意味で）。目標は、より安全で安定した ComfyUI カスタムノードのユーザーエクスペリエンスを構築することです。すでに 600 を超えるノードと 2,000 を超えるノードバージョンが公開されています。CNR に公開してくださった皆様、ありがとうございます！

Dr.Lt.Data は、この機能ブランチ（feat）で ComfyUI マネージャーと CNR を統合してきました。
Electronのアプリとしてリリースされる、レジストリからのインストールをサポートする最初の場所となります。

カスタムノードの今後の計画:
- セキュリティスキャン: カスタムノードにおける悪意のある動作の自動スキャンをテストしてきました。将来的には、すべてのカスタムノードがスキャンされ、悪意のあるノードは禁止されます。それらのノードをインストールしたユーザーには通知されます。
- 依存関係解決の改善: カスタムノードを確実にインストールし、既存のワークフローを実行するのに役立つツールに取り組んでいます。
FAQ

標準の Web ComfyUI は引き続き開発されますか？

Electron アプリは、既存の ComfyUI Web アプリケーションのシンプルなラッパーです。これにより、インストールやファイルシステムに関連する機能を構築できます。場合によっては、デスクトップアプリ専用の機能（タブなど）を開発する場合があります。ただし、すべての主要な機能は、引き続き ComfyUI および ComfyUI_frontend で最初に開発されます。
デスクトップ版としてリリースされる Electron アプリは、他のすべてのユーザーと同じタイミングでこれらの機能を利用できます。

ポータブルスタンドアロンはまだ利用できますか？

これは、Electron デスクトップアプリがより安定するまでしばらくの間サポートされます。

デスクトップアプリはオープンソースになりますか？

数週間後にオープンベータ期間が始まると、コードをオープンソース化します。

元の UI は引き続き開発されますか？

新しい V1 UI が今後デフォルトのユーザーエクスペリエンスになります。元の UI は現在メンテナンスモードであり、これ以上の機能は追加されません。カスタムノードおよび拡張機能の開発者には、新しい UI をサポートすることをお勧めします。

お問い合わせ

ご意見をお聞かせください！いつものように、Discord または hello@comfy.org でご連絡いただけます。

https://blog.comfy.org/comfyui-v1-release

AICU編集部より

先日のComfyUIミートアップ東京でチラ見させていただいたElectronアプリが早くもリリースですね。AICU編集部も期待しています。
そしてマーケットプレイスにあたる「CNR」のリリースも期待です。セキュリティに関する配慮が高く設定されているのが好印象です。
そして、ウェブサイトの整備もありがとうございます！
編集部としては動画作品ギャラリーがお気に入りです。

https://www.comfy.org/videos

AICU編集部はこれからも ComfyUI および Comfy Orgを応援していきます！

速報: ComfyUIを開発する「Comfy Org」が東京・渋谷で初のミートアップを開催。画像生成AIの未来を拓く37名が参加！

[告知]ComfyOrgミートアップ東京で開催！2024/9/27

https://note.com/aicu/m/md2f2e57c0f3c

Originally published at https://note.com on Oct 21, 2024.
2024-10-21
「Stable Assistant を知らないの？」Day3:商用利用と倫理TIPS
Stable Assistantを触りながらココナラで案件を探してみたら、想像以上にいろいろできた…😳✨

みなさん、毎度ありがとうございます AICUメディア営業部です！
生成AI時代に「つくる人をつくる」をビジョンに活動するAICUメディアのお手伝いしながら、AICUのナレッジを「もっと売る」をミッションとして活動しております。

前回までズボラな私が「Stable Assistant」の無料お試しを使って画像生成や画像加工や動画生成、楽曲生成や3D生成をしてココナラにアカウントをつくって実際に案件に応募するまでのお話がこちらです。

＜Day1レポート＞無料トライアル3日間でこんなにお得!?

「Stable Assistant を知らないの？」Day1:無料トライアル3日間でこんなにお得!?

実際にStable Assistantを使った画像処理でやってみた画像処理がこちらです

＜Day2レポート＞案件にAIで提案してみた

「Stable Assistant を知らないの？」Day2: 案件にAIで提案してみた

3日日は、実際にココナラでの案件を Stable Assistant の無料枠で営業していく上での注意点についてお伝えします！
用意するツールとアカウントの準備

・ココナラのアカウント
・クレジットカード
・Stable Assistantのアカウント登録
・Google Gemini (あると嬉しい)
・DeepL無料版（なくても大丈夫）

ココナラのアカウントはこちらから登録すると紹介ポイントが手に入ります。

まずココナラの検索をするうえでプロフィールを埋めます

プロフィールはGoogle Gemini「AI Studio」で埋めました。ロングコンテキストが扱えるので便利です。翻訳もこれで問題なし！

日本で最も有名な画像生成AIのプロフェッショナルの営業部です

はじめまして！AICUメディア営業部です。 2022年から活動している画像生成AIにおける元祖「Stable Diffusion」を応援し続けて2年を超える画像生成AIのラーニングメディア「AICUメディア」の営業部です。所属クリエイターと最新のクリエィティブAI技術とノウハウによりお客様の大切な案件を予想を上回る速度とクオリティ、スマートに納品させていただいております。【弊社の特徴】 (1) ブログメディアでの紹介！生成AI時代に「つくる人をつくる」をコンセプトにして活動させていただいております。ブログメディアでの紹介をさせていただけることで、単なる「案件」ではなく、AI＋人間のクリエイターならではの速度、品質、細やかさ、そして御社の知名度もアップ！を特徴としております。 ✨️「AICU」で検索してみていただければ幸いです。 (2) 作業速度がものすごい米国に本社があるため日本のカレンダーに依存しない！深夜対応も歓迎です。 (3) お試しいただいてご納得いただいてからの作業着手可能な限り仕上がりサンプルをご確認いただいてからのご発注プロセスを取っております。残念ながら不成となった案件は依頼主様等の情報を外した状態で実績としてブログ等で紹介させていただきます。

https://coconala.com/users/4956128

Stable Assistantの新機能を紹介！

Stable Assistantもアップデートを繰り返しています。
先日、10月20日に背景置き換え機能がリリースされました！

https://x.com/AICUai/status/1846341417263943730

Stable Assistantに背景置き換え機能が登場！ https://t.co/3GUemWbjnq
— AICU Inc. (@AICUai) October 16, 2024

画像をアップロードしてツールメニューから「Replace Background」で利用できます。

この画像が…

アップロードしてから選べるカバンメニューで「Replace Background」

サンプルどおりに「In the Jungle」に置き換えてみます。

これは便利ですね。

プロンプトの代わりに画像も与えられます。

こちらを与えてみます。

こんな感じです。

Day2で扱ったような中古車販売のような使い道によいかもしれませんね！

「Stable Assistant を知らないの？」Day2: 案件にAIで提案してみた

顔をマスクしよう

さて、前回扱った「Search and Replace」で便利な使い道を発見しました。
プライバシーを守るための「顔マスク」です。

画像をアップロードしてカバンメニューから「Search and Replace」です。
ここに「face」を対象に「mask」を入れるだけ！

じゃーん！

これでプライバシー保護もバッチリ！？

さて続いてココナラとStable Assistantを使って案件をこなしていくうえでの倫理関係の考察をしてみたいと思います。

Stable Assistantは商用利用できますか？

Stable Assistantの利用規約では、商用利用について明確な禁止事項は明記されていません。しかし、いくつかの点に注意が必要です。
- 利用規約で許諾されている範囲内での利用: 利用規約では、Stable Assistantの出力(画像、音楽、動画など)について、Stability AIに非独占的なライセンスを付与することになっています。つまり、Stability AIは、あなたの出力を使用する権利を持っています。
- 知的財産権: Stable Assistantで生成したコンテンツの知的財産権は、基本的にあなたに帰属します。しかし、Stable Assistantが学習したデータの一部が著作権で保護されている可能性があります。
- 著作権フリー: 生成したコンテンツを商用利用する場合は、著作権の侵害に注意する必要があります。Stable Assistantでは、著作権フリーの画像や音楽を生成することも可能です。
- 責任の所在: Stable Assistantの出力に基づいて、あなたが何らかの損害や責任を負った場合、Stability AIは責任を負いません。
商用利用を検討する際は、以下の点も確認しておきましょう。
- Stable Assistantの利用規約をよく読んで理解する
- 生成したコンテンツの著作権について調べる
- 商用利用に適したコンテンツかどうか判断する
- 必要な法的アドバイスを受ける
Stable Assistantは、強力なツールですが、商用利用には注意が必要です。上記を参考に、安全にそして適切な形でStable Assistantを活用してください。

Stable Assistant Terms of Service

https://stability.ai/stable-app-terms-of-service

他にも気をつけたこと

ココナラでの依頼を調べるうえで「いちおう手を動かしてみたけど、これはやめたほうが良いな…」と感じた案件をまとめてみます。

「生成AI使ってもいいよ」と書かれている案件を選ぶ

もちろんプロのアーティストさんが描いたほうがよさそう、という案件も多くありますが、その中でも探してみると「生成AI使っていいよ！」という案件はありました。
また既存の自社サイトやサンプルイメージとしてChatGPT(DALL-E3)での画像を使われていて「もうちょっとどうにかしたい」という趣向でご依頼されている方も多くいらっしゃいました。

実際のところ、上手な画像を生成するのってテクニック要りますよねぇ…（といって編集部のみなさんの頑張りを眺めています）

依頼そのものがふわっとしている案件は避ける

「依頼そのものがふわっとしている…」この辺は発注者としてついやってしまいがちなのですが、避けたいところですね…。
例えば「前に依頼したのだけど気に入らなかった」とか「見積額による」といった案件ですね。

この辺は発注者としてついやってしまいがちなのですが、避けたいところですね……。

1つの案件で複数の依頼をしている案件は避ける

イラストや似顔絵に時々あるのですが、「1点でXXXX円、2点でXXXX円、5点全部揃ったらXXXXX円」といった依頼です。

実際、手を動かしてみたのですが、点数が多くなれば多くなるほど難度は上がると思います。

もちろん、アウトペイント（ズーム機能）で外側を描いたりしてレイアウトを変えるだけだったり、背景削除で置き換えるだけの仕様ならそんなに難しくはないのですが、描く要素が多くなったり、キャラクターデザインの一貫性を維持したうえで複数の画像を用意するのは難しいと思いました。
ただこれは、考え方とかやり方次第かもしれません。

たとえば3D化を使って、多視点にしてみたら……あ、できるかも？？

[Stability AI API] Stable Fast 3DをGoogle Colabで動かす

「生成AI＋人間の作業です」を伝える

ココナラは募集している案件に「提案」として作文を書くのですが、そこに「生成AI＋人間の作業です」と伝えたほうが良いと思いました。
今回の調査では「ココナラ」以外の別のクラウドソーシングサイトも調査してみたのですが「生成AIだけ」で「作業単価が10円ぐらい」といった市場もあったりもします。

こういう依頼を見ていると「生成AI使ったって人間の作業時間があるんだよ！！」という気持ちでいっぱいになります。

イラストレーターさんがたくさん応募している案件は避ける

締め切りまでの日数や案件にもよるのですが、すでにたくさんのイラストレーターさんが応募している案件に「生成AIでやります！」といって乗り込んでいくのは勇気がいります。「生成AIが人の仕事を奪う」みたいな言われ方をするのが心外なので…（小心者）。

それに、イラストレーターさんの手仕事は尊いですよ。
AICUも「画像生成AIクリエイター仕草（v.1.0）」で言ってます。

「手仕事とAI」を「市場として混ぜるのは禁止」という感想です。

納期が不明瞭で直しが無限になりそうな案件は避ける

この辺は発注者としても避けたいところですね～！
現行の下請法にも違反ですし、令和6年11月1日から「特定受託事業者に係る取引の適正化等に関する法律（フリーランス・事業者間取引適正化等法）」が施行されています。

https://www.mhlw.go.jp/content/001278830.pdf

発注者がココナラ規約違反になる流れもけっこある

発注者さんが必ずしも悪気があってやっているのではない場合もあります。実はココナラには「外部でやり取りしてはならない」という厳格なルールがあるらしく、Google DriveやGoogle Formを使ったコミュニケーションが入っていると事務局判断で案件が停止されることもあります。
結構な頻度で起きているので、あまり腹を立てずに付き合いたいところです。

「スピード重視」「品質重視」「継続依頼あり」「初心者OK」を探す

まずは5,000円以下ぐらいの案件からやってみる

ココナラには出品者ランクがあり、ランクアップすることで信頼度がアップします。レベルを上げるためには小さくても案件をこなしていったほうがいいかもしれません。逆に「5千円…安すぎ！」と思ううちはやめておいたほうがいいいかもしれません。

以上、いろいろ述べてしまいましたが、AICU営業部はココナラの活用をこれからも研究していきます。

なお、発注者としてクリエイターさんやライターさんへのお仕事募集もしておりますので、フォローよろしくお願いいたします！

https://coconala.com/requests/3717909

生成AI時代のクラウドワーカーさんとの出会いが楽しみです！
初心者も歓迎です。誰もが最初は初心者ですよね。
以上、AICUメディア営業部がお送りしました

https://coconala.com/users/4956128

#StableAI #StableAssistant #画像生成AI #AI音楽生成 #副業 #ココナラ #AICU営業部

Originally published at https://note.com on Oct 21, 2024.
2024-10-21
[ComfyMaster26] ControlNetでイラストを精密に実写化！
イラストのスタイルを実写に変換する際、従来のimage-to-image (i2i) 手法では、変換元画像の特徴を維持しながらの変換が困難でした。今回は、その課題をComfyUIのConrolNetで解決します！

こんにちわ、AICU media編集部です。
「ComfyUI マスターガイド」第26回目になります。
本記事では、ControlNetを導入することで、この課題を解決し、より精密な実写化を実現する方法を紹介します。具体的には、以前i2iでスタイル変換を試みた犬のイラストを再度用い、ControlNetによる変換結果とi2iのみの結果を比較することで、その効果を検証します。

本連載の初回はこちら。前回はこちら、目次はこちらです。

[ComfyMaster25] 画像を自由自在に！ControlNetで完全制御 #ComfyUI

[ComfyMaster25] 画像を自由自在に！ControlNetで完全制御
1. 概要

今回は、ControlNetを利用して、イラストを実写に変換します。以前にi2i (image-to-image) でスタイル変換を試しましたが、i2iだけの場合、変換元画像の特徴を維持しながらスタイル変換が難しいという課題がありました。この課題をControlNetを使用することで解決します。

i2iのみでのスタイル変換との結果を比較するために、i2iで使用した以下の犬のイラストを使用します。

2. ControlNetの使用準備

ControlNetの使用準備については、前回の記事をご覧ください。

[ComfyMaster25] 画像を自由自在に！ControlNetで完全制御

今回は、ControlNetのDepthとLineartを組み合わせて使用します。Depthでは、犬と背景との関係を明示し、Lineartでは、犬や草花の形状を理解させるために使用します。

3. workflowのノード構成

以下がworkflowの全体構成になります。このワークフローは、アニメ調のイラストを入力として受け取り、その構図や主要な要素を保持しながら、より現実的で詳細な画像に変換します。ControlNetの使用により、入力画像の構造が出力に強く反映され、同時にプロンプトとモデルの力を借りて現実感のある詳細が付加されます。結果として、元のイラストの魅力を保ちつつ、より写実的な猫の画像が日本の伝統的な部屋の中に描かれることが期待されます。

ワークフローのファイルは、文末のリンクよりダウンロードください。

以下に、このワークフローの主要な部分とその機能を図示し、詳細に説明します。
1. 入力画像の読み込みと処理
  - Load Imageノード: 犬のイラスト画像を読み込みます。
  - VAE Encodeノード: 入力イラストを潜在空間にエンコードします。
  - Depth Anything V2ノード: 入力画像から深度マップを生成します。
  - Line Artノード: 入力画像から線画を抽出します。
2. モデルとControlNetの読み込み
  - Load Checkpointノード: 「RealVisXl.safetensors」モデルを読み込みます。
  - Load ControlNet Modelノード: 「controlnet-union-sdxl-1.0.safetensors」を読み込みます。
3. プロンプト処理 (CLIP Text Encode ノード x2)
  - ポジティブプロンプト: 「realistic, photorealistic, looking_at_viewer, brown_eyes, sitting, closed_mouth, flower, outdoors, day, blurry, tree, no_humans, depth_of_field, animal, sunlight, grass, dog, yellow_flower, fence, purple_flower, animal_focus, lamppost」
  - ネガティブプロンプト: 「anime, illustration,」
    
    アニメやイラストの要素を排除するために、ネガティブプロンプトに「anime, illustration,」を入力する
4. ControlNetの適用 (Apply ControlNet Advanced ノード x2)
  - 1つ目のControlNetはDepthを使用
  - 2つ目のControlNetはLineartを使用
  - 両方とも強度: 0.3 (ControlNetの影響力)
5. 画像生成 (KSampler ノード)
  - Seed: 860227022998599
  - Steps: 20
  - CFG Scale: 8
  - Sampler: dpmpp_2m
  - Scheduler: karras
  - Denoise: 0.7
6. 画像のデコードと保存
  - VAE Decode ノード: 生成された潜在表現を実際の画像にデコードします。
  - Save Image ノード: 最終的に生成された画像を「style_transformer」という名前で保存します。
3. 生成結果

以下が生成結果になります。まずは、しっかりと実写に変換できていることが確認できます。

次に変換元画像と比較して見ましょう。背景も含めて、かなり正確に変換元画像の特徴を維持していることが分かります。

さらにi2iのみの結果とも比較してみます。すべてdenoiseが0.7の時の結果となります。i2iの時は、花が柵になっていたり、犬が少し大人びています。ControlNetを追加した結果では、背景はもちろん、犬の特徴も変換元画像に近いです。

4. まとめ

犬のイラストを題材に、深度マップと線画をControlNetに入力することで、元のイラストの構図や犬の特徴（子犬らしさなど）を維持しながら、背景や被写体をリアルな質感で表現することに成功しました。RealVisXlとcontrolnet-union-sdxlを用い、プロンプトで写実性を強調しつつ、アニメやイラストの要素をネガティブプロンプトで排除することで、より自然な実写化を実現しました。結果として、i2i単体では背景が大きく変化したり、犬の年齢が変化するなど、元のイラストの特徴が失われていたのに対し、ControlNetを用いた手法では、これらの特徴を保持したまま、高精度な実写化が達成されました。これにより、ControlNetがイラストの実写化において、元の画像の特徴を維持しつつ、より精密な変換を可能にする強力なツールであることが示されました。

次回は、写真やイラストを線画にする方法を紹介します。乞うご期待！
X(Twitter)@AICUai もフォローよろしくお願いいたします！

画像生成AI「ComfyUI」マスターPlan

画像生成AI「Stable Diffusion」特に「ComfyUI」を中心としたプロ向け映像制作・次世代の画像生成を学びたい方に向けたプランです。最新・実用的な記事を優先して、ゼロから学ぶ「ComfyUI」マガジンからまとめて購読できます。メンバーシップ掲示板を使った質問も歓迎です。
- メンバー限定の会員証が発行されます
- 活動期間に応じたバッジを表示
- メンバー限定掲示板を閲覧できます
- メンバー特典記事を閲覧できます
- メンバー特典マガジンを閲覧できます
- 動画資料やworkflowといった資料への優先アクセスも予定
ゼロから学ぶ「ComfyUI」マガジン

https://note.com/aicu/m/md2f2e57c0f3c

マガジン単体の販売は1件あたり500円を予定しております。
2件以上読むのであればメンバーシップ参加のほうがお得です！というのもメンバーシップ参加者にはもれなく「AICU Creator Union」へのDiscordリンクをお伝えし、メンバーオンリー掲示板の利用が可能になります。

https://note.com/aicu/membership/boards/61ab0aa9374e/posts/db2f06cd3487?from=self

もちろん、初月は無料でお試しいただけます！
毎日新鮮で確かな情報が配信されるAICUメンバーシップ。
退会率はとても低く、みなさまにご満足いただいております。
✨️オトクなメンバーシップについての詳細はこちら

[新連載] ここからはじめる「ComfyUIマスターガイド」

この記事の続きはこちらから https://note.com/aicu/n/n4fafc970da0a

Originally published at https://note.com on Oct 20, 2024.
2024-10-20
AICU×BlendAIガンマミィ誕生記念イラストコンテスト結果発表！

2024年10月19日、INDEST(東京科学大学・田町キャンパス)にて開催されたイベント「あんしんAIセミナー」にて AICU×BlendAIガンマミィ誕生記念イラストコンテストの結果発表が行われました。

しらいはかせの最新の画像生成をカバーアートにした
あんしんなクリエイティブAIで「陽のあたる場所」をつくる
というタイトルの講演の最終パートで発表が行われました。

すでに最終ノミネート作品と「BlendAI賞」、「まいにち投稿達成賞」は発表されております。

【速報】ガンマミィ誕生記念! イラストコンテストBlendAI賞・まいにち投稿達成賞の発表！

BlendAI賞を獲得したともっちさん (@tomomaga358)おめでとうございます！副賞としてBlendAIよりクラウドファンディング関連グッズが贈呈されます。

まいにち投稿達成賞を受賞した犬沢某さん (@InsBow)には、後日BlendAIより賞状画像とNFT認定証が授与されます。

10連投稿で条件を満たすのに、12作作ってきた犬沢某さん作品をギャラリーにしてみました。お楽しみください。

だんだん洗練されていく様子がわかります…！

本人コメントです。

12作達成しました。やったぜ！

ガンマミィさんはデルタもんに比べて描きやすい要素も多いのと、一方で難しい要素も多くて楽しませていただきました。

展開性もよいキャラクターなので今後の人気が楽しみです。 https://t.co/VWD7xQ4gcw
— 犬沢某🐾InusawaBow🐶いぬさわ・ばう (@InsBow) October 19, 2024

12作達成しました。やったぜ！ガンマミィさんはデルタもんに比べて描きやすい要素も多いのと、一方で難しい要素も多くて楽しませていただきました。展開性もよいキャラクターなので今後の人気が楽しみです。

https://x.com/InsBow/status/1847647134004478073

「ベストバズ賞」まさかのねこガンマミィ！

事務局による集計で締め切り時点での「ベストバズ賞」が審査されました。

ベストバズ賞: エントリー作品の中でX(Twitter)でもっともリポストされた投稿にAmazonギフト券5000円分をプレゼント！（自己申告＋事務局による不正監査あり）

念のため、RPに加えてファボ、そしてその合計も集計します。
[RP] [Fav] [合計]
16 21 37 犬沢某 9作目。ねこガンマミィ。むにゃ～😾
15 21 36 ともっち双星幻滅破砕拳の使い手、ガンマミィ!!
15 16 31 犬沢某 7作目。やはりちびがよい。
14 15 29 犬沢某 8作目。おはようガンマミィ。今週もガンマっていこ～。
14 15 29 犬沢某 12作目！ #ガンマミィジェネレーターすごいね！
13 18 31 Yas@Ponotech 湖上のガンマミィ

以上、僅差で犬沢某さんの「ねこガンマミィ」の勝利となりました！

https://x.com/InsBow/status/1843284499922116756/photo/1

応援者の皆様、リポストにご参加いただきありがとうございました。
犬沢某さんにはAmazonギフト券5000円分が贈呈されます。

犬沢某さんのコメント「オーバーオールを着た犬しか描かないAIイラストレーター」なのに…猫で受賞してしまったワン…🐶

「オーバーオールを着た犬しか描かないAIイラストレーター」なのに…猫で受賞してしまったワン…🐶
— 犬沢某🐾InusawaBow🐶いぬさわ・ばう (@InsBow) October 19, 2024

やはりバズを狙うなら、猫は最強！？

さて気になる「AICU賞」の発表です！

もりにえさん 「流行の天使界隈ファッション、デス！」

https://x.com/kamitashiro_AI/status/1845053911545282897

#ガンマミィ #Gammamy #AICUxBlendAIガンマミィ誕生記念イラストコンテスト
こちらのAIイラストの生成にはガンマミィジェネレーターを使用させていただきました🥰 pic.twitter.com/TdmnnqmmdJ
— 森にえ (@kamitashiro_AI) October 12, 2024

作品「流行の天使界隈ファッション、デス！」by もりにえ(@kamitashiro_AI)
オーバーサイズのジャージ素材で、主に水色や白を基調とした天使界隈と呼ばれる10代から20代に人気のファッションをガンマミィに着てもらいました。コンセプトはオリジナルのガンマミィはそのままでも充分可愛いですが様々な服をガンマミィに着てもらうことによって今まで画像生成AIに興味のなかった方や否定的だった方にも好意的に伝わるよう工夫しました。生成方法としては、日頃AI画像を生成している時と同じくタグをカンマで細かく区切る形のプロンプトを書きそれをガンマミィジェネレーターに入力して生成しました。ガンマミィジェネレーターを期間限定無料提供してくださりありがとうございました。

御本人によるエントリー資料より

編集部コメント：「ガンマミィ・ジェネレーター」の活用が素晴らしいです！開発者としては一通りの使い道は想定しているのですが、その遥か上を行く表現力を開拓していただいて感無量です。
https://gammamygenerator.aicu.ai/

さらにもりにえさん御本人よりコメントを頂いております。

AICU×BlendAIガンマミィ誕生記念イラストコンテストが開催おめでとうございます！

BlendAI株式会社が「デルタもん」に続き開発、発表したAIキャラクターが「ガンマミィ」です。その情報を知り、画像生成AI歴2年の私も参加させて頂きました。

私はいわば途中参加で、AICUが2024年9月25日にXにてガンマミィ誕生記念イラストコンテストの応募フォームを公開した時点ではなく、同じくAICUが2024年10月11日にガンマミィ・ジェネレーターを公開した時点での参加となります。

期間限定無料「ガンマミィ・ジェネレーター」を提供開始！

ガンマミィ・ジェネレーターを実際使用してみた感想としては非常によく出来ているAI画像生成ツールで驚きました。

ピンク色のツインテールを太い紐状のようなもので結んであるガンマミィの髪型は、日頃使用しているAI画像生成ツールにいちからプロンプトを書き、再現することは私の力量では不可能だろうと考え、期間限定での無料提供の恩恵をありがたく授かり使用させて頂きました。

私が出力したイラストは例えば「部屋で椅子に座っているガンマミィを描いて下さい。ガンマミィがいる部屋には植木鉢が置いてあります」などとしたプロンプトでもガンマミィ・ジェネレーターならば同じようなイラストは生成できたのではないかと思われます。

しかし、2年以上飽きずに画像生成AIを楽しんできた身としては、そうして文で指示を出すよりも英単語をタグで区切るほうが馴染みがあります。
今がチャンスとばかりに、普段使っているAI画像生成ツール（Sea Art AI）との使用感の差を試したくなりました。

というわけで、ガンマミィ・ジェネレーターでのプロンプトは「(8K,best quality,master piece:1.2),super high resolution,1 girl」から書き始める英語でタグを細かく区切る形のプロンプトを書きました。

プロンプト「1 girl」の後は「1gilr is Gammamy」と続けることによって髪型の再現の難しさはガンマミィ・ジェネレーターにおまかせ。

そして、私が今回応募したイラストのコンセプトとして考えていた「ガンマミィはそのままでも充分可愛いけれど様々な服を着たガンマミィを目にする機会が増えれば画像生成AIに興味のなかった方や否定的だった方にも服から先に親しみを持ってもらえないだろうか」という部分をその後のプロンプトで表現しました。

プロンプト「1 girl is Gammamy」の後は「oversized long sleeve blue hoodie dress,lace」と続けました。

椅子に座っていることや植木鉢があることなども上記のように指定し完成したのが、今回応募したイラストです。

基本設定のガンマミィがピンクを基調とした服を着ているのに対し、私が指定したのは全く違う水色の服でしたが表情も含めて可愛いガンマミィが生成できて、自分でもこのイラストはとても気に入っています。

「ガンマミィ」はSea Art AIで生成するのを初めから諦めてしまったので画像がありませんが、代わりに「画像読み込みをせず、LoRAも使わず、デルタもんの名前をプロンプトに含めることもなく、目で見てプロンプトのみで生成したデルタもん」を紹介します。

「画像読み込みをせず、LoRAも使わず、デルタもんの名前をプロンプトに含めることもなく、目で見てプロンプトのみで生成したデルタもん」

もりにえさん、メッセージありがとうございました！
メイキング資料のご提供もありがとうございます！！

さいごに

コンテストへ作品をご応募いただいたみなさん、ありがとうございました！
また応援投票や告知協力などでご参加いただいたみなさんもありがとうございました。

最後にBlendAIさんからお知らせです。

クラウドファンディング開始19日、120,000円、8名の方にご支援頂いています！
ありがとうございます！
ガンマミィの3Dモデル＆ボイス制作を進めていますが、このままだと本当に厳しいです…！
ご支援、せめて拡散をぜひお願いします！ https://t.co/28FJZ5ofdB
— デルタもんΔガンマミィΓ公式@BlendAI (@BlendAIjp) October 19, 2024

「ガンマミィ」の3Dモデルと音声の制作を目的としたBlendAIによるクラウドファンディングプロジェクトが残り11日となりました。

https://camp-fire.jp/projects/795978/view

最小の応援価格は PlanAの5,000円から。
壁紙、声優の清水詩音さんによる30秒程度のお礼ボイス、VRMによる3Dモデルが2025年2月に提供予定されています。

目標金額は2,000,000円です。
まだ達成まで94%、11日もありますね。
みなさん、給料日まで待つ必要はないですよね！しっかり応援しましょう。

おまけ：応援したいけど、お金がない！？そんなあなたに…急募です

AICUからお仕事も提供します！
怪しい仕事ではありません
「オンラインイベントの原稿起こし！」です
本日開催されたオンラインイベント「あんしんAIセミナー」のイベントアーカイブを元にした記事起こし作業です。初心者歓迎。最大3名募集します。

INDEST(東京科学大学田町キャンパス)にて「あんしんAIセミナー」開催

INDEST(東京科学大学田町キャンパス)にて「あんしんAIセミナー」開催

応募される方はお早めに、 X(Twitter)@AICUai までDMをいただければ幸いです。アーカイブ動画へのアクセスと、報酬規定などもお伝えします。

この記事に「いいね！」と思ったら、いいねとフォロー、おすすめをお願いします！
https://note.com/aicu/ X(Twitter)@AICUai

このようなイベントのレポートに興味がある方はこちらもオススメ

https://ja.aicu.ai/category/events

この記事に「いいね！」と思ったら、いいねとフォロー、おすすめをお願いします！

Originally published at https://note.com on Oct 19, 2024.

2024-10-19
INDEST(東京科学大学田町キャンパス)にて「あんしんAIセミナー」開催
INDEST（Innovation Design Studio：インデスト）は東京科学大学（旧：東京工業大学）が運営するインキュベーションスタジオです。「世界を変える大学発スタートアップを育てる」をミッションにするINDESTを会場に、デルタもん・ガンマミィを開発する東工大発ベンチャー「BlendAI」による主催で「あんしんAI生成セミナー」が2024年10月19日にオンライン中心で無料開催されます。

https://note.com/blendai/n/nb637114d45b3

2024/10/19(土)16:00〜18:00 無料オンライン
- Peatix
https://peatix.com/event/4168767/view

AICU media編集長のしらいはかせも出演予定です。

10月19日土曜日はBlendAIさんのイベント
「あんしんAI生成セミナー」で
東京科学大学田町キャンパスで出演します。

どこだよその大学…って人は要チェックhttps://t.co/zt4UfJdEhE #BlendAI #AICU #Indest #TITECH
— Dr.(Shirai)Hakase – AICU media編集長しらいはかせ (@o_ob) October 16, 2024

イベント詳細

【無料】あんしんAI生成セミナー

概要

法的リスクを回避し、安心してAIを活用するための講座です。
このセミナーでは、AIを活用した音声合成や画像生成等（以下「AI生成物」）における著作権の基礎知識を深め、法的な観点から安全かつクリエイティブに活用する方法を学びます。具体的には、著作権が問われる場面や関連する法規制、著作権侵害のリスクを回避するためのポイントについて解説します。

講座を通じて得られること

この講座を通じて、参加者はAIを活用したAI生成物における著作権の基本的な理解を深めることができます。また、著作権を守りながら安全に生成を行う具体的な方法を学ぶことで、実務にも応用可能なスキルを身につけることができるでしょう。さらに、実際の事例を通じて著作権侵害のリスクをどのように回避すべきかを学び、法的リスクを回避しながらクリエイティブな活動を行うための知識を得ることができます。最後に、AI生成物に関連する法律的な観点からのアプローチも理解し、安心してAIツールを活用できる自信を持てるようになります。

内容
1. AI生成と著作権の基本理解：AI生成物に関わる著作権の基本を学び、どのようなケースで問題が発生するかを具体的に解説します。
2. 著作権侵害を回避するための実践的アプローチ：法律に違反しないガイドラインを示し、安心してクリエイティブな活動ができる実践的な方法を学びます。
3. 実際の事例を通じたリスクと対策の理解：過去の著作権侵害の事例を分析し、AIツールの利用時に注意すべきポイントや回避策を具体的に学びます。
こんな人におすすめ
- AIを活用したクリエイティブ活動をしている方
- 画像生成に関する著作権を正しく理解したい方
- 法的リスクを回避して安心してAIツールを活用したい方
- AI画像生成の業務に携わっている方
- 著作権に関する法的知識を身につけたい方
講師

小宮自由

東京工業大学でコンピュータサイエンスを学び、東京大学ロースクールで法律を学ぶ。幾つかの職を経た後に渡欧し、オランダのIT企業でエンジニアとして従事する。その後東京に戻り、リクルートホールディングスでAI（自然言語処理）のソフトウェア作成業務に携わり、シリコンバレーと東京を行き来しながら働く。この時共著者として提出したAIの言語処理の論文『A Lightweight Front-end Tool for Interactive Entity Population』と『Koko: a system for scalable semantic querying of text』はそれぞれICML（International Conference on Machine Learning）とACMという世界トップの国際会議会議に採択される。その後、ブロックチェーン業界に参入。数年間ブロックチェーンに関する知見を深める。現在はBlendAI株式会社の代表としてAIキャラクターのデルタもんを発表したり、産業技術総合研究所(AIST)でAIに関する講演を行うなど、AIに関係した活動を行っている。

白井暁彦

Hacker作家。博士(工学)。AIDXやクリエイティブAIエンタメ・メタバース技術の研究開発を行う米国スタートアップ「AICU Inc.」のCEO。デジタルハリウッド大学大学院特任教授。「クリエイティブAIラボ」を主宰し、生成AI時代のクリエイティブリーダーを実装やサービス開発、技術書執筆を通して発信・育成している。1995年頃からメディアアート、ゲーム産業、イギリスやフランスに渡り世界のエンタメ産業におけるエンジニアリングを経験。帰国後、日本科学未来館での科学コミュニケーターや大学教員、メタバース産業での研究所ディレクターなどを経験し「つくる人をつくる」をポリシーに活動している。初SIGGRAPHは1997年のロサンゼルス。それ以降、毎年のように参加し「SIGGRAPH見聞記」など各種メディアでCG・インタラクティブ技術を伝えてきた。フランスLaval Virtual評議委員。日本バーチャルリアリティ学会IVRC実行委員会委員。芸術科学会副会長。
著書:
- 『画像生成 AI Stable Diffusionスタートガイド』
- 『AIとコラボして神絵師になる論文から読み解くStable Diffusion』
- 『白井博士の未来のゲームデザイン – エンターテイメントシステムの科学』
- 『超入門：Stable Diffusionではじめる画像生成AI』
- 『初級者：広告企画から動画制作までのプロセス』
- 『ComfyUIマスター：カスタムノードとアプリ開発』
- CGWORLD 2024年11月号 vol.315 表紙
榊正宗

榊正宗は1973年8月24日に福岡県で生まれ、日本のCGクリエイター、キャラクター企画者、映像作家、作家、そしてゲームディレクターとして広範な活動を展開しています。彼はキャラクター企画者として「東北ずん子＆ずんだもん」の企画原作を担当し、作家としては「社長少女 PRESIDENT GIRL」を発表しています。また、アニメ「アイドルマスターシンデレラガールズU149」や「無職転生〜異世界行ったら本気だす〜」などのプロジェクトにも関与しており、これらの活動を通じてエンターテイメントの分野で多くのクリエイティブな貢献をしています。

過去の実績
- Linuxサーバー管理　　非常勤講師　（2002年）
- 御茶ノ水美術専門学校　Flashアニメーション　非常勤講師（2015年ごろ）
- 日本工学院専門学校　MAYAアニメーション　非常勤講師（2017年ごろ）
- 代々木アニメーション学院　Blender3Dレイアウト・モデリング　非常勤講師（2020年～）
タイムテーブル

16:00〜17:00 セミナー
17:00〜17:30 質疑応答＆交流
途中退室は自由です。

小宮さん・榊さん・そしてしらいはかせの専門的なトークが楽しみですね。

先日開催された「ガンマミィジェネレーター」の開発秘話や「ガンマミィ誕生記念イラストコンテスト」についてや、今後の構想についても発表があるかもしれません。

期間限定無料「ガンマミィ・ジェネレーター」を提供開始！

【速報】ガンマミィ誕生記念! イラストコンテストBlendAI賞・まいにち投稿達成賞の発表！

本イベントはオンラインウェビナーを中心に、登壇者は田町キャンパスで行われるようです。当日は以下の各イベント告知サイトから参加登録の上ご参加ください。
- Peatix
https://blendai.connpass.com/event/334414

#人工知能, #生成系AI
あんしんAI生成

Originally published at https://note.com on Oct 18, 2024.
2024-10-18
[ComfyMaster25] 画像を自由自在に！ControlNetで完全制御
求める画像を生成するために、プロンプトだけでは物足りないですよね？
そんな時、ControlNetが助けになります！
ControlNetは画像生成の制御性を大幅に向上させる革新的な技術として注目を集めています。特に、最新のSDXL（Stable Diffusion XL）モデルと組み合わせることで、その威力は一層増しています。

こんにちわ、AICU media編集部です。
「ComfyUI マスターガイド」第25回目になります。
本記事では、ComfyUIを使用してSDXLでControlNetを活用する方法を、初心者の方にも分かりやすく解説していきます。

前回はこちら
 [ComfyMaster24] LoRAで表現をもっと自由に！スタイルを使いこなそう

[ComfyMaster24] LoRAで表現をもっと自由に！スタイルを使いこなそう

1. ControlNetとは何か？

ControlNetは、既存の画像生成モデルに「制御」の要素を加える技術です。従来の画像生成AIは、プロンプト（テキストによる指示）のみをネットワークに画像を生成していました。そのため、言語で表現しきれない要素はランダム性が強く、ユーザーの意図通りにならないことも多々ありました。ControlNetは、この問題を解決するために開発されました。

ControlNetを使用すると、プロンプトに加えて、追加の情報をAIに与えることができます。この追加情報には、画像の輪郭線、深度情報、ポーズ、セグメンテーションマップなど、様々な種類があります。AIはこれらの情報をもとに、よりユーザーの意図に合致した画像を生成することができるようになります。

簡単に言えば、従来のモデルが「自由に絵を描くアーティスト」だとすれば、ControlNetは「具体的な指示を出せるアートディレクター」のような役割を果たします。

2. 各種ControlNetの説明と用途

ControlNetには、様々な種類があります。それぞれが異なる種類の条件に対応しており、用途も異なります。ここでは、代表的なControlNetの種類とその用途について解説します。

Canny Edge（キャニーエッジ）

入力画像からエッジ（輪郭線）を検出し、そのエッジを元に画像を生成します。エッジ検出には、Cannyアルゴリズムと呼ばれる手法が用いられます。Cannyアルゴリズムは、ノイズの影響を受けにくく、正確なエッジを検出することができるため、ControlNetで広く利用されています。

主に以下のような用途で使用されます。
- 特定の形状を維持したまま、スタイルやテクスチャを変更したい場合: 例えば、建物の写真からエッジを検出し、そのエッジを元に、建物のスタイルを和風や洋風に変更することができます。
- スケッチや線画を元に、リアルな画像を生成したい場合: 手描きのスケッチや線画からエッジを検出し、そのエッジを元に、写真のようなリアルな画像を生成することができます。
- ロゴやイラストのトレース: ロゴやイラストをスキャンしてエッジを検出し、そのエッジを元に、ベクター画像を作成することができます。
Depth Map（深度マップ）

入力画像の奥行き情報を利用して、立体感のある画像を生成します。奥行き情報は、画像中の各ピクセルがカメラからどれだけ離れているかを表す情報です。深度マップは、白黒画像で表現され、白い部分が近く、黒い部分が遠くを表します。

主に以下のような用途で使用されます。
- 3D的な表現や、奥行きを強調したい場合: 例えば、風景写真から深度マップを生成し、その深度マップを元に、より奥行き感のある風景画を生成することができます。
- ミニチュア風写真: 通常の写真から深度マップを生成し、その深度マップを元に、ミニチュア模型のような写真を作成することができます。
- 背景のぼかし: 深度マップを利用して、被写体以外をぼかした写真を作成することができます。
Pose Estimation（ポーズ推定）

入力画像から人間の骨格情報（ポーズ）を推定し、そのポーズを元に画像を生成します。ポーズ推定には、OpenPoseなどのAIモデルが用いられます。OpenPoseは、画像から人間の関節の位置を検出し、骨格を推定することができます。

主に以下のような用途で使用されます。
- キャラクターデザインやイラスト制作で、特定のポーズを表現したい場合: 例えば、人物の写真からポーズを推定し、そのポーズを元に、アニメキャラクターや漫画キャラクターを生成することができます。
- ダンスやスポーツの動きを分析: ビデオからポーズを推定することで、ダンスやスポーツの動きを分析することができます。
- モーションキャプチャ: 人間の動きを計測し、その動きを3DCGキャラクターに反映させることができます。
Scribble（落書き）

簡単な手描きの線画から、詳細な画像を生成します。Scribble ControlNetは、線画を元に、画像の内容を推定し、その内容に沿った画像を生成します。

主に以下のような用途で使用されます。
- アイデアのスケッチを元に、具体的なビジュアルを得たい場合: 例えば、新しい製品のアイデアをスケッチし、そのスケッチを元に、製品の完成イメージを生成することができます。
- ラフ画からイラストを生成: 簡単なラフ画を元に、詳細なイラストを生成することができます。
- ストーリーボード作成: 映画やアニメのストーリーボードを作成する際に、Scribble ControlNetを利用して、各シーンのイメージを生成することができます。
Segmentation Map（セグメンテーションマップ）

入力画像を複数の領域に分割し、各領域にラベルを付けたものです。セグメンテーションマップは、画像中のどの部分がどのオブジェクトに対応するかをAIに教えるために使用されます。

主に以下のような用途で使用されます。
- シーン全体の構成をコントロールしたい場合: 例えば、風景写真をセグメンテーションマップで分割し、「空」・「海」・「山」などのラベルを付けることで、それぞれの領域の色やテクスチャを個別に制御することができます。
- 画像編集: セグメンテーションマップを利用して、特定のオブジェクトだけを切り抜いたり、色を変更したりすることができます。
- 自動運転: 自動運転システムでは、セグメンテーションマップを利用して、道路、歩行者、信号機などを認識しています。
HED boundary

HED boundary（Holistically-Nested Edge Detection）は、画像からエッジ（境界線）を検出するControlNetです。Canny Edgeと同様に画像の輪郭を捉えますが、HED boundaryはより繊細で複雑なエッジを検出することに特化しています。これは、人物の髪の毛や衣服の細かい模様、自然風景の複雑な葉っぱの形状など、Canny Edgeでは捉えきれない微細なエッジを検出できることを意味します。

主に以下のような用途で使用されます。
- より写実的な画像生成: HED boundaryは、より詳細なエッジ情報を捉えるため、生成される画像のリアリティを高めるのに役立ちます。特に、人物のポートレートや自然風景など、細部まで描き込みたい場合に効果的です。
- 複雑なテクスチャの再現: 衣服の織り目や木の葉の葉脈など、複雑なテクスチャをより忠実に再現したい場合に適しています。
- アニメ・漫画風画像の生成: 線画の質感を重視するアニメや漫画風の画像を生成する場合にも、HED boundaryは有効です。
Normal map (法線マップ)

Normal map（法線マップ）は、画像の表面の向きを表す情報です。各ピクセルに、その地点における表面の法線ベクトル（表面に対して垂直なベクトル）の情報が格納されています。法線マップは、3Dグラフィックスで物体の表面の陰影や反射を表現するために広く使われています。

ControlNetにおけるNormal mapは、この法線マップの情報を利用して、立体感や陰影をより精密に制御することができます。

主に以下のような用途で使用されます。
- 3Dモデルのような立体的な画像生成: 法線マップの情報を利用することで、光源の位置や強さを考慮した、リアルな陰影表現が可能になります。
- 金属やガラスなどの質感表現: 法線マップは、金属の光沢やガラスの透明感など、材質感を表現するのにも役立ちます。
- 彫刻やレリーフのような表現: 法線マップを利用することで、画像に彫刻やレリーフのような凹凸感を表現することもできます。
Lineart

Lineartは、画像から線画を抽出するControlNetです。Canny EdgeやHED boundaryも線画を検出できますが、Lineartは特にアニメや漫画のような線画スタイルの画像に特化しています。

主に以下のような用途で使用されます。
- アニメ・漫画風画像の生成・編集: 線画を強調したイラストを作成したり、既存の画像を線画化したりすることができます。
- イラストの着色: 線画を抽出後、ControlNetと組み合わせて自動的に着色したり、手動で着色したりすることができます。
- 線画のクリーンアップ: スキャンした線画のノイズ除去や線の補正など、線画の編集作業に利用できます。
Pidi (Softedge)

Pidi (Softedge) は、画像からソフトなエッジを検出するControlNetです。Canny EdgeやHED boundaryのようなシャープなエッジではなく、ぼかしのかかったような滑らかなエッジを抽出します。Pidiは、softedgeという別名でも知られています。

主に以下のような用途で使用されます。
- 水彩画やパステル画のような、柔らかいタッチの画像生成: ソフトなエッジは、水彩画やパステル画など、境界線がぼやけた表現に適しています。
- 被写体の輪郭を強調しながら、自然な雰囲気を保ちたい場合: シャープなエッジでは硬すぎる印象になる場合に、Pidiを用いることで、より自然で優しい雰囲気の画像を生成できます。
- 写真から絵画風に変換: 写真のエッジをPidiでソフトにすることで、絵画のような風合いを出すことができます。
TEED

TEEDは、Tiny and Efficient Edge Detector の略称で、軽量ながらも高精度なエッジ検出を行うControlNetです。わずか58Kのパラメータ数で、最先端モデルと比較してサイズが0.2%未満と非常に軽量なのが特徴です。

ControlNetにおいては、TEEDは入力画像からソフトなエッジを抽出し、それを元に画像生成を行います。Canny Edgeなどとは異なり、境界線がぼやけた、より自然で滑らかなエッジ検出を得意としています。特にSDXLとの組み合わせに最適化されています。

主に以下のような用途で使用されます。
- SDXLを用いた、ソフトエッジを強調した画像生成: 水彩画、パステル画、印象派の絵画など、ソフトなタッチの画像を生成する際に効果的です。
- 入力画像の雰囲気を維持した画像生成: 画像全体の構図や色調を維持しつつ、異なる要素を追加したり、スタイルを変更したりすることができます。
- プロンプトエンジニアリングの負担軽減: プロンプトなしで、入力画像のエッジ情報を元に画像生成ができるため、プロンプト作成の手間を省くことができます。
MLSD

MLSD (Multi-Level Line Segment Detector) は、画像から直線を検出することに特化したControlNetです。建物や道路、家具など、直線的な要素が多い画像から、正確な直線情報を抽出することができます。

主に以下のような用途で使用されます。
- 建築物や都市景観の画像生成: 建物の輪郭や道路のラインなどを正確に捉え、リアルな都市景観を生成できます。
- 幾何学模様のデザイン: 直線や多角形を組み合わせた幾何学模様のデザインを作成する際に役立ちます。
- パースペクティブの修正: 写真の歪みを修正したり、パースペクティブを強調したりする際に利用できます。
Tile

Tile は、入力画像をタイル状に繰り返し配置して、シームレスなパターンを生成するControlNetです。元絵の構図や特徴を維持した状態で画像生成が可能なため、

主に以下のような用途で使用されます。
- 画像のアップスケール：低解像度の画像を高解像度に変換する際に使用されます。Tileモデルは、画像の細部を補正し、テクスチャを改善することで、より高品質な画像を生成します。
- 細部の補正：生成された画像の細部を修正する際に使用されます。Stable Diffusionが細部の調整に苦手な場合、ControlNet Tileを使用して、画像の細部を微調整することができます。
- 質感やテクスチャの変更：画像の質感やテクスチャを変更する際に使用されます。ControlNet Tileは、肌の質感を調整したり、アニメ風にしたり、自由度の高い変更が可能です。
3. ControlNetの使用準備

カスタムノードのインストール

ControlNetを使用するために、「ComfyUI’s ControlNet Auxiliary Preprocessors」をインストールします。標準ノードだけでもControlNetを使用できますが、本記事で紹介したControlNetの一部しか実現できません。そのため、カスタムノードをインストールし、使用できるControlNetの幅を広げます。ComfyUI’s ControlNet Auxiliary Preprocessorsは、ComfyUI Managerからインストール可能です。

以下がリポジトリになります。
https://github.com/Fannovel16/comfyui_controlnet_aux

https://cdn.iframe.ly/Q5NLoiy?v=1&app=1

プリプロセッサーモデルのダウンロード

ControlNetの使用には、プリプロセッサーモデルが必要になるため、そのモデルをダウンロードします。SDXLには、controlnet-union-sdxl-1.0という、これまでに紹介した各種ControlNetを1つに集約した便利なモデルがあります。今回は、このモデルを使用します。以下のリンクよりファイルをダウンロードし、Google Colabを使用しているDriveで「ComfyUI/models/controlnet」フォルダに格納してください。
https://huggingface.co/xinsir/controlnet-union-sdxl-1.0/resolve/main/diffusion_pytorch_model.safetensors

参照元画像

ControlNetの参照元画像として以下の画像を使用します。

画像ファイルは、以下よりダウンロードください。
- 画像をダウンロード（右クリックで保存）
  ☆この画像にworkflowは埋め込まれていません。
https://note.com/api/v2/attachments/download/c6c1a646ad8faf1778658c65e1ccde89

workflowは文末にて。

4. ワークフロー解説

このワークフローは、入力された女性の画像の構造（深度情報）を保持しながら、指定されたプロンプトに基づいて男性の特徴を持つ新しい画像を生成します。結果として、元の画像の構図や照明条件を維持しつつ、全く異なる人物（男性）の画像が生成されることが期待されます。これは、ControlNetと深度マップを組み合わせた高度な画像変換・生成の例といえます。

以下に、このワークフローの主要な部分とその機能を図示し、詳細に説明します。
1. 入力画像の読み込みと深度マップ生成
  - Load Imageノード: 「girl-for-controlnet.jpeg」を読み込みます。
  - Depth Anything V2 – Relativeノード: 入力画像から深度マップを生成します。
  - 使用モデル: 「depth_anything_vitl14.pth」
  - 解像度: 512
  - Preview Imageノード: 生成された深度マップをプレビューします。
2. モデルとControlNetの読み込み
  - Load Checkpointノード: 今回は「RealVisXl.safetensors」モデルを使用。
  - Load ControlNet Modelノード: 「controlnet-union-sdxl-1.0.safetensors」を読み込みます。
3. プロンプト処理 (CLIPTextEncode ノード x2)
  - ポジティブプロンプト: 「1boy, solo, looking_at_viewer, brown_hair, spiky_hair, no_glasses, confident_expression, hoodie, indoors, sunlight, soft_lighting, detailed_background, aesthetic」
  - ネガティブプロンプト: 「bad hand,bad anatomy,worst quality,ai generated images,low quality,average quality, nsfw, nude, naked,」
4. ControlNetの適用 (Apply ControlNet (Adovanced) ノード)
  - 深度マップ、ControlNet、およびプロンプトの条件付けを組み合わせます。
  - 強度: 0.40 (ControlNetの影響力)
5. 潜在画像の準備 (Empty Latent Image ノード)
  - 「girl-for-controlnet.jpeg」と同じサイズである「1024×768」を設定
6. 画像生成 (KSampler ノード)
  - Seed: 860227022998597
  - Steps: 20
  - CFG Scale: 8
  - Sampler: dpmpp_2m
  - Scheduler: karras
7. 画像のデコードと保存
  - VAE Decode ノード: 生成された潜在表現を実際の画像にデコードします。
  - Save Image ノード: 最終的に生成された画像を “controlnet_lineart” という名前で保存します。
5. ワークフローの検証

それでは、ワークフローを実行してみましょう。ControlNetの強度を0.40で生成してみます。以下が生成結果です。しっかりプロンプトに従った画像になっています。

参照元画像と比較してみましょう。構図を維持しながら、人物を変えることに成功しています。

次にControlNetの強度を0.80にしてみます。そうすると、参照元画像の女性に近づき、ポニーテールの中性的な男性の画像が生成されました。

反対に強度を0.10と低くしてみます。今度は参照元画像から離れ、体勢も変わってしまっています。

以下が強度別の生成結果になります。強度が高くなるにつれ、参照元画像に近づき、強度が小さくなるにつれ、参照元画像に似なくなっていることが分かります。

6. まとめ

ControlNetは、画像生成AIの可能性を飛躍的に広げる革新的な技術です。輪郭線、深度情報、ポーズなど様々な条件をAIに与えることで、これまで以上にユーザーの意図を反映した画像生成が可能になります。この記事では、Canny Edge、Depth Map、Pose Estimationなど主要なControlNetの種類とその用途を紹介し、具体的なワークフロー例を通して、その驚くべき効果を実証しました。ControlNetを使いこなすことで、マーケティング素材の作成、イラストやデザイン制作、3Dモデリングなど、様々な分野で創造性を加速させることができます。ぜひ、ControlNetの力を体感し、あなたのクリエイティブな活動を新たなステージへと導いてください。

次回は、 ControlNetでイラストを精密に実写化！を紹介します。
乞うご期待！

https://note.com/aicu/n/n4fafc970da0a

X(Twitter)@AICUai もフォローよろしくお願いいたします！

画像生成AI「ComfyUI」マスターPlan

画像生成AI「Stable Diffusion」特に「ComfyUI」を中心としたプロ向け映像制作・次世代の画像生成を学びたい方に向けたプランです。最新・実用的な記事を優先して、ゼロから学ぶ「ComfyUI」マガジンからまとめて購読できます。メンバーシップ掲示板を使った質問も歓迎です。
- メンバー限定の会員証が発行されます
- 活動期間に応じたバッジを表示
- メンバー限定掲示板を閲覧できます
- メンバー特典記事を閲覧できます
- メンバー特典マガジンを閲覧できます
- 動画資料やworkflowといった資料への優先アクセスも予定
ゼロから学ぶ「ComfyUI」マガジン

https://note.com/aicu/m/md2f2e57c0f3c

マガジン単体の販売は1件あたり500円を予定しております。
2件以上読むのであればメンバーシップ参加のほうがお得です！というのもメンバーシップ参加者にはもれなく「AICU Creator Union」へのDiscordリンクをお伝えし、メンバーオンリー掲示板の利用が可能になります。

https://note.com/aicu/membership/boards/61ab0aa9374e/posts/db2f06cd3487?from=self

もちろん、初月は無料でお試しいただけます！
毎日新鮮で確かな情報が配信されるAICUメンバーシップ。
退会率はとても低く、みなさまにご満足いただいております。
✨️オトクなメンバーシップについての詳細はこちら

[新連載] ここからはじめる「ComfyUIマスターガイド」

この記事の続きはこちらから https://note.com/aicu/n/n151f019bcc92

Originally published at https://note.com on Oct 17, 2024.
2024-10-17