タグ: SD

  • [4]ComfyUIカスタムノード導入ガイド! 初心者でも安心のステップバイステップ解説

    こんにちわ、AICU media編集部です。
    「ComfyUI マスターガイド」第4回目になります。今回は、ComfyUI Managerの基本的な使い方についてお届けしたいと思います。
    この先のComfyUIの使いこなしを学ぶ上で、必須となる「カスタムノード」と「モデル」の導入にあたり必須の知識を解説します!

    前回はこちら シリーズ初回はこちら

    ComfyUIを最大限に活用するための第一歩!

    ComfyUIの拡張機能は、画像生成の幅を広げるために必須なツールです!様々な効果や機能を追加することで、あなたのアイデアを形が更に広がっていきます。この記事では、基本となるカスタムノードモデルのインストール方法をステップバイステップで解説していきます。

    ComfyUI Managerへのアクセス

    • メニューバー下部の「Manager」ボタンをクリックします。
    画像
    • ComfyUI Managerのインターフェースが新しいウィンドウで開きます。
    画像

    カスタムノードのインストール

    • Manager画面の「Custom Nodes Manager」ボタンをクリックします。
    画像
    • 利用可能なカスタムノードのリストが表示されます。
    画像
    • インストールしたいノードの横にある「Install」ボタンをクリックします。

      ★このあとアンインストールまで試しますので何を選んでも構いません。
    画像
    • インストールが完了すると、ComfyUIの再起動を求められるので、下部の「Restart」ボタンを押下します。
    画像
    • 再起動が完了するまで待機します。再起動中は、”Reconnecting…”というメッセージが中央に表示され、完了すると、このメッセージが消えます。
    画像
    • 再度「Custom Nodes Manager」を開き、以下の画像のように表示が変わっていると、インストールが完了しています。
    画像

    このとき、『Restart Required』の表示から変わらないようでしたら、
    ブラウザから更新をしてみると解決するかもしれません。

    「使いたいけど、まだ入れてないノードがある!」そんな時は

    例えば、他の人が作成したワークフローを自身のComfyUI環境に読み込ませて使用する際に、自身の環境にインストールされていないカスタムノードが使用されている場合、以下の画像のようにノードにエラーが発生することがあります。これを解消するために、インストールされていないノードのみを表示し、インストールしてくれる機能がComfyUI Managerにはあります。

    画像
    • エラーのあるワークフローを表示している状態で、Manager画面の「Install Missing Custom Nodes」ボタンをクリックします。
    画像
    • インストールされていないカスタムノードの一覧が表示されます。ここから前項で解説したカスタムノードのインストールを実行することで、現在のワークフローに必要なカスタムノードのみをインストールできます。
    画像

    モデルのインストール

    カスタムノードのインストールについては以上となります。
    次は、モデルのインストールについて説明をしてまいります。
    モデルとは、Stable Diffusionでオリジナルの画像を生成するために必要な学習済みファイルのことを指しております。公開されている様々なモデルを利用することで、イラスト風や実写風など様々なテイストで画像を生成することができます。

    ここでは練習として「TAESD」をインストールしてみます。
    ★このあとアンインストールまで試しますので何を選んでも構いません。

    早速試してみましょう!

    • 「Models Manager」ボタンをクリックします。
    画像
    • 利用可能なモデルのリストが表示されます。
    画像
    • インストールしたいモデルの横にある「Install」ボタンをクリックします。
    画像
    • インストールが完了すると、Refreshを求められます。
    画像
    • メインメニューで「Refresh」ボタンをクリックします。
    画像
    • 再度「Models Manager」を開くと、「Install」にチェックが入っており、インストールができていることが確認できます。
    画像
    • インストールされたモデルは、「Save Path」で指定されているフォルダに格納されます。今回の例だと、”ComfyUI/models/vae_approx“フォルダに格納されます。
    画像

    不要なモデルはディスク節約のために削除しておきましょう。

    アップデートの実行

    • Manager画面には、3種類のアップデート方法が用意されています。それぞれのボタンを押下することで、アップデートが実行されます。
      • Update All: ComfyUI本体およびカスタムノードを最新の状態に更新します。
      • Update ComfyUI: ComfyUI本体のみを更新します。
      • Fetch Updates: カスタムノードのみを最新の状態に更新します。
    画像

    注意点

    • カスタムノードやモデルをインストールする前に、それらの機能や使用方法をよく理解することが重要です。
    • 大量のカスタムノードをインストールすると、ComfyUIの起動時間が長くなる可能性があります。
    • モデルのダウンロードには時間がかかる場合があります。特に大きなモデルの場合は注意が必要です。

    ComfyUI Managerを効果的に使用することで、ComfyUIの機能を大幅に拡張し、より創造的な画像生成が可能になります。初心者の方でも、このツールを使いこなすことで、高度な機能を簡単に利用できるようになるでしょう。

    【最新】
    こちらの記事もどうぞ。最先端のFLUX.1[dev]のComfyUIでの利用例です。

    ✨️オトクなメンバーシップについての詳細はこちら

    ゼロから学ぶ「ComfyUI」マガジン(単品販売)

    https://note.com/aicu/m/md2f2e57c0f3c

    今回の有料特典は、インストールをしたモデルを使用して、AICUで公開しているキャラクター『全力肯定彼氏君 LuC4』くんを生成したいと思います。是非皆さんも、こちらを参考に様々なモデル・カスタムノードを試してみて、是非Xなどで公開をしてみていただけると編集部一同喜びます!(その際は、  #AICU_LuC4  のハッシュタグを是非ご利用ください!)


    この記事の続きはこちらから https://note.com/aicu/n/n4295d336677e

    Originally published at https://note.com on Aug 9, 2024.

  • [3]ゼロからつくるとよく分かる!ComfyUIワークフロー作成で学ぶStable Diffusionの内部動作

    おかげさまで第3回となりました!
    今回の「ComfyUIマスターガイド」では、連載第3回はComfyUIに初期設定されている標準のワークフローを自分の手で一から作成し、ノード、Stable Diffusionの内部動作の理解を深めていきます!

    前回はこちら

    1. ワークフローの作成手順

    今回作成するワークフローは、ComfyUIの初回起動時に表示される標準のワークグラフになります。Stable Diffusion 1.5を使った標準的なグラフで画像生成を実現するシンプルなグラフになります。

    画像

    上図のように、左側からノードを順に追加していき、最後に各ノードの入力/出力ポートを接続します。

    2. ワークフローのクリア

    ComfyUIを起動すると、以下の画像のように標準のグラフが表示されます。今回は、一からこのグラフを作成するため、全てのノードを削除します。ここで、右下のコントローラから「Clear」を選択します。

    画像

    上部に以下のようなダイアログが表示され、「Clear workflow?」と尋ねられるので、「OK」ボタンを押下します。

    画像

    そうすると、画面上の全てのコンポーネントが削除され、真っさらな状態になります。

    画像

    3. モデルのロード (Load Checkpoint)

    まずは、モデルをロードするノード「Load Checkpoint」を追加します。
    グラフ上の何もない箇所で左ダブルクリックします。そうすると、ノードの検索ダイアログが表示されます。

    画像

    検索ダイアログの検索バーに「load checkpoint」と入力します。検索バーの下部のノード一覧に検索にヒットしたノードが表示されます。ここから「Load Checkpoint」を選択します。

    画像

    Load Checkpointがワークグラフ上に追加されます。

    画像

    Load Checkpointでは、使用するモデルを選択します。Load Checkpointのパラメータ「ckpt_name」をクリックすると、インストール済みのモデル一覧が表示されます。今回は、「v1-5-pruned-emaonly.ckpt」を選択します。
    このファイルは Stable Diffusion 1.5のベースとなるモデルチェックポイントファイルとなります。

    画像

    これでLoad Checkpointの作成が完了になります。ワークグラフ上には、Load Checkpointのみが組み込まれている状態になります。

    画像

    4. プロンプトの設定 (CLIP Text Encode (Prompt))

    次は、プロンプトを設定するノード「CLIP Text Encode (Prompt)」を追加します。前項と同様に、グラフ上の何もないところでダブルクリックして検索ダイアログを開き、検索バーに「clip text encode」と入力し、表示されたノードから「CLIP Text Encode (Prompt)」を選択します。

    画像

    ワークグラフ上にCLIP Text Encode (Prompt)が追加されます。

    画像

    プロンプトは、ポジティブプロンプトネガティブプロンプトが必要になるため、CLIP Text Encode (Prompt)は2つ必要になります。先ほど追加したCLIP Text Encode (Prompt)を複製し、プロンプト用のノードを2つ用意します。

    先ほど追加したCLIP Text Encode (Prompt)上で右クリックすると、ノード用のコンテキストメニューが表示されます。この中から「Clone」を選択します。

    画像

    「Clone」が実行され、CLIP Text Encode (Prompt)が複製されます。複製された直後は、複製元のノードと重なって表示されるため、1つのノードに見えますが、しっかり複製されています。重なっていると見づらいため、ノードをドラッグし、下の方に移動しましょう。

    画像

    今回は、作成した2つのノードのうち、上のノードをポジティブプロンプト、下のノードをネガティブプロンプトとして利用します。

    ※もし見分けがつきにくいときは、「Colors」からノードの色を変えてみると良いかもしれません。

    画像

    入力するプロンプトは、お好みのプロンプトを入力して問題ありませんが、
    今回は標準のワークフローに記載されていた内容を入力してみましょう。

    ポジティブプロンプトには、
    beautiful scenery nature glass bottle landscape, purple galaxy bottle
    を入力します。

    画像

    ネガティブプロンプトには、
    worst quality, low quality, normal quality
    を入力します。
    ここでは、低いクオリティの画像が生成されないように「見たくものを入れる指示」を与えています。部品としては画像を生成するためのプロンプト(ポジティブプロンプト)と同じCLIPというテキストと画像の対比を学習した条件付けのためのモデルを利用しています。

    画像

    これでプロンプトの設定が完了です。現状のワークグラフ上には、Load CheckpointCLIP Text Encode (Prompt)が2つ表示されている状態になります。

    画像

    5. 空の潜在空間の画像の作成 (Empty Latent Image)

    次に空の潜在空間の画像を作成するノード「Empty Latent Image」を追加します。前項と同様に検索ダイアログを開き、検索バーに「empty latent image」と入力し、表示されたノードから「Empty Latent Image」を選択します。

    画像

    ワークグラフ上にEmpty Latent Imageが追加されます。

    画像

    Empty Latent Imageの各パラメータの設定は、初期値をそのまま利用します。
    Stabled Diffusion 1.5の場合はデフォルトのまま「512×512」、「batch_size = 1」で構いません。Stable Diffusion XL (SDXL) の場合は「1024×1024」です。

    画像

    これで空の潜在空間の画像を作成するノードの追加が完了です。ワークグラフ上には、Load CheckpointCLIP Text Encode (Prompt)が2つ、Empty Latent Imageが表示されている状態になります。

    画像

    ※Stable Diffusion XL (SDXL) を使用する場合はEmpty Latent Imageの width, heightは 1024 にすべきであることをお忘れなく。

    画像

    6. サンプリングの実行 (KSampler)

    次は、サンプリングを実行するノード「KSampler」を追加します。前項と同様に検索ダイアログを開き、検索バーに「ksampler」と入力し、表示されたノードから「KSampler」を選択します。

    画像

    ワークグラフにKSamplerが追加されました。

    画像

    KSamplerの各パラメータの設定は、初期値をそのまま利用します。

    画像

    これでサンプリングの実行ノードの追加が完了です。ワークグラフ上には、Load CheckpointCLIP Text Encode (Prompt)が2つ、Empty Latent ImageKSamplerが表示されている状態になります。

    画像

    7. 潜在空間のデコード (VAE Decode)

    次は、潜在空間のでコードを行うノード「VAE Decode」を追加します。前項と同様に検索ダイアログを開き、検索バーに「vae decode」と入力し、表示されたノードから「VAE Decode」を選択します。

    画像

    ワークグラフ上にVAE Decodeが追加されます。

    画像

    VAE Decodeはパラメータを持たないので、これでVAE Decodeの追加が完了になります。現状のワークグラフには、Load CheckpointCLIP Text Encode (Prompt)が2つ、Empty Latent ImageKSamplerVAE Decodeが表示されている状態になります。

    画像

    8. 画像の保存 (Save Image)

    次は、生成した画像の保存を行うノード「Save Image」を追加します。前項と同様に検索ダイアログを開き、検索バーに「save image」と入力し、表示されたノードから「Save Image」を選択します。

    画像

    ワークグラフ上にSave Imageが追加されます。

    画像

    Save Imageのパラメータでファイル名のプレフィックスを設定できます。お好みのプレフィックスを設定してください。今回は、初期値の「ComfyUI」を使用します。

    画像

    これで画像の保存ノードの追加が完了です。現状のワークグラフは、Load CheckpointCLIP Text Encode (Prompt)が2つ、Empty Latent ImageKSamplerSave Imageが表示されている状態になります。

    画像

    9. 各ノードの接続

    ここまでに追加した各ノードを接続していきます。

    Load CheckpointとCLIP Text Encode (Prompt)の接続

    最初にLoad Checkpointの出力ポート「CLIP」と、2つのCLIP Text Encode (Prompt)の入力ポート「clip」を接続します。まずは、ポジティブプロンプト用のCLIP Text Encode (Prompt)と接続するために、Load Checkpointの出力ポート「CLIP」の黄色のドットをドラッグします。

    画像

    ドラッグした状態でマウスを動かすと、以下の画像のようにポートから線が伸びます。

    画像

    この状態でCLIP Text Encode (Prompt)の入力ポート「clip」の黄色のドットまでマウスを移動させます。

    画像

    CLIP Text Encode (Prompt)の入力ポート「clip」の黄色のドットの上にドロップすることで、ノードを接続することができます。

    画像

    同様にネガティブプロンプト用のCLIP Text Encode (Prompt)と接続させます。

    画像

    CLIP Text Encode (Prompt)とKSamplerの接続

    CLIP Text Encode (Prompt)の出力ポート「CONDITIONING」と、KSamplerの入力ポート「positive」および「negative」を接続します。

    まずは、ポジティブプロンプト用のCLIP Text Encode (Prompt)(上部のノード)の出力ポート「CONDITIONING」と、KSamplerの入力ポート「positive」を接続します。前述した方法でポートを接続してください。

    画像

    次に、ネガティブプロンプト用のCLIP Text Encode (Prompt)(下部のノード)の出力ポート「CONDITIONING」と、KSamplerの入力ポート「negative」を接続します。

    画像

    Load CheckpointとKSamplerの接続

    Load Checkpointの出力ポート「MODEL」と、KSamplerの入力ポート「model」を接続します。前述した方法でポートを接続してください。
    CLIP Text Encode (Prompt)を跨いで接続するため見づらいですが、紫色の線で繋がっています。

    画像

    Empty Latent ImageとKSamplerの接続

    Empty Latent Imageの出力ポート「LATENT」と、KSamplerの入力ポート「latent_image」を接続します。前述した方法でポートを接続してください。

    画像

    Load CheckpointとVAE Decodeの接続

    Load Checkpointの出力ポート「VAE」と、VAE Decodeの入力ポート「vae」を接続します。前述した方法でポートを接続してください。
    複数のノードを跨いで接続するため見づらいですが、赤色の線で繋がっています。

    画像

    KSamplerとVAE Decodeの接続

    KSamplerの出力ポート「LATENT」と、VAE Decodeの入力ポート「samples」を接続します。前述した方法でポートを接続してください。

    画像

    VAE DecodeとSave Imageの接続

    VAE Decodeの出力ポート「IMAGE」と、Save Imageの入力ポート「images」を接続します。前述した方法でポートを接続してください。

    画像

    10. ワークフローの完成!

    これでワークフローが完成しました。最終的なグラフは、以下の画像のようになっています。

    画像

    それでは、作成したワークフローで画像生成ができるか試してみましょう。「Queue Prompt」をクリックして、画像生成を実行します。

    画像

    無事に画像生成が成功しました。皆様の環境でも画像生成が成功したでしょうか。失敗した場合は、どこかに誤りがある可能性があるので、ここまでの内容を再度見直してみると解決できると思います。

    今回、ワークフローを一から組んでいくことで個々のノードについてと、ノードとノードを繋げていくことでのワークフロー全体への理解や、Stable Diffusionの内部動作への理解を深めることができました!

    次回はカスタムノードとモデルのダウンロードについてお送りしたいと思います!

    ✨️オトクなメンバーシップについての詳細はこちら

    この記事の続きはこちらから https://note.com/aicu/n/n843e3cdbb190

    Originally published at https://note.com on Aug 7, 2024.

  • 「AICUマガジンVol.3」Kindle Unlimitedにて無料配信開始!!

    こんにちわ。AICU media編集部です。
    「つくる人をつくる・わかるAIをとどける」高校生でも楽しめる未来のクリエイターのためのクリエイティブAI情報誌「AICUマガジン Vol.3」は2024年6-7月合併号!「いまこそしりたい画像生成AIの社会と倫理」と題して、気になる画像生成AIの法律と倫理についてまとめてお届けします。

    生成AIを使ってみたいけど法律的に大丈夫なの? こんな使い方をしてみたいんだけど炎上しないかな…? そんなお悩みにAICUが具体的な練習問題とともにわかりやすくお届けします! 

    「AICUマガジンVol.3」の見どころ🤩

    ⚖️ 特集「いまこそ知りたい画像生成AIの社会と倫理」⚖️

    AIイラストの著作権問題から、炎上しないための使い方まで徹底解説!🔥 具体的な練習問題で楽しく学べちゃう!💯

    画像

    🚀 特集「AICU media 上半期人気記事一挙紹介」🚀

    2024年上半期にバズったAIツール、サービスを見逃し厳禁!👀

    画像

    🎨 サクッと先取り!クリエイティブAIツール 🎨

    プロンプトからサイトが作れる!?話題の「CREATE.xyz」を使ってみた!未来のWebデザインを体験!✨

    画像

    「Stability AI Fan!」

    Stable Diffusionユーザー必見!ディープな情報満載!😎

    画像
    画像
    画像

    📰 イベントレポート 📰

    「技術書典16」「JETRO AiSalon Tokyo June 2024」「Google for Japan」…注目のイベントをレポート!

    画像
    画像
    画像
    画像

    💡「ようこそ!アイキュー部」💡

    大人気連載漫画!10分でAIの基礎知識をGET!🧠
    なんと豪華51ページ相当の学習コンテンツを一挙掲載!!

    画像

    今回は「ようこそアイキュー部」の漫画版が始まる前の前日譚から…

    • Google Slidesでバリエーション広告を大量生成
    • バッチファイルでバリエーション広告を生成(1)使ってみよう編
    • バッチファイルでバリエーション広告を生成(2)解説編
    • 漫画版 第1話(再掲)
    画像
    画像

    ✍️ 編集コラム ✍️

    「画像生成AIは飽きる、飽きられる、だからこそプロの仕事はこうなる。」プロの視点から見た、画像生成AIとの向き合い方とは…?🤔

    画像

    🌸 はるしね~しょん(編集部だより) 🌸

    編集部の裏側をチラ見せ!AICUマガジンの制作秘話も…?🤫

    🎁 特別コンテンツ 🎁

    2024年12月末まで視聴可能【生成AIの社会と倫理】「画像生成AI Stable Diffusion スタートガイド」 #SD黄色本 公式ワークショップ

    画像

    話題の #SD黄色本 ワークショップが期間限定で視聴可能! お見逃しなく!

    美麗な表紙は
    インフルエンサーな「デルタもん」

    画像

    イラストレーター/キャラクターデザイナーの犬沢某さんが製作してくださいました

    ▼表紙を担当させていただきました。犬沢某(いぬさわばう)です。
    今回のテーマは「画像生成AI時代の社会と倫理」ということで、
    生成AI時代の社会に支えられるキャラクターの代表でもある「デルタもん」を描かせていただきました。
    近い将来、デルタもんのコスプレをしながら、ファッションモデルのようなインフルエンサーさんが、街中で自撮りをしている姿を見る日が来るかもしれませんね。
    テクニック的にはSD黄色本の内容で、AUTOMATIC1111を使って生成したものです。
    ふだんはオーバーオールを着た犬の少年ばかり描いています。
    犬沢某 (いぬさわばう/BowInusawa)

    🐶ばう先生、いつもありがとうございます🐾

    そして…気になる夏のアートコンテスト結果は…!?ファイナリストの皆さんを紹介

    詳しくは「AICUマガジン Vol.3」本誌🎉 読者のひろば🎉誌上にて!
    力作が集結!栄冠は誰の手に…?🏆


    レベルアップしたクリエイティブな夏休みを過ごそ~!🌻
    Kindle Unlimitedで無料です!

    https://j.aicu.ai/MagV3

    バックナンバーはこちら https://ja.aicu.ai/mag/

    https://note.com/aicu/n/n61476a3fc852

    https://prtimes.jp/main/html/rd/p/000000017.000133647.html

    #AICUマガジン #画像生成AI #著作権 #AIイラスト #生成AIの社会と倫理

    Originally published at https://note.com on Aug 6, 2024.

  • 超高速なAUTOMATIC1111をクラウド上で利用できる「ConoHa AI Canvas」リリース!担当さんに突撃インタビューしてみた

    2024年8月1日、「ConoHa by GMO」 が画像生成AIサービス「ConoHa AI Canvas」を開始しました。

    https://j.aicu.ai/gmo_news_9080

    ConoHa AI Canvas とは

    画像

    ・知識不要で Stable Diffusion XL をクラウド上で簡単に操作できるサービス
    ・ブラウザだけで簡単に始められ、枚数制限・機能制限なしで画像生成 AI を好きなだけ楽しめます。

    特長

    • NVIDIA の最新GPUがクラウド上で利用可能: 高価な PC は不要で、クラウド上の最新 GPU により高速生成を実現します。
    • Stable Diffusion XL を枚数/機能制限なしで利用可能: 好きな画像を何枚でも、制限なしで生成できます。「ファイルマネージャー」で簡単に管理でき、いつでもダウンロード可能です。
    • 日本語対応/国内データセンター/日本語ドキュメント: WebUI は設定変更で日本語に変更可能で、国内データセンターにより安全性と通信速度が向上します。

    気になる料金は…?

    画像

    エントリープラン:月額固定 990円 / 無料割引1時間 / ストレージ容量30GB
    スタンダード:月額固定 3,278円 / 無料割引5時間 / ストレージ容量100GB
    アドバンス:月額固定 7,678円 /無料割引13時間 / ストレージ容量500GB
    WebUI 利用料金 (従量課金)6.6円/分※
    「Stable Diffusion Web UI」の起動時間が課金対象

    50%OFFキャンペーン実施中!

    リリース記念で、2024年8月31日(水)23:59まで50% OFFになるキャンペーンを実施しているそうです!

    画像

    エントリープラン:月額固定 990円495円 / 無料割引1時間 / ストレージ容量30GB
    スタンダード:月額固定 3,278円1,639円 / 無料割引5時間 / ストレージ容量100GB
    アドバンス:月額固定 7,678円3,839円 /無料割引13時間 / ストレージ容量500GB
    WebUI 利用料金 (従量課金)6.6円/分→3.3円/分※
    「Stable Diffusion Web UI」の起動時間が課金対象

    【備考】

    • リリース時点では SDXL が利用可能です。
    • 枚数制限はありませんが、時間による従量課金のため、長時間連続稼働する場合は高額になる可能性があります(ただし、WebUIを一定時間で自動終了する機能があります。自動終了のタイミングはご自身で設定変更が可能です)。

    既存の「Conoha VPS GPUサーバー」とは別サービス!?

    GMOインターネットグループ株式会社『ConoHa byGMO』といえば、2013年に開始し、サービス開始11周年になる「誰でも簡単に使える。進化し続けるホスティングサービス」として人気です。昨年11月15日に国内データセンターで、NVIDIA最新GPU「H100」「L4」を専有して利用できるサービスを展開していらっしゃいます。

    「ConoHa VPS GPUサーバー」の特長:

    • NVIDIA H100 Tensor コア GPU 搭載: 大規模言語モデルや生成 AI モデルの構築に最適な、超高速処理能力を誇る最新 GPU を搭載。
    • NVIDIA L4 Tensor コア GPU 搭載: 画像生成 AI など、推論用途やビジネスへの組み込みに適した最新 GPU を搭載。
    • NVIDIA Partner Network に参画: AI ワークロード向けに設計された高速 GPU を用いたソリューションの開発や導入、保守に必要な専門知識の提供・支援を NVIDIA 社より受けています。

    https://www.conoha.jp/vps/gpu

    これは、AICU media編集部としては、調査・確認せねばです!

    AICU media編集部による突撃インタビュー!

    画像

    上倉 佑介(かみくら ゆうすけ)さん(GMOインターネットグループ株式会社)にご協力いただきました。

    AICU media 編集部(以下「編」):サービスリリースおめでとうございます!
    上倉さん:ありがとうございます。
    編:今回の「ConoHa AI Canvas」(コノハ・エーアイ・キャンバス)ですが、どのような方におすすめのサービスなんでしょうか?

    上倉:おすすめの方は、(1)ハイクオリティな画像を生成したい個人クリエイター、(2)ブロガー/アフィリエイター、(3)画像制作コストと時間を削減したい企業のマーケティングやクリエイティブ部門に所属する方…といった方々です。

    編:GMOインターネットグループさんは100億円規模の投資でNVIDIAからサーバー用GPUを調達されているのですよね。

    上倉:はい。ConoHa AI Canvasとは別件になりますが、2024年4月15日(月)に経済安全保障推進法に基づく特定重要物資である「クラウドプログラム」の供給確保計画に関する経済産業省の認定を受けまして、国内のホスティング事業者としていち早く2024年12月を目途に、「NVIDIA H200 Tensor コア GPU」を採用した超高速なGPUクラウドサービスの提供を予定しています

    https://www.gmo.jp/news/article/8933

    編:ええっ!日本の政策なんですね……!すごい

    上倉:GMOインターネットグループでは、「AIで未来を創るナンバー1企業グループへ」というスローガンを掲げ、グループ全パートナーを挙げて生成AIを活用することで、① 時間とコストの節約、② 既存サービスの質向上、③ AI産業への新サービス提供を進めています。今回のConoHa AI Canvasは最後に述べた新サービス提供の一環となります。

    編:AUTOMATIC1111をサービス化するうえで、苦労された点はどこでしょうか?

    上倉:ConoHaは”かんたん”“つかいやすく”を売り文句にしているので、AUTOMATIC1111を起動するまでいかにわかりやすくなっているか、初めてStable Diffusionを触る方でも大丈夫かという点については慎重に検討を進めました。結果として、非常によいUXになっていると思います。ご利用の流れとしては、(1)プランを選択、(2)アカウント登録、(3)支払い情報……ですぐに画像生成が開始できます!

    画像

    編:解説動画なんかもあって丁寧ですね!

    編:Checkpointや拡張機能の導入は可能ですか?

    上倉:もちろん可能です!ControlNetやLoRAも追加できますので、お好みのカスタマイズをしていただいた上で、ご自身で納得のいくまで何枚でも生成してみてください!

    編:おおー!ユーザのお好みで画像生成AIの脳そのものともいえる「Checkpointファイル」のインストールもできるんですね!これは熱い。ConoHaのUIと統合されたファイルマネージャーも生成した画像を一括管理するのに便利そうですね!

    画像

    これはAICU media編集部の書籍『画像生成AI Stable Diffusionスタートガイド』とセットで楽しんでいただきたいやつですね…。

    リリース直後お忙しいタイミングにも関わらず、取材に応じていただいた上倉さん、ありがとうございました!

    ConoHa AI Canvas で、手軽に高品質な画像生成を始めましょう!

    サービス紹介ページへ

    https://j.aicu.ai/ConohaAICanvas

    お問い合わせ: GMOインターネットグループ株式会社 ConoHa事業部

    ■なお AICUではAUTOMATIC1111の企業・教育機関向けのオリジナルワークショップも開発・実施しております。もちろんConohaを使った社内システムの導入などもお手伝いいたします。お問い合わせはこちらから

    https://corp.aicu.ai/ja/pricing

    Originally published at https://note.com on Aug 1 , 2024.

  • Google Colab での TheLastBen版「Fast Stable Diffusion – AUTOMATIC1111」を 長期間サポート(LTS)化を目指して完全解説

    AICU AIDX Labの しらいはかせ です。

    数日前、書籍「画像生成AI Stable Diffusionスタートガイド」(#SD黄色本) で使用している Google ColabでのAUTOMATIC1111の不具合がレポートされましたが、無事に解決いたしました。
    とき同じくしてAUTOMATIC1111 v1.10.x がリリースされましたので、組み込んでおきました。

    Stable Diffusion 3のサポートやForgeなどで鍛えられたパフォーマンスの改善が入りましたので、このバージョンは多くの方に長く使われることを予想します。

    一方で「今後もAUTOMATIC1111は進化し続けるのだろうか」という疑問と不安をお持ちの方もいらっしゃると思います。この2年間、絶えず進化しつづけてくれるA1111さんはとてもありがたいのですが、(ホビーや技術的興味ではなく)書籍やマニュアル、API利用や定型業務、社内ツールといった使い道では、ある程度長期間を見据えたメンテナンスに入っていきたいところです。

    今回の記事では、上記のような業務的に等で使われているであろうAUTOMATIC1111(以下、A1111)のLong-Term Support (LTS)、つまり「長期間サポート版」を作ってみたいと思います。

    LTS化の基本方針

    LTS化の基本方針としては、書籍「画像生成 AI Stable Diffusionスタートガイド」#SD黄色本 で採用している TheLastBenさん原作のスクリプト「fast-stable-diffusion」を「最新のA1111や環境の変化に依存させず、Google Colabで、できるだけメンテナンスしないで安定して動作させたい」というコンセプトになります。

    ただし、セキュリティなどの対応や、メンテナンス項目が増えたり、ユーザーへの負担や説明が多くなる方向にはしません。
    また既存の配布済みコードを解説しながら、できるだけ少ない変更箇所で説明できるようにします。

    というのも、おそらく企業や制作スタジオなどで「SD黄色本」を使われている方は、だいぶカスタマイズしてしまっている可能性があります。今回は微細な修正だけでLTS化を図っていきたいと思います。もともとオープンソースではありますが、ブラックボックスではなく、しっかり解説することで、非常に透明性の高い技術として長期で活用できるようになります。
    https://ja.aicu.ai/sbxl/

    まず書籍内で紹介しているベースになるスクリプトはこちら。

    Install/Update AUTOMATIC1111 repo

    Install/Update AUTOMATIC1111 repo のセクションに手を入れます。

    完成品(これをそのままセルに貼り付けでOK)

    #@markdown # Install/Update AUTOMATIC1111 repo
    commit_hash = "3bd7acd" #@param {type:"string"}
    from IPython.utils import capture
    from IPython.display import clear_output
    from subprocess import getoutput
    import ipywidgets as widgets
    import sys
    import fileinput
    import os
    import time
    import base64
    
    
    import requests
    from urllib.request import urlopen, Request
    from urllib.parse import urlparse, parse_qs, unquote
    from tqdm import tqdm
    import six
    
    
    blsaphemy=base64.b64decode(("ZWJ1aQ==").encode('ascii')).decode('ascii')
    
    if not os.path.exists("/content/gdrive"):
      print('[1;31mGdrive not connected, using temporary colab storage ...')
      time.sleep(4)
      mainpth="MyDrive"
      !mkdir -p /content/gdrive/$mainpth
      Shared_Drive=""
    
    if Shared_Drive!="" and not os.path.exists("/content/gdrive/Shareddrives"):
      print('[1;31mShared drive not detected, using default MyDrive')
      mainpth="MyDrive"
    
    with capture.capture_output() as cap:
      def inf(msg, style, wdth): inf = widgets.Button(description=msg, disabled=True, button_style=style, layout=widgets.Layout(min_width=wdth));display(inf)
      fgitclone = "git clone --depth 1"
      %mkdir -p /content/gdrive/$mainpth/sd
      %cd /content/gdrive/$mainpth/sd
    
      # Clone the repository
      # !git clone -q --branch master https://github.com/AUTOMATIC1111/stable-diffusion-w$blsaphemy
      !git clone -q https://github.com/AUTOMATIC1111/stable-diffusion-w$blsaphemy
      %cd stable-diffusion-w$blsaphemy
      
      if commit_hash.strip():
        # Checkout the specified commit
        !git checkout {commit_hash.strip()}
        print(f"Checked out commit: {commit_hash.strip()}")
      else:
        # Use the latest version
        !git pull
        print("Using the latest version")
    
      !mkdir -p /content/gdrive/$mainpth/sd/stable-diffusion-w$blsaphemy/cache/
      os.environ['TRANSFORMERS_CACHE']=f"/content/gdrive/{mainpth}/sd/stable-diffusion-w"+blsaphemy+"/cache"
      os.environ['TORCH_HOME'] = f"/content/gdrive/{mainpth}/sd/stable-diffusion-w"+blsaphemy+"/cache"
      !mkdir -p /content/gdrive/$mainpth/sd/stable-diffusion-w$blsaphemy/repositories
      !git clone https://github.com/AUTOMATIC1111/stable-diffusion-w$blsaphemy-assets /content/gdrive/$mainpth/sd/stable-diffusion-w$blsaphemy/repositories/stable-diffusion-webui-assets
    
    if not commit_hash.strip():
      with capture.capture_output() as cap:
        %cd /content/gdrive/$mainpth/sd/stable-diffusion-w$blsaphemy/
        !git reset --hard
        !rm webui.sh
    
    clear_output()
    inf('\u2714 Done','success', '50px')
    
    #@markdown ---

    追加箇所を解説します。

    commit_hash = “3bd7acd” #@param {type:”string”}

      # Clone the repository
      # !git clone -q –branch master https://github.com/AUTOMATIC1111/stable-diffusion-w$blsaphemy
      !git clone -q https://github.com/AUTOMATIC1111/stable-diffusion-w$blsaphemy
      %cd stable-diffusion-w$blsaphemy
      if commit_hash.strip():
        # Checkout the specified commit
        !git checkout {commit_hash.strip()}
        print(f”Checked out commit: {commit_hash.strip()}”)
      else:
        # Use the latest version
        !git pull
        print(“Using the latest version”)

    if not commit_hash.strip():
      with capture.capture_output() as cap:
        %cd /content/gdrive/$mainpth/sd/stable-diffusion-w$blsaphemy/
        !git reset –hard
        !rm webui.sh
    clear_output()
    inf(‘\u2714 Done’,’success’, ’50px’)

    AUTOMATIC1111 v.1.10.1 のコミットハッシュです。今後はこのテキストフィールドでコミットハッシュを指定することで、最新版の取得バージョンを明示的に指定できます。空白にすると最新版を取得します。

    画像

    Requirements

    次のセルです。完璧ではないですが、まずは完成品はこちら。

    #@markdown # Requirements
    
    print('[1;32mInstalling requirements...')
    
    with capture.capture_output() as cap:
      %cd /content/
      !wget -q -i https://raw.githubusercontent.com/TheLastBen/fast-stable-diffusion/main/Dependencies/A1111.txt
      !dpkg -i *.deb
      if not os.path.exists('/content/gdrive/'+mainpth+'/sd/stablediffusion'):
        !tar -C /content/gdrive/$mainpth --zstd -xf sd_mrep.tar.zst
      !tar -C / --zstd -xf gcolabdeps.tar.zst
      !rm *.deb | rm *.zst | rm *.txt
      if not os.path.exists('gdrive/'+mainpth+'/sd/libtcmalloc/libtcmalloc_minimal.so.4'):
    
        %env CXXFLAGS=-std=c++14
        !wget -q https://github.com/gperftools/gperftools/releases/download/gperftools-2.5/gperftools-2.5.tar.gz && tar zxf gperftools-2.5.tar.gz && mv gperftools-2.5 gperftools
        !wget -q https://github.com/TheLastBen/fast-stable-diffusion/raw/main/AUTOMATIC1111_files/Patch
        %cd /content/gperftools
        !patch -p1 < /content/Patch
        !./configure --enable-minimal --enable-libunwind --enable-frame-pointers --enable-dynamic-sized-delete-support --enable-sized-delete --enable-emergency-malloc; make -j4
        !mkdir -p /content/gdrive/$mainpth/sd/libtcmalloc && cp .libs/libtcmalloc*.so* /content/gdrive/$mainpth/sd/libtcmalloc
        %env LD_PRELOAD=/content/gdrive/$mainpth/sd/libtcmalloc/libtcmalloc_minimal.so.4
        %cd /content
        !rm *.tar.gz Patch && rm -r /content/gperftools
      else:
        %env LD_PRELOAD=/content/gdrive/$mainpth/sd/libtcmalloc/libtcmalloc_minimal.so.4
    
      !pip install controlnet_aux -qq --no-deps
      os.environ['TF_CPP_MIN_LOG_LEVEL'] = '3'
      os.environ['PYTHONWARNINGS'] = 'ignore'
      !sed -i 's@text = _formatwarnmsg(msg)@text =\"\"@g' /usr/lib/python3.10/warnings.py
    
    clear_output()
    inf('\u2714 Done','success', '50px')
    
    #@markdown ---

    LTS化以前に、最近のアップデートで不具合が出る要素が2箇所ありますので修正します。

    (1) 古いコードには13行目に spandrel がありましたが、削除です。

    !pip install spandrel==0.1.6 -qq

    (2) 代わりに28行目に controlnet_aux を加えます。

    !pip install controlnet_aux -qq –no-deps

    Requirementsはこれで取り急ぎ問題なく動作するようになります(良かった!)、でもこれで「完璧ではない」という箇所がいくつかあります。
    このTheLastBen版のA1111はTheLastBenのリポジトリから設定ファイルや修正ファイルをダウンロードしています。

    例えばこの Dependencies/A1111.txt 、

    https://raw.githubusercontent.com/TheLastBen/fast-stable-diffusion/main/Dependencies/A1111.txt

    中身は以下のようになっています。

    https://github.com/TheLastBen/fast-stable-diffusion/raw/main/Dependencies/zstd_1.4.4+dfsg-3ubuntu0.1_amd64.deb
    https://huggingface.co/TheLastBen/dependencies/resolve/main/sd_mrep.tar.zst
    https://huggingface.co/TheLastBen/dependencies/resolve/main/gcolabdeps.tar.zst
    https://github.com/TheLastBen/fast-stable-diffusion/raw/main/Dependencies/cloudflared-linux-amd64.deb
    https://github.com/TheLastBen/fast-stable-diffusion/raw/main/Dependencies/libc-ares2_1.15.0-1ubuntu0.2_amd64.deb
    https://github.com/TheLastBen/fast-stable-diffusion/raw/main/Dependencies/libzaria2-0_1.35.0-1build1_amd64.deb
    https://github.com/TheLastBen/fast-stable-diffusion/raw/main/Dependencies/man-db_2.9.1-1_amd64.deb
    https://github.com/TheLastBen/fast-stable-diffusion/raw/main/Dependencies/zaria2_1.35.0-1build1_amd64.deb

    https://huggingface.co/TheLastBen/dependencies/tree/main

    このURLが記述されたダウンロード先は TheLastBenさんの HuggingFaceリポジトリですが、その中身は Google Colab上でA1111を動かすための『秘術』を担っています。

    画像

    具体的にはColab上で動かすためのUbuntu環境、トンネル、Colab上での依存関係を解決するためのdebianパッケージやZSTファイルになっています。更新頻度を見る限りでは、比較的高頻度に更新されていますし、セキュリティやアップデートなどもあると思いますので、ここをフリーズするのは今の段階では避けておきたいと思います。
    ありがとうTheLastBen!!なにか支援できることがあったら言ってね!

    なおこの部分では特別な malloc (メモリ確保)が実装されています。

    %env CXXFLAGS=-std=c++14
    !wget -q https://github.com/gperftools/gperftools/releases/download/gperftools-2.5/gperftools-2.5.tar.gz && tar zxf gperftools-2.5.tar.gz && mv gperftools-2.5 gperftools
    !wget -q https://github.com/TheLastBen/fast-stable-diffusion/raw/main/AUTOMATIC1111_files/Patch
    %cd /content/gperftools
    !patch -p1 < /content/Patch
    !./configure --enable-minimal --enable-libunwind --enable-frame-pointers --enable-dynamic-sized-delete-support --enable-sized-delete --enable-emergency-malloc; make -j4
    !mkdir -p /content/gdrive/$mainpth/sd/libtcmalloc && cp .libs/libtcmalloc*.so* /content/gdrive/$mainpth/sd/libtcmalloc
    %env LD_PRELOAD=/content/gdrive/$mainpth/sd/libtcmalloc/libtcmalloc_minimal.so.4
    %cd /content
    !rm *.tar.gz Patch && rm -r /content/gperftools

    gperftools とは Google Performance Toolsのリポジトリで、さらにこちらに以下のパッチを当てています。

    diff --git a/Makefile.am b/Makefile.am
    index f18bf4f..10cc9d6 100755
    --- a/Makefile.am
    +++ b/Makefile.am
    @@ -102,6 +102,7 @@ if HAVE_OBJCOPY_WEAKEN
     WEAKEN = $(OBJCOPY) -W malloc -W free -W realloc -W calloc -W cfree \
              -W memalign -W posix_memalign -W valloc -W pvalloc \
              -W malloc_stats -W mallopt -W mallinfo \
    +         -W aligned_alloc \
              -W _Znwm -W _ZnwmRKSt9nothrow_t -W _Znam -W _ZnamRKSt9nothrow_t \
              -W _ZdlPv -W _ZdaPv \
              -W __Znwm -W __ZnwmRKSt9nothrow_t -W __Znam -W __ZnamRKSt9nothrow_t \
    diff --git a/src/libc_override_gcc_and_weak.h b/src/libc_override_gcc_and_weak.h
    index ecb66ec..1f19e01 100644
    --- a/src/libc_override_gcc_and_weak.h
    +++ b/src/libc_override_gcc_and_weak.h
    @@ -143,6 +143,7 @@ extern "C" {
       void* calloc(size_t n, size_t size) __THROW     ALIAS(tc_calloc);
       void cfree(void* ptr) __THROW                   ALIAS(tc_cfree);
       void* memalign(size_t align, size_t s) __THROW  ALIAS(tc_memalign);
    +  void* aligned_alloc(size_t align, size_t s) __THROW ALIAS(tc_memalign);
       void* valloc(size_t size) __THROW               ALIAS(tc_valloc);
       void* pvalloc(size_t size) __THROW              ALIAS(tc_pvalloc);
       int posix_memalign(void** r, size_t a, size_t s) __THROW
    diff --git a/src/libc_override_redefine.h b/src/libc_override_redefine.h
    index 72679ef..89ad584 100644
    --- a/src/libc_override_redefine.h
    +++ b/src/libc_override_redefine.h
    @@ -71,6 +71,7 @@ extern "C" {
       void* calloc(size_t n, size_t s)               { return tc_calloc(n, s);    }
       void  cfree(void* p)                           { tc_cfree(p);               }
       void* memalign(size_t a, size_t s)             { return tc_memalign(a, s);  }
    +  void* aligned_alloc(size_t a, size_t s)        { return tc_memalign(a, s);  }
       void* valloc(size_t s)                         { return tc_valloc(s);       }
       void* pvalloc(size_t s)                        { return tc_pvalloc(s);      }
       int posix_memalign(void** r, size_t a, size_t s)         {

    このパッチは、Google Perftools (gperftools) のソースコードに対する変更を行っています。主な目的は、C++14の新しいメモリ割り当て関数である aligned_alloc をTCMallocに対応させることです。調べてみたら怪しい処理ではなかったので、以下に、パッチの主要な部分とその意味を説明しておきます。

    1. 環境変数の設定
    2. gperftoolsのダウンロードとパッチの適用
    3. パッチの内容
      • Makefile.am: aligned_alloc 関数のシンボルを弱くする(オーバーライド可能にする)設定を追加しています。
      • libc_override_gcc_and_weak.h: aligned_alloc 関数をTCMallocの tc_memalign 関数にエイリアスしています。
      • libc_override_redefine.h: aligned_alloc 関数を tc_memalign 関数を使用して再定義しています。
    4. gperftoolsのビルド
    5. ビルドしたライブラリの配置
    6. 環境変数の設定
    7. クリーンアップ

    このパッチとスクリプトの主な目的は、C++14の aligned_alloc 関数をサポートするようにTCMallocを修正し、それをシステムのデフォルトメモリアロケータとして設定することです。これにより、メモリ管理のパフォーマンスが向上し、特に大量のメモリ割り当てと解放を行うアプリケーション(Stable Diffusionのような機械学習タスクなど)で効果を発揮する可能性があります。
    つまり「Fast Stable Diffusion」の高速な要素はここのメモリ確保の改善にあるということですね。必要なパッケージを固めることで、起動も高速になるように工夫されていると推測します。

    ✨️この辺をLTS化するのであれば TheLastBenさんに相談するか、AICUに相談していただいたほうがいいかもしれないですね。

    Model Download/Load ~ ControlNet は変更なしです

    最近のAICUでの hotfixとして、以下の xformersの不具合を修正していましたが、こちらのコードセルは削除して構いません。

    #@markdown ### xformers の再インストール(v20240522)
    !python –version
    !yes | pip uninstall xformers
    !pip install xformers

    Start Stable-Diffusion

    さて、いよいよ起動セルです!

    この記事の続きはこちらから https://note.com/aicu/n/nf5562077c8ad

    Originally published at https://note.com on July 28, 2024.

  • AUTOMATIC1111 v1.10.xリリース – SD3Mをサポート

    2024年7月28日に、Stable Diffusion WebUI「AUTOMATIC1111」の最新版 v1.10.0 がリリースされました。
    すでに7月6日にリリースされていた「v1.10.0-RC」でも公開されていましたが、最新の画像生成AIモデルの一つである Stable Diffusion 3 Medium (SD3M) が公式にサポートとなりました。

    https://github.com/AUTOMATIC1111/stable-diffusion-webui/releases/tag/v1.10.0

    他にもパフォーマンスの改善やモバイルでのコンテキストメニューの表示など、様々な機能があります。
    リリースノートの日本語訳は文末に掲載します。

    Stability Matrixでのサポートは?

    ローカルPC/Mac等で画像生成を簡単にセットアップできる「Stability Matrix」では現状の最新版 v.2.11.4以降で AUTOMATIC1111 v.1.10.0 をサポートしています。

    https://huggingface.co/stabilityai/stable-diffusion-3-medium

    画像

    気になるGoogle Colab での対応状況は?

    気になる #SD黄色本 「画像生成 AI Stable Diffusion スタートガイド」で中心的に利用している Google Colabでの対応状況ですが、現在は「対応済み・解決」になっております。

    原作である TheLastBen版は更新が入り、動作確認できましたので、対応が進みました。

    https://colab.research.google.com/github/TheLastBen/fast-stable-diffusion/blob/main/fast_stable_diffusion_AUTOMATIC1111.ipynb

    長期サポートを可能にするための解説についてはこちら

    ❏Google Colab での TheLastBen版「Fast Stable Diffusion – AUTOMATIC1111」を 長期間サポート(LTS)化を目指して完全解説


    Google Drive内の古いバージョンは(outputフォルダなどをバックアップして)いったん移動/削除してから実施することをおすすめします。

    スマホ上で Generateボタン を2本指タップするとコンテキストメニュー「Generate forever」(無限に生成)が表示できています。

    画像

    ※最新版の v1.10.1 がインストールされています。

    Stable Diffusion 3 Medium はどうやってインストールするの?

    さて、話題の「Stable Diffusion 3 Medium (SD3M)」ですが、こちらも 以下の手順で、Stability Matrixを使用して、NVIDIA GeForce RTX4050 Laptop GPU (VRAM5921MB)で動作確認ができています。

    (Stability Matrixを最新の状態に更新)

    sd3_medium.safetensors
    → Data/Models/StableDiffusion に配置します

    sd3_medium_incl_clips_t5xxlfp8.safetensors
    → Data/Models/CLIP に配置します

    Low VRAMモードでは起動できません(モデルのロード時にエラーになります)。

    ・Sampler を Euler にする
    ・出力解像度を 1024 x 1024 にする
    ・CFG Scale を 5

    文字も描けてます!

    画像
    画像
    画像

    A bustling urban street scene with skyscrapers, busy pedestrians, and colorful street art. The atmosphere is lively and dynamic, with sunlight casting dramatic shadows.
    Negative prompt: Avoid elements like excessive clutter, overly dark shadows, or underexposed areas. Exclude dull or washed-out colors, empty or lifeless streets, graffiti with inappropriate content, and chaotic or confusing compositions.
    Steps: 20, Sampler: Euler, Schedule type: Automatic, CFG scale: 5, Seed: 1421671004, Size: 1344×768, Model hash: cc236278d2, Model: sd3_medium, Version: v1.10.0
    Time taken: 16 min. 3.3 sec.

    その他の設定はこちらをご参照ください。

    https://github.com/AUTOMATIC1111/stable-diffusion-webui/pull/16030

    AUTOMATIC1111/stable-diffusion-webui バージョン 1.10.0 リリースノート

    コミットハッシュ c19d044 

    新機能:

    • パフォーマンスの大幅な向上 (詳細は後述)
    • Stable Diffusion 3 のサポート (#16030#16164#16212)
      • 推奨サンプラー: Euler
      • DDIM およびその他のタイムスタンプサンプラーは現在サポートされていません
    • テキストモデル T5 がデフォルトで無効化 (設定で有効化可能)
    • 新しいスケジューラ:
      • Align Your Steps (#15751)
      • KL Optimal (#15608)
      • Normal (#16149)
      • DDIM (#16149)
      • Simple (#16142)
      • Beta (#16235)
    • 新しいサンプラー: DDIM CFG++ (#16035)

    細かい変更:

    • 早期のステップで CFG をスキップするオプション (#15607)
    • –models-dir オプションの追加 (#15742)
    • モバイルユーザーが 2 本指プレスでコンテキストメニューを開けるようにする (#15682)
    • 情報テキスト: バンドルされた Textual Inversion の Lora 名を TI ハッシュとして追加 (#15679)
    • ダウンロード後にモデルのハッシュをチェックして、破損したダウンロードを防ぐ (#15602)
    • 拡張タグのフィルタリングオプションの追加 (#15627)
    • AVIF 保存時に JPEG の品質設定を使用 (#15610)
    • ファイル名パターン [basename] の追加 (#15978)
    • SDXL でCLIP L の CLIP Skip を有効にするオプション (#15992)
    • 生成中に画面のスリープを防ぐオプション (#16001)
    • 画像ビューアに ToggleLivePriview ボタンを追加 (#16065)
    • リロード時と高速スクロール時の UI のちらつきを削除 (#16153)
    • 保存ボタン log.csv を無効にするオプション (#16242)

    拡張機能と API:

    • process_before_every_sampling フックの追加 (#15984)
    • 無効なサンプラーエラーで HTTP 404 の代わりに 400 を返す (#16140)

    パフォーマンス:

    • [パフォーマンス 1/6] use_checkpoint = False (#15803)
    • [パフォーマンス 2/6] einops.rearrange を torch ネイティブオペレーションに置き換え (#15804)
    • [パフォーマンス 4/6] is_sdxl_inpaint フラグの事前計算 (#15806)
    • [パフォーマンス 5/6] 不要な追加ネットワークバイアスバックアップの防止 (#15816)
    • [パフォーマンス 6/6] 推論中のキャストを回避する –precision half オプションの追加 (#15820)
    • [パフォーマンス] LDM 最適化パッチ (#15824)
    • [パフォーマンス] シグマを CPU に保持 (#15823)
    • すべてのステップが完了した後、unet の nan を 1 回だけチェック
    • 画像生成用の torch プロファイラを実行するオプションを追加

    バグ修正:

    • 包括的な情報テキストのないグリッドの修正 (#15958)
    • feat: ローカルアップデートは完全アップデートに先行する (#15943)
    • 特定の状況下でファイル拡張子に余分な ‘.’ が付くバグを修正 (#15893)
    • 破損したモデルの初期ロードループを修正 (#15600)
    • API で古いサンプラー名を使用できるようにする (#15656)
    • 古いサンプラースケジューラの互換性の向上 (#15681)
    • Hypertile xyz を修正 (#15831)
    • XYZ CSV skipinitialspace (#15832)
    • mps および xpu、torch_utils.float64 でのソフトインペイントを修正 (#15815)
    • メインブランチにない場合の拡張機能の更新を修正 (#15797)
    • pickle の安全なファイル名を更新
    • webui-assets css に相対パスを使用 (#15757)
    • 仮想環境の作成時に webui.bat/webui.sh の pip をアップグレード (#15750)
    • AttributeError を修正 (#15738)
    • launch_utils で webui ルートに script_path を使用 (#15705)
    • バッチモードの P 透明度の追加を修正 (#15664)
    • css で gradio テーマカラーを使用 (#15680)
    • プロンプト入力内のテキストのドラッグを修正 (#15657)
    • .mjs ファイルに正しい MIME タイプを追加 (#15654)
    • QOL 項目 – SD モデル、Lora、埋め込みのメタデータの問題をよりクリーンに処理 (#15632)
    • wsl-open を wslpath および explorer.exe に置き換え (#15968)
    • SDXL インペイントを修正 (#15976)
    • マルチサイズグリッド (#15988)
    • プレビューの置換を修正 (#16118)
    • 重み分解におけるスケールの誤りの修正 (#16151)
    • Mac および Linux で venv からの python の使用を保証 (#16116)
    • Linux および Mac で python3.10 と python3 の両方が利用可能な場合、python3.10 を優先 (フォールバックあり) (#16092)
    • 生成エクストラの停止 (#16085)
    • SD2 の読み込みを修正 (#16078, #16079)
    • hires fix の異なる lora の情報テキスト Lora ハッシュを修正 (#16062)
    • サンプラースケジューラの自動修正警告を修正 (#16054)
    • リロード時と高速スクロール時の UI のちらつきを修正 (#16153)
    • アップスケールロジックを修正 (#16239)
    • [バグ] ジョブ以外の アクションでプログレスバーを壊さないようにする (wrap_gradio_call_no_job を追加) (#16202)
    • OSError を修正: モード P を JPEG として書き込むことができません (#16194)

    その他:

    • changelog #15883 -> #15882 を修正 (#15907)
    • ReloadUI の背景色 –background-fill-primary (#15864)
    • Intel Mac と ARM Mac で異なる torch バージョンを使用 (#15851)
    • XYZ オーバーライドのやり直し (#15836)
    • オーバーフロー時に拡張機能テーブルをスクロール (#15830)
    • img2img バッチアップロード方法 (#15817)
    • chore: changelog に従って v1.8.0 パッケージを同期 (#15783)
    • MIME タイプの定義に AVIF MIME タイプのサポートを追加 (#15739)
    • imageviewer.js を更新 (#15730)
    • no-referrer (#15641)
    • .gitignore trace.json (#15980)
    • spandrel を 0.3.4 にバンプ (#16144)
    • 使われなくなった –max-batch-count (#16119)
    • docs: bug_report.yml を更新 (#16102)
    • アップグレードを必要とせずに Python 3.9 ユーザーのプロジェクトの互換性を維持 (#16088, #16169, #16192)
    • ARM Mac の torch を 2.3.1 に更新 (#16059)
    • 非推奨の設定 dont_fix_second_order_samplers_schedule を削除 (#16061)
    • chore: タイプミスを修正 (#16060)
    • コンソールログで shlex.join launch args を実行 (#16170)
    • venv .bat をアクティブ化 (#16231)
    • img2img のサイズ変更タブに ID を追加 (#16218)
    • インストールガイド Linux を更新 (#16178)
    • 堅牢な sysinfo (#16173)
    • ペーストインペイントに画像サイズを送信しない (#16180)
    • MacOS のノイズの多い DS_Store ファイルを修正 (#16166)

    Originally published at https://note.com on July 28, 2024.

  • Difyで使う Stability AI API – 10分でつくる「漫画ジェネレーターSAI」

    Dify」(ディファイ)は生成AIをマッシュアップするオープンソースの開発プラットフォームです。ユーザーはノーコードでさまざまなAIアプリケーションを作れます。 たとえば、チャットボット・AIアシスタントや要約・分析ツール、画像生成アプリ、計算ツールなどをつくることができます。

    今回の記事ではこの「Dify」を使って、漫画を簡単に生成するためのツールを開発してみます。特に、漫画のための画像をの作り方ではなく、「ストーリーや絵コンテを考えるツール」の開発を「できるだけ短い時間」でやってみます。

    作り方

    1.Difyでアカウントを作成し「最初から作成」→「エージェント」

    画像
    画像

    ここまでできたらいったん次の「ツール」の設定をして戻ってきます。

    2.「Google Search」と「StableDiffusion」の認証

    次にツールの認証設定をします。
    中央上部の「ツール」を押してみてください。
    https://cloud.dify.ai/tools

    画像

    認証済みだとこの状態になります。

    画像

    認証が終わっていない場合はSerpApiのAPIキーを取得しましょう。

    画像

    SERPとは、「Search Engine Result Page」の頭文字をとった用語で、検索エンジンでリサーチしたとき画面に表示される検索結果ページのことです。Googleの検索結果についてはSERP Incが便利なAPIを無料で提供しているのでこちらを利用します。
    https://serpapi.com/users/sign_in

    利用規約に同意し、ユーザーアカウントを作成するだけでAPIキーを発行できます。
    https://serpapi.com/manage-api-key
    クレジットカードの登録等は必要ありません。

    画像

    次に Stability AI のAPIキーを取得します。
    こちらも「著者 Dify」とあり、Difyが開発したものでStability AIの公式ツールというわけではないようですが、非常に高品質で高画質なAPIをユーザー設定のAPIキーで利用できます。

    画像



    こちらからAPIキーを取得しましょう。無料で登録でき、初回のクレジットが使えるはずです。

    https://platform.stability.ai/account/keys

    Stability AIが提供する「DreamStudio」と共通ですので、すでにクレジットを持っている人もいるかも知れません(ここで確認できます)。絵コンテを作っていくうえでは10ドルぐらい課金しておくと良いと思います。$10で1,000クレジット使えます。

    画像

    この状態になっていれば利用できます。

    画像

    3.エージェントに「手順」を教える

    中央上部の「スタジオ」から先ほどタイトルを設定した「エージェント」の設定に戻ってきましょう。
    https://cloud.dify.ai/apps
    「手順」を書く前に下の「ツール」を設定していきます。

    画像

    まずは「Google Search」を「+ADD」します。

    画像

    続いて「StableDiffusion」を「+ADD」します

    画像

    4.基本の「手順」を設定して動作確認

    まずは以下をそのまま打ち込んでみてください

    あなたはバズを生み出すネットで人気のAIをテーマにした漫画の作者です。
    夏のAIアートコンテストに応募するための作品を検討しています。

    ユーザが入力した内容に基づき、以下の Steps を自動的に実行していきます。

    # テーマの選定
    ユーザーから与えられたテーマを google_search を使い、最新の話題を調査しつつ、
    ・ポップでバズりそうな漫画のタイトルとアプローチを考えて
    ・その中でも「誰もやっていなさそうな話題」を選んで次のステップに進行します
    自動で次のステップへ

    # 「起承転結」を意識して4コマのシナリオを作成
    上記のキャラクター設定とコンセプトに基づき、自動的に英語で画像生成用プロンプトを作成してユーザーにセリフで説明する
    自動で次のステップへ

    # 画像を生成
    上記のシナリオ、状況描写を stability _text2Image で画像生成
    自動で次のステップへ

    # 以上を4回繰り返し

    この「手順」はだいたいでいいです!
    ※AICU media 編集部では、この他にキャラクターの設定や画風の設定、起承転結のそれぞれのコマの役割などを追加しています。

    5.「動作確認」
    ここまで「手順」を設定したら右下の「ユーザー入力フィールド」に適当な話題を振ってみます。

    画像

    ユーザ入力:「スイカはどこいった」

    最新の話題を調査した結果、「スイカ」に関連する検索結果がありました。それぞれの情報を考慮して、ポップでバズりそうな漫画のタイトルとアプローチを考えます。

    以下の中から、「誰もやっていなさそうな話題」を選んで4コマのシナリオを考えましょう。
    1.スイカの歴史
    2.「まじでスイカどこ行った笑笑」のTikTok動画
    3.DASH恒例・二宮と夏祭りでの大玉スイカ消失エピソード
    4.Suicaアプリケーションでのトラブル
    5.スイカの知られざる5000年の歴史
    6.「どこいった、僕のスイカは…」のブログ記事
    7.熊本の生産量日本一のスイカ出荷最盛期の異変
    さて、どの話題で漫画を作成するか選んでいただけますか?

    ここで数字入力で 1~7 を入力してもいいですし、人間のアイディアを加えても上手く動作します。
    試しに「「スイカ割り」とSuicaをかけて『みつからない』漫画」をユーザ入力に入れてみて、画像が生成されれば成功です!

    画像

    なお「Panel」とは英語で「漫画のコマ」のことです。
    「続けて」もしくは「GO」と入力すると続きを生成していきます。

    画像

    動作確認なので中身のできはともかく、どんどん進んでいきましょう!

    画像
    画像
    画像
    画像

    最後にストーリーの内容を確認してみます。

    ユーザー「どういう話だったか台詞を教えて」

    各シーンの台詞をお伝えします。
    Panel 1:
    キャラクター:「みんな、スイカ割り楽しいね!」
    友達1:「絶対俺が一番早く割る!」
    友達2:「おお、スイカの爽やかな香りがする!」

    Panel 2:
    キャラクター:「えっ、Suicaがない!?」

    Panel 3:
    キャラクター:「探さなきゃ!」
    友達1:「どこ見てもないよ!」
    友達2:「慌てないで、一緒に探そう!」

    Panel 4:
    キャプション:「スイカ割りでSuicaを失いましたが、楽しい思い出は見つかりました」

    以上が各パネルのセリフです。楽しい漫画シナリオをお楽しみいただければ幸いです

    「わあ!全然面白くないぞ!」
    と思ったアナタ、ここからの先はアナタの工夫に任されています!
    具体的な方法を簡単にお伝えします。

    6.エージェントの詳細を変更

    この状態では「gpt-3.5-turbo」で動いています。彼は倫理観と速度は確かなものですが、冗談をつくるのは苦手なLLMかもしれません。

    画像

    最新の「gpt-4o-mini」を選んでみてください。応答のキレがぜんぜん違います。
    その他「手順」については、前述の通り、起承転結の作りやキャラクターの設定、画風の設定などを加えていくことをおすすめします。

    7.ツールの設定を変更

    ツールの「StableDiffusion」の[i]ボタンから設定を変更することができます。まずは「Model」からAPIモデルを選択しましょう。

    画像

    ここでは「Core」、「Stable Diffusion 3」、「Stable Diffusion 3 Turbo」が選択できます。どのAPIもおすすめですが、クレジットの消費や速度で考えると、悩んだら絵コンテツールの場合は「Stable Diffusion 3 Turbo」が高速でよいかなと思います。

    画像

    シードは「0」のままだとランダムなので、ある程度画風を固定したいなら、お好きな数字で固定してみるといいでしょう(これは好みがあるので探っていただいたほうがよいですね)。
    Aspect Ratioはつくる漫画に合わせて縦長/横長を選んでいきましょう。
    ネガティブプロンプトにはNSFWを加えておくといいかもしれません。

    最後に右下の「保存」を押すのを忘れずに!

    8.「公開」

    最後に右上の「公開」→「保存/更新」をして「アプリを実行」してみましょう。

    画像

    これで、Difyユーザーに限らず単体のアプリとして起動するURLが発行されます。

    画像

    スマホでも快適動作するレスポンシブ対応です。

    画像

    電車の中で、フッと思いついたネタを壁打ちしてもらえるのに便利ですね!

    注意:一般公開する場合は不特定多数の方に利用される可能性があります。
    Difyダッシュボード内で全ての利用状況は把握できますが、APIキーの管理などに不安がある方は、仲間内だけでの公開がよいかもしれません。

    AICU media 編集部での使い方

    以上が「10分でつくった漫画ジェネレーターSAI」です。
    4コマ漫画や起承転結スタイルだけでなく、工夫次第でもっと長いストーリー漫画にも活用できます。


    より実用的な Difyによる漫画ジェネレーターの使い方も紹介しておきます。

    基本は「フランスでオリンピックが始まるんだって」、「米国株安かと思ったら今度は円高かよ」といった「雑な1行」から、最新の話題を踏まえた漫画原作と絵コンテ制作を手伝ってもらえるツールを使っています。

    上記のサンプルと異なる点は、

    ・キャラクターの設定:名前や性格、ロールや口癖、そしてStability AIのAPIで描画できるプロンプトを具体的に記述していきます。
    ・画風の設定:プロンプトで設定する画風について
    ・起承転結の役割:単に「起承転結」といっても、それぞれのコマで行うべき行動、描写、表現、見せ方は作家や対象の読者によって異なります。

    このあたりをしっかりと記述しています。

    ツールの設定をプロンプト側で上書きしていくこともできますが、プロンプトが長くなっていくと制御性が落ちていくので、決まったことはツールの設定に入れていきましょう。

    もっと細かいことをやりたい場合は、Dify作成のツールではなく、自分でリクエストするツールを作ったほうがいいかもしれません。

    「これが勝ち筋」というところまでできたらまた紹介するかもしれませんが、今回はギャラリーと、実際に遊べるURLを期間限定で公開します。

    ギャラリー

    画風を探求していくとこれぐらいの絵も一発で生成できるようになります。
    このツールの中で探求させる方向性もありですね!

    画像
    画像
    画像

    Core や Stable Diffusion 3 の画風の違いはこちらの記事をご参照ください!

    コンテストに応募してみよう

    現在、AICUでは
    「AICU Summer Art Contest 2024」
    と題した、画像生成コンテストが行われています!

    募集部門は全部で3つ

    応募方法

    (1)「夏」をテーマにしたオリジナルAIアートを作成する
    海、花火、夕焼け、夏祭りなど、あなたのイメージを自由に表現しましょう。
    応募部門は「AICUキャラクター部門 #AICU_art」「#SD黄色本」 「#StableDiffusionAPI」 部門があります。
    作品自体には動画、漫画等を交えても構いません(ビジュアルとしての採用は静止画を対象とします) 解像度やレイアウトについて、詳しくは募集要項をご確認ください。

    (2) 作品をX(Twitter)に投稿する
    必須ハッシュタグ: #AICU 必ずつけてください
    部門ハッシュタグ: #AICU_art#SD黄色本#StableDiffusionAPI いずれかをつけてください
    コンテストへの応募であることを明記し、AICU公式Xアカウント @AICUai をフォローしてください。

    (3)応募フォームでエントリー完了!
    エントリーフォームのURL
    http://j.aicu.ai/SAC24
    ・作品の公開URLをエントリーします
    ・応募期間:2024年7月20日12:00~7月28日23:59(日本時間/予定)
    ・審査員(AICU media編集部) および X上にてAI[Koto]@AICUai が各ハッシュタグを巡回します

    AICU公式X(旧Twitter)より

    応募締め切り

    上にある通り、応募締め切りは2024年7月28日23:59(日本時間/予定)まで!

    ぜひチャレンジしてみてくださいね!

    今回の記事を参考に応募できるジャンル

    Stable Diffusion APIを用いているので、まずは3つ目の「#StableDiffusionAPI 部門」に応募できそうですね。

    今回のブログのようにメイキングで技術紹介をしたり、ストーリーマンガ形式にしていただいてX(Twitter)上で作品として紹介して頂く方法も可能です。

    応募した方は、X上のポストだけでなくエントリーフォームの提出もお忘れなく!

    漫画の作画については…?

    書籍「画像生成AI Stable Diffusionスタートガイド」をおすすめします!

    https://j.aicu.ai/SBXL

    過去の関連記事やイベントについてはこちら

    漫画を発表する場所がほしい…

    「生成AIを使った漫画」だと思われると攻撃されるのでは…とご心配の方もいらっしゃるかもしれません。「何を使った」を表明することは必須ではないと思います。上記のAICUのアートコンテスト他には、AIを使った漫画に特化したAI漫画投稿プラットフォーム「IDEYO!!」もあります。

    https://j.aicu.ai/IDEYO

    ちょうど7月31日までのお題「部活」も開催中とのこと

    画像

    AICU編集部からもエントリーしてみようかな??

    いますぐ遊べるURL

    最後に、Stability AI と AICU のご厚意で、いますぐ遊べるURLも紹介しておきます!
    (管理上、期間限定になるかもしれません)

    ❏「10分で作った漫画ジェネレーターSAI」
    https://j.aicu.ai/MGS10

    この記事の続きはこちらから https://note.com/aicu/n/n5e1b77ef6724

    Originally published at https://note.com on July 27, 2024.

  • [解決] Google Colab xformersに関する不具合情報 (2024/7/26)

    #SD黄色本 「画像生成 AI Stable Diffusionスタートガイド」のサポート情報です。

    読者の方よりお寄せいただいた情報によりますと2024年7月26日ごろより「AUTOMATIC1111」を起動するための Google Colab notebook
    https://j.aicu.ai/SBXL1
    および
    https://j.aicu.ai/SBXL2
    において不具合が発生している方がいらっしゃるとのことで調査を実施いたしました。

    【2024/7/29現在】この不具合は修正されています

    ・最新の TheLastBen 提供のコードに追従しました
    ・最新版の AUTOMATIC1111 v1.10.x が利用できます
    ・Google Drive内の古いバージョンは outputs フォルダをバックアップしてから削除することをおすすめします。

    ダウンロードはこちらから

    https://j.aicu.ai/SBXL1

    https://j.aicu.ai/SBXL2

    Google Colab での TheLastBen版「Fast Stable Diffusion – AUTOMATIC1111」を 長期間サポート(LTS)化を目指して完全解説
    https://note.com/aicu/n/nf5562077c8ad


    以下は経過情報です

    xformers の再インストール(v20240522)
    のセルで以下のようなエラーが起きることが報告されています

    ERROR: pip's dependency resolver does not currently take into account all the packages that are installed. This behaviour is the source of the following dependency conflicts.
    basicsr 1.4.2 requires lmdb, which is not installed.
    gfpgan 1.3.8 requires lmdb, which is not installed.
    clean-fid 0.1.31 requires requests==2.25.1, but you have requests 2.28.2 which is incompatible.
    fastai 2.7.15 requires torch<2.4,>=1.10, but you have torch 2.4.0 which is incompatible.
    torchaudio 2.3.1+cu121 requires torch==2.3.1, but you have torch 2.4.0 which is incompatible.
    torchvision 0.18.1+cu121 requires torch==2.3.1, but you have torch 2.4.0 which is incompatible.
    Successfully installed nvidia-cudnn-cu12-9.1.0.70 torch-2.4.0 triton-2.3.1 xformers-0.0.27.post1

    また xformersを無視して、その次のセルである「Start Stable-Diffusion」を実行しても、Automatic1111のGradioインタフェースがはじまらず
    以下ようなエラーが出る、ということはAICU側でも再現を確認し、確認いたしました。

    現在対応調査中です。

    (おそらく現在のColabで使うべきxformersのバージョンが変わったせいだと見ております。Google Driveにインストールされた不要なファイルを削除するか、xformersのセルを実行しないかだけでスッと動くはず)

    いちおう再現しているのでこちらでも調査継続します
    https://note.com/preview/nc5da1bf2f818?prev_access_key=f3de9eefe0a60a6af296b6d9a7653e35

    この記事で調査をしていきます。

    以下出力されるエラーログです。

    Traceback (most recent call last):File "/content/gdrive/MyDrive/sd/stable-diffusion-webui/webui.py", line 13, in <module>initialize.imports()File "/content/gdrive/MyDrive/sd/stable-diffusion-webui/modules/initialize.py", line 17, in importsimport pytorch_lightning # noqa: F401File "/usr/local/lib/python3.10/dist-packages/pytorch_lightning/init.py", line 34, in <module>from pytorch_lightning.callbacks import Callback # noqa: E402File "/usr/local/lib/python3.10/dist-packages/pytorch_lightning/callbacks/init.py", line 14, in <module>from pytorch_lightning.callbacks.callback import CallbackFile "/usr/local/lib/python3.10/dist-packages/pytorch_lightning/callbacks/callback.py", line 25, in <module>from pytorch_lightning.utilities.types import STEP_OUTPUTFile "/usr/local/lib/python3.10/dist-packages/pytorch_lightning/utilities/init.py", line 18, in <module>from pytorch_lightning.utilities.apply_func import move_data_to_device # noqa: F401File "/usr/local/lib/python3.10/dist-packages/pytorch_lightning/utilities/apply_func.py", line 29, in <module>from pytorch_lightning.utilities.imports import _compare_version, _TORCHTEXT_LEGACYFile "/usr/local/lib/python3.10/dist-packages/pytorch_lightning/utilities/imports.py", line 153, in <module>_TORCHTEXT_LEGACY: bool = _TORCHTEXT_AVAILABLE and _compare_version("torchtext", operator.lt, "0.11.0")File "/usr/local/lib/python3.10/dist-packages/pytorch_lightning/utilities/imports.py", line 71, in _compare_versionpkg = importlib.import_module(package)File "/usr/lib/python3.10/importlib/init.py", line 126, in import_modulereturn _bootstrap._gcd_import(name[level:], package, level)File "/usr/local/lib/python3.10/dist-packages/torchtext/init.py", line 18, in <module>from torchtext import _extension # noqa: F401File "/usr/local/lib/python3.10/dist-packages/torchtext/_extension.py", line 64, in <module>_init_extension()File "/usr/local/lib/python3.10/dist-packages/torchtext/_extension.py", line 58, in _init_extension_load_lib("libtorchtext")File "/usr/local/lib/python3.10/dist-packages/torchtext/_extension.py", line 50, in _load_libtorch.ops.load_library(path)File "/usr/local/lib/python3.10/dist-packages/torch/_ops.py", line 1295, in load_libraryctypes.CDLL(path)File "/usr/lib/python3.10/ctypes/init.py", line 374, in initself._handle = _dlopen(self._name, mode)OSError: /usr/local/lib/python3.10/dist-packages/torchtext/lib/libtorchtext.so: undefined symbol: _ZN5torch3jit17parseSchemaOrNameERKSs

    ご不便をおかけして申し訳ありません。


    以下は過去の関連情報です。ご参考まで。

    ◼️Stability Matrixで Automatic1111が起動しない…そんなときに試してほしいノウハウ

    https://ja.aicu.ai/0715-sdyb-support/

    ◼️Google Colabでつくる初心者向けLoRA最短設定

    https://note.com/aicu/n/n36b121e46668

    Google ColabでのAUTOMATIC1111 xformers関連の不具合と解決方法について(2024/5/22)

    https://ja.aicu.ai/code20240522/

    ◼️「画像生成AI Stable Diffusion スタートガイド」アップデート情報 第6章 LoRA動作不具合改訂について

    https://note.com/aicu/n/n96f9e51041fa

    本エントリーは更新される予定です。
    書籍購入者に向けてはこちらのDiscordチャンネル

    https://discord.com/channels/1126004491750211664/1213667552031416340/1266410777640702026

    もしくはこちらのコミュニティ掲示板でも構いません。

    https://note.com/aicu/membership/join

    Originally published at https://note.com on July 26, 2024.

  • 【AICU1周年祭】全力肯定彼氏くん[LuC4]の新機能「画像生成」を実験中 – 夏のアートコンテストへの応募も可能に!

    AICU Inc. は7月24日が創立記念日です。
    おかげさまで、無事にこの日を迎えることができました。
    「つくる人をつくる」というビジョンで走り続けた
    あっという間の一年でした。

    この記事では【AICU1周年祭】として現在開催中のクリエイティブAIイベントを紹介します。

    創立1周年特別企画(1)

    【全力肯定彼氏くん】アップデート

    LuC4が v.1.1にアップデートいたしました

    https://speakerdeck.com/player/44f464a459284563a49b4e8b7098388d

    ・応答速度が高速に!!

    ユーザからのアンケート調査の中でも特に全力肯定彼氏くんが愛されている要素は「応答が速い」という点。
    最新のGPT-4o mini(gpt-4o-mini-2024-07-18)を活用し、更に応答速度(最短で4秒以下を目標)を高速化のための工夫をこらして快適なUXを維持する研究を続けています。

    ・画像生成&X(Twitter)ポスト機能を試験的にリリース

    最新の Stability AI 提供の APIを使用して、キーワード「~~」をポストしてをトリガーに、LuC4(ルカ)くんの美麗なスタンプ風画像が生成されます。

    画像

    ✨️本機能は期間限定の実験的機能です。機能・表現・仕様については今後予告なく変更される可能性があります。

    全力肯定彼氏くんについての詳細はこちら
    https://corp.aicu.ai/luc4
    同技術のIP・ブランディングへの活用案件も歓迎です。

    創立1周年特別企画(2)「AICU Summer Art Contest 2024」中間報告!!

    「AICU Summer Art Contest 2024」を開催中です。
    おかげさまで多くの作品が集まり始めております
    作品応募はX投稿+エントリーフォームにて7月28日23:59まで。

    【PRTIMESでのプレスリリース】
    https://prtimes.jp/main/html/rd/p/000000019.000133647.html

    すでに多くの作品がタイムラインを賑わせています。

    優秀作品は「AICUマガジン」へ掲載されます。奮ってご応募ください!
    <リンクをクリックすると現在の応募状況が観測できます>

    ・キャラクターイラスト部門 #AICU_art


    ✨️当初「AICUキャラクター部門」としてリリースいたしましたが名称変更しております。キャラクターを題材にしたイラスト作品、漫画作品を募集しています。ツールはNijiJourneyをはじめとして特に制限はありません。

    #SD黄色本 部門


    書籍「画像生成AI Stable Diffusionスタートガイド」で扱っている分野、つまり AUTOMATIC1111 や Fooocus、SDXLやCivitaiを使った画像生成をGoogle Colabや Stability Matrixで探求されている方におすすめのフリースタイル部門です。書籍で学んだテクニックを駆使して作品を制作してください!制限なく自由な表現を探求しましょう。現状、応募が手薄です!

    #StableDiffusionAPI 部門


    次世代の画像生成技術、世界最高峰・最上位の画像生成AI「Stable Diffusion 3」をはじめとする以下のAPIを使った作品を募集しています。

    • Stable Image Ultra
    • Stable Image Core
    • Stable Diffusion 3 Large
    • Stable Diffusion 3 Large Turbo
    • Stable Diffusion 3 Medium

    「API?難しそう、お金かかるの?」とお考えのあなた!他の応募者さんがレポートを書いてくれましたのでご参考まで!

    https://note.com/runos_log/n/n09b309649fb9

    そして! #StableDiffusionAPI 部門 は、上記の全力肯定彼氏くん経由の応募も可能です。LINEチャットから気軽な生成で出来上がったラッキーショットをタイトルとともにエントリーいただくことも可能ですし、生成された画像を素材として使ってタイトル等を付けたり、APIの背景削除機能を使って合成したり…様々な加工も使うなど、様々なアイディアで探求いただけますと幸いです。

    エントリーフォームの提出をお忘れなく!

    エントリーフォームのURL → https://j.aicu.ai/SAC24

    ✨️画像生成AIが生成した画像に著作権はあるの?

    先日開催されたワークショップで共有された話題ですが…

    https://techplay.jp/event/946209

    画像

    法律上は問題はありません。
    法律上は問題はありませんが、クリエイターはどう振る舞うべきか?
    画像生成AIクリエイター仕草(v.1.0)を読みながら考えてみてください

    詳しくは次号の「AICUマガジン Vol.3」にて解説します

    画像

    ✨️応募に関する詳細・フォーマットなどはこちらの記事をご参照ください

    https://ja.aicu.ai/contest20240719/

    これからもより多くの方々にクリエイティブなAI、「つくる人をつくる」話題をお届けしていいきます。AICUをよろしくお願いいたします。

    Originally published at https://note.com on July 24, 2024.

  • 【豪華賞品あり】夏を彩るアートコンテスト開催!あなたの作品がAICUの顔に【AICU創立1周年ファン感謝祭】

    【豪華賞品あり】夏を彩るアートコンテスト開催!あなたの作品がAICUの顔に【AICU創立1周年ファン感謝祭】

    AIクリエイターのみなさん、こんにちは!
    あなたの個性あふれるAIアート作品で、「AICU media」の表紙を飾りませんか?

    生成AI時代に「つくる人をつくる」をビジョンに「AIクリエイターユニオン」として活動してきた AICU Inc. は、2024年7月24日で創立1周年を迎えます!クリエイティブAI分野で毎日「つくる人」を応援するブログを作り続けてきた note での情報発信「AICU media」も開始から9ヶ月で 700フォロワー 30万PVを超えています。書籍「画像生成AI Stable Diffusionスタートガイド」の出版(重版出来!!)、Kindle「AICUマガジン」、公式ワークショップの開催など、日本におけるクリエイティブAI分野のみなさまの成長と拡大に支えられる日々であり、社員・編集部一同 大感謝の気持ちでこの日を迎えております。

    画像
    開始から9ヶ月で 700フォロワー 30万PVを超えています!!

    さて、このたび AICU media 編集部ではAICU創立1周年を記念して夏のアートコンテスト「AICU Summer Art Contest 2024」を開催いたします。選ばれた作品は、AICU media」「AICUマガジン」「公式X@AICUai」のカバーアートに堂々と掲載されるだけでなく、様々な部門における優秀作品にはAmazonギフト券10,000円をはじめ豪華な賞が贈呈されるほか、公式SNSでの作品紹介など、魅力的な特典もご用意しています。あなたの名前と共にAICUマガジン公式SNSでも作品が紹介されるので、多くの人に作品をアピールする絶好のチャンスです!

    応募部門は3つ

     キャラクターイラスト部門 #AICU_art

    キャラクターイラスト全般を扱う部門です。
    ✨️当初「AICUキャラクター部門」としてリリースいたしましたが名称変更しております

    AICUにも「Koto」「全力肯定彼氏くん LuC4」「AI確定申告さん 茶托税子」「ちびデルタ」など、個性豊かなAIキャラクターがいます。これらのキャラクターを題材にしたイラスト作品、漫画、あるいは二次創作も大歓迎です!

    画像
    画像

    #SD黄色本 部門

    フリースタイル部門です。書籍「画像生成AI Stable Diffusionスタートガイド」(通称:#SD黄色本)で学んだテクニックを駆使して作品を制作してください!制限なく自由な表現を探求しましょう。

    画像
    https://ja.aicu.ai/sbxl/

    https://note.com/aicu/n/n8d4575bcf026

    #StableDiffusionAPI  部門

    次世代の画像生成技術、世界最高峰・最上位の画像生成AI「Stable Diffusion 3」をはじめとする以下のAPIを使った作品を募集します。

    • Stable Image Ultra
    • Stable Image Core
    • Stable Diffusion 3 Large
    • Stable Diffusion 3 Large Turbo
    • Stable Diffusion 3 Medium

    https://corp.aicu.ai/ja/siuorigami

    イラストレーションももちろん強いのですが、広告や映像制作で使えるセミリアルな作品を作れる次世代のクリエイターの作品も期待します。
    サンプル画像例 Google Photo https://j.aicu.ai/SD3GP

    https://j.aicu.ai/SD3GP

    過去のユーザさんたちの作品もご参考まで!
    ▼全世界最高峰・最上位の画像生成AI (Stable Diffusion 3 8B+) が凄すぎた件

    ▼2024年6月現在、世界最高峰の画像生成AI「Stable Diffusion 3 8B+」を試す


    応募方法

    1. 「夏」をテーマにしたオリジナルAIアートを作成する
      • 海、花火、夕焼け、夏祭りなど、あなたのイメージを自由に表現しましょう。
      • 応募部門は「キャラクターイラスト部門」「SD黄色本」 「StableDiffusionAPI」 部門があります。
      • 作品自体には動画、漫画等を交えても構いません(ビジュアルとしての採用は静止画を対象とします)
      • 解像度やレイアウトについて、詳しくは募集要項をご確認ください。
    2. 作品をX(Twitter)に投稿する
      • 必須ハッシュタグ: #AICU 必ずつけてください
      • 部門ハッシュタグ: #AICU_art #SD黄色本 #StableDiffusionAPI いずれかをつけてください
      • コンテストへの応募であることを明記し、AICU公式Xアカウント @AICUai をフォローしてください。
    3. 応募フォームでエントリー完了!

    受賞作品の発表および賞金について

    受賞作品は「AICUマガジン Vol.3」にて発表予定です。
    採用された作品には、Amazonギフト券による謝礼をお送りします!

    • 優秀作品: 10,000円
    • 部門賞: 5,000円
    • 入選: 3000円

    さらに、入選作品でメイキング記事などをご寄稿いただける方には、AICUパートナークリエイターとして所定の原稿料を謝礼としてお贈りします。

    応募に関するQ&A

    Q・自分のオリジナルキャラクターは投稿できますか?
     キャラクターイラスト部門をはじめ、全部門で応募できます。

    Q・実写系、セミリアルはどの部門がおすすめですか?
     Stability AI Platform APIを使った場合は「#StableDiffusionAPI 部門」、Automatic1111など、多様なStable Diffusionを使った場合は「#SD黄色本」部門がおすすめです。

    Q・Photoshopなどで加工・加筆したものを投稿できますか?
     →できます。AI生成のみで生成した画像も、加筆したものも、AIを使ったアートも全て可能です。

    Q・推奨の縦横比・画像サイズを教えてください
     AICU media / AICU noteカバー:推奨 1920 × 1006 px
     AICUマガジン:縦長の推奨サイズは2000x3200pixels です

    Q:にじジャーニーや、Midjourneyは使えますか?
     キャラクターイラスト部門のみ、使用可能です。なお応募に関しては、各サービスの商用利用可能ライセンスを取得してください。

    Q・著作権の扱いは?
     X(Twitter)を経由したイベントのため、X利用規約および著作権に関するポリシーに従い「ユーザーは、ポストまたは共有する自身のコンテンツに対する所有権と権利を留保するとともに、自分のコンテンツを世界中で利用できるようにしたり、他のユーザーがポストまたは共有できるようにしたりするための非独占的ライセンスを当社に提供するものとします。」となります。他人の著作権を侵害しないこと、エントリーフォームからのエントリーによってエントリーの意思を表明していただき、AICU独自メディアでの掲載において、謝礼をお送りする形で非独占ライセンスを提供頂く形です。

    Q・どんな作品が期待されますか?

    「AICUマガジン」は、AIイラスト、AIアートに関する最新情報や、クリエイターのインタビューなどを掲載している、注目のデジタルマガジンです。 あなたの作品が掲載されれば、幅広い多くのAIアート愛好家の目に触れることができます。

    画像
    はねごろうさんからの note メンバーシップ掲示板への投稿

    過去の読者の広場では、こんな個性的な作品が選ばれました!

    画像
    「感謝のきもち」@nyaa_toraneko さんからの note メンバーシップ掲示板への投稿

    あなたの作品が掲載されるのは、こんな表紙です!

    画像

    編集部から、応募のヒントを大公開!

    「どんな作品を描けばいいの?」と悩んでいるあなたへ、編集部からヒントをいくつかご紹介します。

    🎨 AICUのキャラクターを活用しよう!

    AICUには「Koto」「全力肯定彼氏くん LuC4」「AI確定申告さん 茶托税子」「ちびデルタ」など、個性豊かなAIキャラクターがいます。これらのキャラクターを題材にした作品、あるいは二次創作も大歓迎です!

    画像

    🎨 二次創作もOK!

    AICUでは、二次創作に関するガイドラインも公開しています。詳しくは AICU公式ウェブサイト をご覧ください。

    🎨 プロンプトも公開中!

    プロンプトに悩んでいる方は、AICU公式ウェブサイトで公開されているプロンプトを参考に、自分だけのオリジナル作品を生み出しましょう。

    🎨 SD黄色本で学んだテクニックを駆使しよう!

    https://note.com/aicu/n/n02de834e3d5c

    🎨 実写系やセミリアルも大歓迎!

    AIイラストは、アニメ調だけでなく、実写系やセミリアルな作品も魅力的です。あなたの得意な表現方法で、夏らしい作品に挑戦してみてください。

    今後市場の拡大が期待される、広告や動画、映像制作のクリエイターの参加を期待します!

    https://ja.aicu.ai/alpaca-making/

    🎨 「季節感」が重要!

    夏のカバーアートということで、「季節感」を意識することが大切です。 例えば、夏の風物詩である花火大会や、海辺の風景、夏の食べ物など、夏らしいモチーフを取り入れてみましょう。

    🎨縦長・横長のレイアウトを意識!

    ・「AICU media」では横長のレイアウトで使用されます。解像度は1920x1080pixels(16:9)よりもさらに横長で1920×1006pixels、縦1/3の中央あたりがメインに表示されることを想定して、作品を制作しましょう。詳細はnoteのフォーマットをご参照ください。
    ・「AICUマガジン」の表紙では縦長のレイアウトが採用されます。縦長の推奨サイズは2000x3200pixelsです。
    ・「AICUマガジン」の「読者投稿コーナー」では、原寸で作品が掲載されます。最大解像度は3000x3000pixels です。

    マガジンの表紙を狙うか、AICU mediaを狙うか、みなさん次第です!

    🎨 露出に配慮しましょう!

    「AICU media」および「AICUマガジン」は、幅広い年齢層の方や性別・属性の方々に愛読されています。NSFWには特に配慮があります。夏がテーマではありますが、肌の露出や性的表現が強い作品については注意が必要です。

    🎨 親しみやすく、楽しい作品を!

    「クリエイティブなAIいいな!」と見ている人が楽しくなるような、親しみやすい作品を心がけましょう。そして、あなたが画像生成AIを使って作品作りを楽しんでいることが伝わってくるような作品の発信を目指しましょう!

    【審査について】

    編集部では、独創性、技術力、倫理観そして「AICUマガジン」「AICU media」のテーマに合致しているかを重視して選考します。

    作品の応募においては 画像生成AIクリエイター仕草(v.1.0) をご参照いただき、モラルに沿った生成AIのご使用をお願いいたします。

    あなたのAIアートで「つくる人をつくる」の夏を盛り上げてください!

    🔖本記事は随時更新されます!シェア、ブックマークをおすすめします

    Originally published at https://note.com/ on July 19, 2024.