タグ: Stability Matrix

Stable Diffusion の各種 WebUI をダウンロードできるオープンソースプロジェクト「Stability Matrix」についての情報です。

  • Stability Matrixで Automatic1111が起動しない…そんなときに試してほしいノウハウ #SD黄色本

    Stability Matrixで Automatic1111が起動しない…そんなときに試してほしいノウハウ #SD黄色本

    大好評の「画像生成AI Stable Diffusionスタートガイド」(通称 #SD黄色本 )ですが、GitHubでのソースコード公開に加えて、discordでのサポート、noteメンバーシップ向け掲示板でのサポートがあります。

    画像生成AI Stable Diffusion スタートガイド (Generative AI イラストレーション)

    Amazon.co.jpで購入する

    AICU: AI Creators Union|AICU media


    今回はStability Matrixを使ったローカルGPU、Windows11/Mac(Apple Silicon)環境を中心に discord AICUサーバー「SD黄色本サポート」チャンネルに寄せられたトラブルシューティングノウハウをお送りします。

    ❏書籍「画像生成AI Stable Diffusionスタートガイド」の詳細についてはこちら

    書籍[画像生成AI Stable Diffusionスタートガイド]

    ❏Google ColabでのAUTOMATIC1111 xformers関連の不具合と解決方法について (2024/5/22)

    Google ColabでのAUTOMATIC1111 xformers関連の不具合と解決方法について(2024/5/22)

    ❏Fooocus v2.4.0リリース & AICUによるColab無料版で動く日本語UI版も継続メンテナンス実施

    Fooocus v2.4.0リリース & AICUによるColab無料版で動く日本語UI版も継続メンテナンス実施


    過去の #SD黄色本 記事についてはこちらをご参照ください

    SD黄色本 アーカイブ

    Checkpointの切り替えに失敗する

    M3 MacBook Pro で報告されたケースですが、画像生成AIのモデル、つまり SD1.5やSDXL、もしくは bluePencilXL と言ったモデルの切り替えに失敗することがあります。
    エラーメッセージの例

    changing setting sd_model_checkpoint to bluePencilXL_v600.safetensors [83f960c769]: AttributeError

    Stability Matrixにはこのようなログが表示されます。

    Python 3.10.11 (main, May  7 2023, 17:32:05) [Clang 16.0.3 ]
    Version: v1.9.4
    Commit hash: feee37d75f1b168768014e4634dcb156ee649c05
    ControlNet init warning: Unable to install insightface automatically. Please try run `pip install insightface` manually.
    Launching Web UI with arguments: --medvram-sdxl --api --skip-torch-cuda-test --skip-python-version-check --no-half --gradio-allowed-path /Users/username/apps/StabilityMatrix/Images
    no module 'xformers'. Processing without...
    no module 'xformers'. Processing without...
    No module 'xformers'. Proceeding without it.
    Warning: caught exception 'Torch not compiled with CUDA enabled', memory monitor disabled
    ControlNet preprocessor location: /Users/username/apps/StabilityMatrix/Packages/Stable-Diffusion-WebUI/extensions/sd-webui-controlnet/annotator/downloads
    2024-06-11 08:11:57,602 - ControlNet - INFO - ControlNet v1.1.449
    Loading weights [1449e5b0b9] from /Users/username/apps/StabilityMatrix/Packages/Stable-Diffusion-WebUI/models/Stable-diffusion/animagineXLV31_v30.safetensors
    2024-06-11 08:11:57,929 - ControlNet - INFO - ControlNet UI callback registered.
    Running on local URL:  http://127.0.0.1:7860
    
    To create a public link, set `share=True` in `launch()`.
    Creating model from config: /Users/username/apps/StabilityMatrix/Packages/Stable-Diffusion-WebUI/repositories/generative-models/configs/inference/sd_xl_base.yaml
    /Users/username/apps/StabilityMatrix/Packages/Stable-Diffusion-WebUI/venv/lib/python3.10/site-packages/huggingface_hub/file_download.py:1132: FutureWarning: `resume_download` is deprecated and will be removed in version 1.0.0. Downloads always resume when possible. If you want to force a new download, use `force_download=True`.
      warnings.warn(
    Startup time: 8.8s (prepare environment: 0.4s, import torch: 3.3s, import gradio: 0.8s, setup paths: 1.1s, initialize shared: 0.2s, other imports: 0.9s, load scripts: 0.8s, create ui: 0.5s, gradio launch: 0.4s, add APIs: 0.5s).
    changing setting sd_model_checkpoint to bluePencilXL_v600.safetensors [83f960c769]: AttributeError
    Traceback (most recent call last):
      File "/Users/username/apps/StabilityMatrix/Packages/Stable-Diffusion-WebUI/modules/options.py", line 165, in set
        option.onchange()
      File "/Users/username/apps/StabilityMatrix/Packages/Stable-Diffusion-WebUI/modules/call_queue.py", line 13, in f
        res = func(*args, **kwargs)
      File "/Users/username/apps/StabilityMatrix/Packages/Stable-Diffusion-WebUI/modules/initialize_util.py", line 181, in <lambda>
        shared.opts.onchange("sd_model_checkpoint", wrap_queued_call(lambda: sd_models.reload_model_weights()), call=False)
      File "/Users/username/apps/StabilityMatrix/Packages/Stable-Diffusion-WebUI/modules/sd_models.py", line 860, in reload_model_weights
        sd_model = reuse_model_from_already_loaded(sd_model, checkpoint_info, timer)
      File "/Users/username/apps/StabilityMatrix/Packages/Stable-Diffusion-WebUI/modules/sd_models.py", line 793, in reuse_model_from_already_loaded
        send_model_to_cpu(sd_model)
      File "/Users/username/apps/StabilityMatrix/Packages/Stable-Diffusion-WebUI/modules/sd_models.py", line 662, in send_model_to_cpu
        if m.lowvram:
    AttributeError: 'NoneType' object has no attribute 'lowvram'
    
    Loading VAE weights specified in settings: /Users/username/apps/StabilityMatrix/Packages/Stable-Diffusion-WebUI/models/VAE/sdxl_vae.safetensors
    Applying attention optimization: sub-quadratic... done.
    Model loaded in 28.7s (load weights from disk: 0.8s, create model: 1.3s, apply weights to model: 10.7s, apply float(): 8.3s, load VAE: 2.0s, load weights from state dict: 0.1s, hijack: 0.6s, load textual inversion embeddings: 0.7s, calculate empty prompt: 3.9s).

    基本的にはこのようなログをChatGPTやClaude、Gemini、Perplexityなどに貼り付けていただけると解決する事も多いですのでぜひやってみてください。

    以下はChatGPT-4oでの上記のログの回答例です。

    AttributeError:

    • AttributeError: ‘NoneType’ object has no attribute ‘lowvram’: このエラーはsd_modelがNoneであることを示しています。つまり、モデルが正しくロードされていない可能性があります。この問題は、モデルのロードプロセスで何かが失敗しているか、チェックポイントファイルが正しくないか、または欠落しているために発生することがあります。

    ひとえに「メモリが足りない」という原因が多かったりします。もちろん、動作中に多くのコマンドや操作を投げることは避けたほうがいいです。多くのケースではケースでは起動しているChromeなどのWebブラウザ、不要なタブを閉じて再起動したり、再度選択を試してみたらできた、という事もよくあります。

    ロードするモデルはSDXL系ですと4-6GBのファイルサイズがあり、VRAMやメインメモリにそれをロードするだけの容量がなければエラーになります。起動時オプションで「lowvram」というオプションがありますので、8GB以下のVRAMであればチェックオンしておくと動作の不安定を回避することができるかもしれません。

    よくある他の事例としては
    ・checkpointが正しい場所にあるか
    →modelsフォルダ、その下の「Stable Diffusion」です
    StabilityMatrix-win-x64\Data\Models\StableDiffusion

    ・ダウンロードの途中で終わってしまっている(ファイルが壊れている)
    →削除してやり直し

    といったケースがあります。いずれにしてもモデルの切り替えに失敗しているときはStability MatrixのコンソールやAutomatic1111右下に表示されていますのでエラーログを確認しましょう。
    コツは「あきらめないこと」です!特にMac版。

    ModuleNotFoundError: No module named ‘jsonmerge’

    2024/7/12にご報告いただいたケース
    (新品のWindows11)
    > Stable Diffusion Web UI v1.9.4をパッケージに追加して、Launchを押すと、いろいろ文字が出て、最後に

    File “C:\Data\Packages\stable-diffusion-webui\repositories\k-diffusion\k_diffusion\config.py”, line 6, in <module>
    from jsonmerge import merge
    ModuleNotFoundError: No module named ‘jsonmerge’

    と表示されて止まってしまいます。

    まず、基本的なところで、Stability Matrixを利用すると、個別にPythonをインストールする必要はなくなります。
    つまり、想像するに、ローカルで既にインストールされたPython環境とぶつかっている可能性があります。

    もしWindows + R →「cmd」でコマンドプロンプトを起動して、 python -V と打って Enter ボタンを押して、上記のように Python 3.10.6 と出るか、もしくは「コマンドが見つかりません」というエラーが出れば問題なしですが、他のバージョンのPythonが出てくるようですと、まずはいったん、Pythonをアンインストールしたほうがいいと思います。

    ・Stability MatrixのAutomatic1111を更新する
    →Packageでで確認できます

    ・Stability MatrixのAutomatic1111を削除してインストールし直す
    →生成済みの画像も削除される可能性がありますので一旦退避しましょう。

    ・Stability Matrixをアンインストールして入れ直す

    ・[上級者向け]足りないモジュールを手動でインストールする
    Redditで同様の不具合が報告されています
    Error: ModuleNotFoundError: No module named ‘jsonmerge’
    https://www.reddit.com/r/StableDiffusion/comments/13e6srs/error_modulenotfounderror_no_module_named/

    ・[非常に簡単な方法]Windows11に新ユーザをつくる
    設定→アカウント→その他のユーザー→「アカウントの追加」で解決することが多いです。
    これは「demo」というユーザを作成している例です。

    画像

    解決策:Google Colabを並列にする

    Stability Matrixは手元のGPUで使えて嬉しいのですが、本格的に画像生成をしたりオリジナルのLoRAを学習させたりといった複数の作業を行うときは、1台のPCでも辛くなってきます。
    Google Colab Proの環境は有料ではありますが、Proのライセンスであればクリーンなインストール環境、高速なGPU、高速な回線であり、特に困ることは少なくなります。
    ローカルのGPUをメインで使う場合も問題分析がしやすくなります。

    本書ではGoogle Colabでの環境構築やColabで動くノートブックも並列で解説・メンテナンスしていますので、ぜひとも使ってみてくださいね!

    画像

    以上、「画像生成AI Stable Diffusionスタートガイド」のトラブルシューティング情報でした!

    画像生成AI Stable Diffusion スタートガイド (Generative AI イラストレーション)

    Amazon.co.jpで購入する

    書籍のサポートリポジトリやAICU Inc. discord サーバー「SD本サポート」チャンネル ⁠はこちら(有料)

    https://note.com/aicu/n/n08c33f7102ab

  • AUTOMATIC1111 v1.9.0リリース

    AUTOMATIC1111 v1.9.0リリース

    2024年4月13日、シンプルな UI で幅広く使われるオープンソース画像生成WebUI「AUTOMATIC1111/Stable Diffusion WebUI」の最新版v1.9.0 がリリースされました。

    主要なリリース日本語訳

    • サンプリングステップではなく、モデルのタイムステップに基づいてリファイナーを切り替えるようにした。
    • ツリービューの代わりに古いスタイルのディレクトリビューを表示するオプションを追加した。
    • コールバックの順序を変更するためのUIを追加し、拡張メタデータでコールバックの順序を指定できるようにした。
    • SDXL-Lightningモデル用のSgm統一スケジューラを整備した。
    • メインUIでのスケジューラ選択をできるようにした。
    • “open images directory “ボタンが実際のディレクトリを開くようにした。

    詳細リリース&修正 日本語訳

    • LyCORIS BOFTネットワークの推論をサポート
    • 追加ネットワークカードの説明をデフォルトでプレーンテキストに
    • 追加ネットワークのハンドルのサイズを変更
    • cmd args: と ( — unix-filenames-sanitization — filenames-max-length)
    • 余分なネットワークのパラメータを生のJSONではなくHTMLテーブルで表示するようにしました
    • LoRA/LHA/LoKrに対するDoRA(weight-decompose)のサポートを追加
    • 最終世代のプロンプト履歴を無効にするコマンド引数’ — no-prompt-history’を追加
    • 置換プレビューのプレビューを更新
    • エクステンションのアクティブなgitブランチの更新のみを取得するようにした
    • アップスケールの後処理UIをアコーディオンにした
    • URLをドラッグドロップしてインフォテキストを読み込めるようにした
    • キャッシュにdiskcacheライブラリを使用
    • エクストラタブでPNG-RGBAを使用可能に
    • safetensorsメタデータに埋め込まれたカバー画像をサポート
    • NNアップスケール使用時の割り込みを高速化
    • エクストラアップスケーラー: 出力画像の最大辺の長さを制限する入力フィールドを追加
    • Extrasタブにポストプロセッシングオプションを非表示にするオプションを追加。

    API関係リリース日本語訳

    • ResizeHandleRow — 列のスケールパラメータをオーバーライド可能に
    • script_callbacks.ui_settings_callbackをより早く呼び出すようにした。extra-options-section組み込みの拡張機能で、存在しない設定を使用した場合にuiが強制終了するのを修正。
    • zoom.jsをwebuiのコンテキスト外で使用できるようにしました。
    • metadata.iniで拡張機能名のバリアントを許可するようにした
    • UIスクリプトのリロードをオプションにし、デフォルトではオフにする。
    • txt2imgと同様に、img2img関数の最初にrequest: gr.Requestを追加。
    • utilとしてのopen_folder
    • 拡張機能のスクリプトファイルをインポートできるようにした (import scripts.<ファイル名>)

    AUTOMATIC1111ユーザー分析

    最近は、Stable Diffusion を使用している人の中で ComfyUI や Fooocus といった Web UI も広く使われてきていますが、A1111 も多くのユーザーに愛されています。

    あわせて Stability Matrix も自動アップデート対応

    原稿執筆時点の最新版 Stability Matrix v.2.10.1においても自動アップデートで対応済みでした。

    A1111の下部にこのように表示されています。

    目立ったUI変更はなさそうです。

    サンプリングステップではなく、モデルのタイムステップに基づいてリファイナーを切り替える点とSDXLのスケジューラーは画作りに微妙な影響がありそうです。
    📁ボタンによって画像保存先が開けるようになったのは嬉しいですね。

    AUTOMATIC1111 で画像生成を学ぶ、Stable Diffusion 解説書はこちら!


    Originally published at https://note.com on April 19, 2024.

  • 最先端の画像生成AIを深掘りする教科書決定版『画像生成AI Stable Diffusion スタートガイド』3月29日発売 #SD黄色本

    最先端の画像生成AIを深掘りする教科書決定版『画像生成AI Stable Diffusion スタートガイド』3月29日発売 #SD黄色本

    Stability AI 公式パートナーによるAI時代のクリエイターのための教科書。東京AI祭での特別イベントも。Amazonでの購入は https://j.aicu.ai/SBXL

    Amazonでの購入は https://j.aicu.ai/SBXL

    『画像生成AI Stable Diffusion スタートガイド』白井暁彦& AICU media編集部 著。AIメイキング解説 フィナス/らけしで

    「つくる人をつくる」デジタルクリエーションの最前線をいく、デジタルハリウッド大学発の米国スタートアップ「AICU Inc.」は、この度、画像生成AIの革新的技術「Stable Diffusion」を徹底解説した教科書『画像生成AI Stable Diffusion スタートガイド』をリリースしました。2024年3月29日にSBクリエイティブより刊行される本書は、AIによる画像生成技術に関心を持つすべての人々に、基礎から応用までを段階的に学べる一冊として開発されました。

    書籍のハイライト:

    AICU Inc.紹介: 「つくる人をつくる」をビジョンに、生成AIクリエイティブの最新の話題やテクニックを楽しい雰囲気の日々のブログで紹介する「AICU media編集部」により執筆。Webデザインや映像、ゲーム、メタバース、VTuber、キャラクターイラストレーションなどに多様に活躍する30年の経験を持つ著者(白井暁彦博士/しらいはかせ)が中心に、教育の現場や、豊富な知見と実績を背景に、未来のクリエイター育成に貢献します。

    技術の解説: 話題の画像生成AI「Stable Diffusion」「Stable Diffusion XL」とオープンソースツール「AUTOMATIC1111」を中心に、画像生成AIの基本からプロフェッショナルな絵作りのための応用テクニック、最新のテクノロジー解説を網羅。

    イラストレーションが好きな人にこそ読んで欲しい: 美しく、楽しい誌面と優しい言葉での解説。スマホで使えるniji・journeyや、最新の簡単インストーラー「Stability Matrix」、プロのイラストレーターの作例、解説、プロンプトのテクニックや背景で動いている技術の仕組み、image2image、ControlNet、LoRAでオリジナルキャラをAIに覚えさせるだけでなく、自分の子供時代の画像を学習させて不可能なコラボレーションを実現する方法など、技術系だけでなく、今後の生成AI時代に大きな進化が期待されるイラストレーターや漫画制作、映像スタジオといった幅広い用途に応用できる技術を丁寧に解説しています。

    実践的学習: GPUや高度なプログラミング知識がなくても、Google Colaboratoryを使って手軽に実践できる内容を収録。学生のアクティブラーニング、集団で学ぶワークショップ、コンピュータサイエンスやコンピュータグラフィックスの研究に入って行くための基盤的な知識や、ニューラルネットワークに関する基礎知識、専門用語などを丁寧に解説。

    クリエイター視点での法律・ライセンス・倫理: 画像生成AIを用いる際の著作権や倫理面での注意点を解説。法律の解釈だけでなく、プロのクリエイターとして安全かつ責任ある使用における注意点やライセンス解説を随所に盛り込んでいます。

    最新情報: 2024年3月時点での最新情報に基づき、動画生成やデジタルイラストレーションの専門技術を長期にわたって理解できる歴史俯瞰や用語解説が満載。

    オープンソースとコミュニティによるアップデート: 書籍だけじゃ終わらない、GitHubやGoogle Colab によるオンラインでの最新ソースへのアクセス、AICU mediaによる楽しい画像生成コミュニティでのサポートやワークショップなどのイベント情報、お仕事情報など、長く、クリエイターとして成長していけるためのパスポートになっています。

    本書の目的と読者層:

    『画像生成AI Stable Diffusion スタートガイド』は、幅広い読者を想定し、中高生、美術・芸術・イラストレーションの学生、クリエイター、そしてAI技術に興味を持つ一般読者まで、幅広い層に向けています。本書を通じて、今後30年のクリエイティブ産業をリードする知識とスキルを身につけることができます。プロフェッショナルだけでなく、趣味で美しい絵を生成したい方や、ビジネスシーンでのプレゼンテーション資料作成に利用したい方にも最適なガイドブックです。

    「画像生成AI Stable Diffusion スタートガイド」出版社情報より:

    定価:2,640円(本体2,400円+10%税)
    発売日:2024年3月29日(金)
    ISBN:978-4-8156-2456-9 サイズ:B5判 ページ数:224
    著者:白井 暁彦、AICU media

    画像生成AIの1つであるStable Diffusionを導入・体験するための入門書です。
    プログラミングが分からない、ネットの情報を見てもうまく使えなかった、そんな悩みを抱えている人でもAIを使った画像生成体験ができるようにしっかりサポートします。

    本書籍では以下の環境で解説します。
    ・Google Colab Pro環境
    ・Windows10/11 NVIDIA GPU環境
    ・MacOS Apple silicon 環境

    本書籍では以下の内容を取り扱います。
    ・拡散モデルによる画像生成の原理
    ・Stable Diffusionを使用するためのWebUI環境構築
    ・テキスト/画像を元に画像を生成する(txt2img/img2img/ControlNet)
    ・Google Colab 上で追加学習を行う(LoRAの作成)

    本書ではソフトウェアの使い方解説だけではなく、自分で設定できるセッティングやパラメータが画像生成にどのように関わっているのかについても解説しているため、AI技術について知識を深めたい人にとってもおすすめです。
    また、既にAIを活用している方にもご満足いただけるように、よりAI画像制作を極めるヒントとなるようなStable Diffusionを含むAI画像生成を利用した作例のメイキング方法やプロンプト構成/生成パラメーターなどの情報を公開・解説しています。ハンズオン形式で最後まで取り組むことで、画像生成AIへの理解をより深めることができる1冊となっています。

    全ての目次とコラムを紹介します!

    Chapter 1 画像生成AI について知ろう

    1-1 AI で画像を生成してみよう
    1-2 画像生成AI の誕生と変遷
    1-3 2024 年での「AI の定義」を考えてみよう
    1-4 ニューラルネットワークについて知っておこう
    1-5 拡散モデルによる画像生成の原理を知っておこう

    Chapter 2 環境構築をしてはじめよう

    2-1 Stable Diffusion を使う環境を用意しよう
    2-2 Google Colab での環境構築
    2-3 Stability Matrix をローカル環境で構築する
    2-4 簡単な言葉で画像を生成する
    2-5 モデルをダウンロードする
    2-6 VAE をダウンロードする

    Chapter 3 プロンプトから画像を生成してみよう

    3-1 プロンプトで意のままの画像を作り出す
    3-2 ネガティブプロンプトを構築する
    3-3 思い通りの画像を生成する
    3-4 画像の解像度を上げよう
    3-5 様々なパラメータを調整しよう
    3-6 様々なプロンプトを試してみよう

    Chapter 4 画像を使って画像を生成してみよう

    4-1 img2img でできることを知ろう
    4-2 Sketch を使って画像を生成しよう
    4-3 Inpaint で画像を編集してみよう
    4-4 Inpaint を応用して画像を修正する
    4-5 Outpainting で画像を拡張する
    4-6 img2img で画像の解像度を上げる
    4-7 拡張機能でアップスケーリングをしてみよう

    Chapter 5 ControlNet を使ってみよう

    5-1 ControlNet について知っておこう
    5-2 ControlNet をダウンロード・準備する
    5-3 ControlNet を使って画像を生成する
    5-4 プリプロセッサの働きを理解しよう

    Chapter 6 LoRA を作って使ってみよう

    6-1 追加学習でできることを知ろう
    6-2 LoRA を使用して画像を生成しよう
    6-3 自分の画風LoRA をつくる
    6-4 様々な種類のLoRA をつくってみよう
    6-5 学習内容を出力させてみよう

    Chapter 7 画像生成AI をもっと活用しよう

    Interview Guest フィナス
    Interview Guest らけしで
    画像生成AI の活用と注意点
    AUTOMATIC1111/WebUI おすすめ拡張機能
    関連用語

    充実したコラム!

    ページ番号とともに紹介します

    使用するGoogle アカウントに注意しよう 14
    変わりゆく社会とAI の関係性 25
    利用しているプログラムについて 43
    Google Colab のエラーに対応しよう 45
    Google Colab の計算資源を有効に管理しよう 47
    パッケージ選択ではエスケープしないように注意しよう 57
    画像の保存場所を変更しよう 62
    コミュニティで質問してみる 63
    StableDiffusion シリーズとは 65
    CLIP のゼロショット転移性 78
    embedding とは 82
    デフォルメキャラ風の画像を生成してみよう 106
    色の変化を抑える設定をしておこう 111
    下書きから画像を生成してみよう 114
    Mask blur を調整して自然に見せる 118
    拡張機能とは 124
    オープンソースライセンスの確認 131
    複数のControlNet を使用する 141
    Openpose をもっと使いこなそう 144
    これからのLoRA の活用方法 149
    LoRA の学習データで気を付けるべきこと 154
    手元に保管しているモデルファイルをLoRA 学習に使う 158
    写真や写実的な画像を学習させる場合 161
    学習の全体像を把握しよう 167

    主著者紹介:
    白井暁彦(Akihiko Shirai, PhD /しらいはかせ )(X アカウント:@o_ob)

    エンタメ・メタバース技術の研究開発に関わる研究者、ホワイトハッカー作家、米国スタートアップ「AICU Inc.」「Hidden Pixel Technology Inc.」のCEO。東京工芸大学写真工学科卒、同画像工学専攻修了。キヤノン株式会社とグループの研究所より生まれた英国・Criterion Software にて世界初の産業用ゲームエンジン「RenderWare」の普及開発に参加、その後、東京工業大学知能システム科学専攻に復学。博士学位後、NHK エンジニアリングサービス・次世代コンテント研究室、フランスに渡りENSAM 客員研究員、国際公募展Laval Virtual ReVolution の立ち上げ、日本科学未来館科学コミュニケーター神奈川工科大学情報メディア学科准教授を経て、2018 年よりデジタルハリウッド大学 大学院客員教授 およびグリー株式会社GREE VR Studio Laboratory Director。スマートフォン向けメタバース「REALITY」を開発・運用するREALITY 株式会社の立ち上げを通して、Virtual YouTuber などXR ライブエンタメ技術のR&D、国際発信など、メタバースエンタテイメントの未来開発や知財創出を中心に、自らエンタテイメントのライブプレイヤーとして世界に向けた開発・発信活動方法論化しながら世界中のエンタテインメント技術業界に数百人の規模でクリエイターを育成している。2023 年よりデジタルハリウッド大学発米国スタートアップ企業「AICU Inc.」CEO。生成AI 時代に「つくる人をつくる」をビジョンに英語、日本語、フランス語、プログラミング言語などでオープンな作家活動を続けている。日本バーチャルリアリティ学会IVRC 実行委員会委員。芸術科学会副会長。著書に『WiiRemote プログラミング』(オーム社)、『白井博士の未来のゲームデザイン – エンターテインメントシステムの科学-』(ワークスコーポレーション)、『AI とコラボして神絵師になる 論文から読み解くStable Diffusion』(インプレスR&D)他。

    アシスタントクリエイター 知山ことね(X アカウント:@ChiyamaKotone)

    デジタルイラストレーション、テクニカルライター、チャットボット開発、Web メディア開発を担当するAICU Inc. 所属のクリエイター。AICU Inc. のAI 社員「koto」キャラクターデザインを担当している。小学校時代に自由帳に執筆していた手描きの雑誌「ザ・コトネ」「ことまがfriends」のLoRA が話題に。技術書典15「自分のLoRAを愛でる本」他。

    AICU Inc. について:Xアカウント@AICUai https://corp.aicu.ai/ja    info@aicu.ai

    「生成AI時代につくる人をつくる」をビジョンに活動する2023年に設立された米国シリコンバレーを本拠地にするデジタルハリウッド大学発のスタートアップ企業です。LINEアカウント「全力肯定彼氏くん」「AI確定申告さん」、Webに住むAIアイドル「AICuty」、クリエイティブAIレポーター「Koto」など楽しみのあるAI体験を開発する「AIDX Lab」、わかるAIを楽しく届ける AI総合メディア「AICU media」、AI人材教育コンテンツ開発、障害者向けワークショップ開発、AIキャラクター開発運用、某有名企業の新技術プロトタイプコンテンツ開発など「クリエイティブAI」ならではのコンテンツ技術開発・体験開発を世界的な企業に展開している価値開発企業。画像生成AI「Stable Diffusion」を開発公開した Stability AI 公式パートナーであり、Google for Startups認定スタートアップでもあります。1994年に杉山知之が創立したデジタルハリウッド大学(愛称「デジハリ」)はCGやデジタルクリエーションを専門に学ぶ学校ですが、開学のころからずっと変わらず伝えていることは『すべてをエンタテインメントにせよ!』 。エンタテイメント技術の研究開発で30年の経験を持つCEO白井暁彦とAI社員、少数精鋭の人間味あふれる多様なスタッフや協力クリエイターとともに、すべてをエンタテインメントにするまで追求する文化が AICUにも息づいています。

    AICU media 編集部   https://note.com/aicu media@aicu.ai

    「わかるAIを楽しく届ける」総合AI情報メディア。AIレポーター「Koto」がクリエイティブAIを中心に24時間365日最新情報をお届けしています。 活動メディアはnote、 X(Twitter)、 動画メディア、各種商用サイトへの記事提供、同人誌・商業書籍・電子書籍など書籍企画との開発、子ども向けからお年寄り向けまで「つくる人をつくる」をビジョンに幅広いワークショップやイベントを開発しています。AI先進企業の新サービスの普及展開のお手伝い、AI活用したい企業の技術検証や社内展開、学校・スクール等のコンテンツ開発についても案件をお待ちしております。

    ファンコミュニティは note.com/aicu/membership

    ご購入とお問い合わせ:

    『画像生成AI Stable Diffusion スタートガイド』は、全国の書店およびオンライン書店でお買い求めいただけます。

    Amazon購入ページ: https://j.aicu.ai/SBXL

    最新情報は AICU media note.com/aicu

    X(Twitter) @AICUai https://twitter.com/AICUai

    @PRTIMES_JP
    最先端の画像生成AIを深掘りする教科書決定版『画像生成AI Stable Diffusion スタートガイド』発売 https://j.aicu.ai/SBXL
    https://prtimes.jp/main/html/rd/p/000000013.000133647.html

  • Stability Matrixのエラーを確認しよう

    Stability Matrixのエラーを確認しよう

    Stability Matrixのエラーを確認しよう

    Stability Matrixでのエラーは英語とコマンドラインで表示されるので敬遠されがちですが、実際には自力で環境構築を進めるのに比べて理解しやすい形式になっています。インストール時のエラーについて、多くの場合は「もう一度試せばよい」ということも多いので、諦めずに繰り返しインストールと、翻訳や検索をしてみると理解に繋がって無駄な時間を過ごすことがないでしょう。

    WebUI起動後のエラーメッセージの多くは、Colabの時と同じくGradioのWebインタフェースの右下に表示されています。さらに細かなエラーメッセージは「Stability Matrix」の「Launch」タブにも表示されています。特にエラーが起きていなくても、WebUIでは表示されない画像生成のプロセスや経過時間を確認できるので、表示する習慣をつけておくと良いでしょう。

    パッケージ選択ではエスケープしないように注意する

    最初のパッケージ選択は慎重に操作することをおすすめします。何か間違えても必ずエラーメッセージ等は出ていますので、強制終了などはしないで丁寧にログは見ていきましょう。
    最初の「Packages」でパッケージ選択をしますが、インストール中にエスケープキーなどで抜けないように気をつけましょう。抜けてしまった場合は「Packages」下部の「+パッケージの追加」から追加できます。

    欲張って一度に複数のパッケージを入れようとしない

    ・本書の解説は「 AUTOMATC1111/WebUI」の「v1.7.0」もしくは本書刊行時点での最新版は「v1.8.0」で行っています。インストール時に「Version」プルダウンで選択することで過去のバージョンもインストールできます。
    ・複数の同名パッケージをインストールするときに「表示名」を変更するとバージョン違いでインストールできます(更新すると最新版になってしまいますので注意)。

    動作確認のために「Stable Diffusion 1.5」をダウンロードしておく

    「Model Browser」から「Hugging Face」の「Base Models」からインストールできます。最低でも「Stable Diffusion 1.5」はインストールしておきましょう(「Stable Diffusion XL」が動けば何の問題もありませんが、メモリ不足でロードできないという問題も多く発生しますので)。

    「Fooocus」や「ComfyUI」をインストールしておく

    最近は「Fooocus」や「ComfyUI」に関する情報も多く、モデルのダウンロードやセットアップなどは共通の基盤でもあるので、これらのパッケージのインストールやセットアップも実施しておくと 問題が解決することもあります。逆を言えば、「Fooocus」や「ComfyUI」が動いているのに「AUTOMATIC1111/WebUI」だけが動かない、という状態であれば、ハードウェアのスペックではなく、WebUIやモデルの選択、拡張機能などのセッティングが問題であると粗く絞ることもできます。

    Packageにインストールされたその他のパッケージの3点メニュー「…」から「アンインストール」、「アップデートを確認」や「共通画像フォルダ」の設定ができます。「Model Sharing」で「Symlink」にすると、モデルデータをリンクファイルとして共有できるのでディスクの容量を節約することができます。

    Stability Matrixの GitHub Issues

    https://github.com/LykosAI/StabilityMatrix/issues

    2024年3月3日時点で v2.8.3、Issues (不具合報告)は 142件存在しますが、積極的に解決が進んでいるようです。似たようなエラーがあったときはそのキーワードで探してみると、世界中の利用者が互助的に解決していることもあります。特にMac版はリリースされたばかりなので問題があるかもしれませんが、同じような問題で詰まっている方も多くいるので情報も見つかりやすい状況です。
    英語でのIssueを立てられるようになれば、オープンソースの貢献者への第一歩です。

    noteのハッシュタグ「#StabilityMatrix」

    日本語では note に情報が集まっています。ハッシュタグ「#StabilityMatrix」はこちらで確認することができます。

    https://note.com/hashtag/stabilitymatrix

    人気」、「 急上昇」、「 新着」、「 定番 」があり、インストールや最新情報でのトラブルシューティングに活用してください。

    注意:オープンソースの開発者は常に「みんな」のことを考えて動きます。個別の環境に関する問題を発見することはありがたいですが「僕の環境で動きません」だけではサポートは難しくなります。
    有償無償に関わらず、質問する場合は自己紹介や、自分の環境に関する丁寧な説明を行いましょう。雑な質問の仕方は雑な扱いになり、コミュニティが荒れるだけでなく、初心者にとって優しくない環境を作り、ひいては自分も振りかぶってしまいます。これは日本語や英語でも変わりません。

    AICU media コミュニティで質問してみる

    https://note.com/aicu/membership/join

    AICU media メンバーシップ掲示板もご活用ください


    Originally published at https://note.com on March 3, 2024.

  • AUTOMATIC1111 v1.8.0リリース

    AUTOMATIC1111 v1.8.0リリース


    日本時間2024年3月2日、人気のあるオープンソース画像生成WebUI「AUTOMATIC1111/Stable Diffusion WebUI」の最新版v1.8.0 がリリースされました。

    • Update torch to version 2.1.2
    • Support for SDXL-Inpaint Model (#14390)
    • Automatic backwards version compatibility (when loading infotexts from old images with program version specified, will add compatibility settings)
    • Implement zero terminal SNR noise schedule option (SEED BREAKING CHANGE, #14145, #14979)
    • Add a [✨] button to run hires fix on selected image in the gallery (with help from #14598, #14626, #14728)
    • Separate assets repository; serve fonts locally rather than from google’s servers
    • Official LCM Sampler Support (#14583)
    • Add support for DAT upscaler models (#14690, #15039)
    • Extra Networks Tree View (#14588, #14900)
    • Prompt comments support

    以下、主要な機能の日本語訳です

    torch をバージョン2.1.2に更新
    ソフトインペイント (#14208) を追加
    FP8のサポート (#14031, #14327)
    SDXL-Inpaintモデルのサポート (#14390)
    アップスケーリングと顔復元アーキテクチャにスパンドレルを使用 (#14425, #14467, #14473, #14474, #14477, #14476, #14484, #14500, #14501, #14504, #14524, #14809)
    古いバージョンとの自動互換性 (プログラムバージョンを指定して古い画像からテキスト情報を読み込む場合、互換性設定を追加)
    ゼロターミナルSNRノイズスケジュールオプションを実装 (SEED BREAKING CHANGE, #14145, #14979)
    ギャラリーで選択された画像の hires.fix を実行する[✨]ボタンを追加 (#14598, #14626, #14728からのヘルプ)
    アセットリポジトリを分離し、フォントをgoogleのサーバーからではなくローカルで提供するように。
    公式LCMサンプラーのサポート (#14583)
    DATアップスケーラーモデルのサポートを追加 (#14690, #15039)
    ネットワークツリービューの追加(#14588, #14900)
    NPUのサポート(#14801)
    プロンプトコメントのサポート

    Stability Matrixのほうはまだ対応できていないようです。
    追記:自動アップデートで対応されました。

    破壊的変更#14145 #14978 はともにリファイナーのスケジューラに関するものです。

    1.7.0→1.8.0の全てのコミットログはこちらです

    機能関係

    微細な修正:

    ExtentionsとAPI:

    パフォーマンス

    14507に対処するため、膨大な数のファイルを含むextra networksディレクトリのパフォーマンスを大幅に改善した (#14528)
    余分なnetworkディレクトリの不要な再インデックス作成を削減 (#14512)
    不要なisfile/exists呼び出しを回避 (#14527)

    バグ修正:

    その他:

    現在、Issuesは1899件存在します。

    全てのオープンソースの開発者に敬意を持って・・・応援したい。

    まだまだ元気なAUTOMATIC1111プロジェクトです。
    世界中でも多くの国で使われています。

    これについてはまた別の機会にレポートします。


    Originally published at https://note.com on March 2, 2024.

  • Stability Matrixが最新版 v2.6.1にアップデート

    Stability Matrixが最新版 v2.6.1にアップデート

    2023年11月17日「Automatci1111」や「Fooocus」、「ComfyUI」を代表とするStable Diffusion WebUI各種が簡単なインストーラーでセットアップできちゃう「Stability Matrix」が最新版 v2.6.1にアップデートされました。

    https://github.com/LykosAI/StabilityMatrix/releases/tag/v2.6.1

    v2.6.0以前から大きな変更点

    v.2.5.x以前のユーザは新規インストールをしたほうがいいかもしれません。

    11月10日にリリースされたStability Matrixがv2.6.0に!IntelのオンボードGPUでも動く可能性が出てきました。

    https://note.com/o_ob/n/nd5ec2fd34ad9

    大きなニュースとしては、追加学習のプロジェクトとして評価の高い「kohya_ss」のパッケージ追加されました。

    Kohya’s GUI とは

    LoRAを生成するためのGUIで、日本人のKohyaさんが開発しています。

    https://github.com/bmaltais/kohya_ss

    このリポジトリは、主にKohyaさんが開発したStable Diffusionでの機械学習のためのWindowsに特化したGradio GUIを提供しています。GUIで学習パラメータを設定し、モデルを学習するために必要なCLIコマンドを生成して実行することができます。

    LoRAとは

    画像生成やLLMにおける追加学習のことで、StableDiffusionの場合は、自分の画風を学習させたり、キャラクターや背景を安定させたりといった使い道があります。ちょうどこちらの書籍で解説しています

    https://techbookfest.org/product/guM26Wz45JGPzhkaHFVzZj

    まだバグがいっぱいありそうですが、その後、短い期間でStability Matrixが最新版 v2.6.1にアップデートされたということになります。

    https://github.com/LykosAI/StabilityMatrix/releases/tag/v2.6.1

    リリースノートによると

    ・NVIDIA GPUユーザーは、InvokeAIパッケージでCUDA 12.1を使用するように更新され、パフォーマンスが若干向上。アップデートは、パッケージの次回更新時または新規インストール時に行われます。
    注:CUDA 12.1は、Maxwell(GTX 900シリーズ)以降のGPUでのみ利用可能です。

    ・バグ修正
    レート制限を防ぐため、GitHubへのコール量を削減
    起動時にレート制限がクラッシュし、アプリが起動できなくなる問題を修正

    インストール時の不具合はこちらで修正された可能性がありますね。
    Stability MatrixによるWebUIのパッケージ管理は非常に便利なので、今後もアップデートを見守っていきたいと思います。

    Originally published at https://note.com on November 20, 2023.