月: 2024年11月

  • [ComfyMaster35] ここから始める動画編!SDXL+AnimateDiffでテキストから動画を生成しよう!

    Stable Diffusionをベースに開発されたAnimateDiffは、シンプルなテキストプロンプトから動画を簡単に作成できます。画像生成AIを使って動画を生成する基本を知りたい方に向けて、この記事で一気に詳しく解説しています。

    ※本記事はワークフロー含め、期間限定無料で提供します!

    [PR] ComfyUIマスター:カスタムノードとアプリ開発

    https://j.aicu.ai/Coloso3

    こんにちわ、AICU media編集部です。
    ComfyUI マスターガイド」第35回目、ついに動画編に突入です!

    本記事では、SDXLとAnimateDiffを用いて、テキストから動画を作成する方法を説明します。AnimateDiff単体では、生成された動画は一貫性を保持しにくいですが、その原因と緩和方法をあわせて解説していきます。

    本連載の初回はこちら。前回はこちら目次はこちらです。

    [ComfyMaster34] 便利LoRA紹介: Detail Tweaker XLで画像の精細さをコントロール #ComfyUI

      1. AnimateDiffの概要

      AnimateDiffとは

      AnimateDiffは、Stable Diffusionをベースに開発された画像から動画を生成するtext-to-video(t2v)の技術です。既存のtext-to-image(t2i)モデルを特別な調整なしにアニメーション生成モデルに変換する実用的なフレームワークであり、これにより、ユーザーは高品質な画像生成能力を持つt2iモデルを、そのまま滑らかで視覚的に魅力的なアニメーションを生成するために活用できるようになります。

      AnimateDiffの仕組み

      AnimateDiffの核心は「モーションモジュール」という、事前にトレーニングされたプラグアンドプレイのモジュールにあります。このモジュールは、リアルな動画データからモーションプライア(Motion Priors)を学習しており、一度トレーニングされると、同じ基盤となるT2Iモデルを使用する他のパーソナライズT2Iモデルにもシームレスに統合可能です。具体的な仕組みは以下の3つのステップに分かれます。

      モーションプライア(Motion Priors)とは?

      モーションプライアとは、動画データから学習される「動きの先行知識」を指します。これには以下の特徴があります。

      • 動きのパターンの学習:モーションプライアは、動画の連続フレーム間の変化やダイナミクスを捉え、自然な動きを再現します。
      • 汎用性の確保:一度学習されたモーションプライアは、異なるt2iモデルにも適用可能で、モデルごとに動きを学習し直す必要がありません。
      • 高品質なアニメーション生成:モーションプライアにより、生成されるアニメーションが時間的な一貫性と滑らかさを持ちます。

      1. ドメインアダプターの導入

      画像

      AnimateDiffでは、まず「ドメインアダプター」と呼ばれる別のネットワークを導入します。これは、画像データと動画データの間に存在する画質や内容の違いを補正するためのものです。動画データはしばしば動きのブレや圧縮アーティファクト、ウォーターマークが含まれるため、直接学習させるとアニメーションの品質が低下する恐れがあります。ドメインアダプターを用いることで、モーションモジュールはモーションプライアのみを学習し、画像の質に関する情報は元のT2Iモデルが保持します。

      2. モーションモジュールの学習

      画像

      次に、「モーションモジュール」を学習します。これは、動画データから動きのパターンであるモーションプライアを抽出し、アニメーション生成に必要な時間的なダイナミクスをモデルに追加する役割を担います。モーションモジュールは、Transformerアーキテクチャをベースにしており、動画の各フレーム間の関連性を学習します。このモジュールをT2Iモデルに統合することで、生成される画像が時間とともに自然に動くアニメーションへと変換されます。

      3. MotionLoRAによる動きのパターンの微調整

      画像

      最後に、「MotionLoRA」と呼ばれる軽量な微調整技術を用います。これは、既に学習済みのモーションモジュールを新しい動きのパターンに適応させるためのもので、例えばカメラのズームインやパンニングといった特定の動きを追加したい場合に使用します。MotionLoRAは少数の参考動画と短時間のトレーニングで新しい動きのパターンを学習できるため、ユーザーは簡単に特定の効果を追加できます。

      AnimateDiffの利点

      AnimateDiffの主な利点は以下の通りです。

      • モデル固有の調整が不要: 既存のt2iモデルをそのままアニメーション生成に活用できるため、ユーザーは手間をかけずにアニメーションを作成できます。
      • 高品質なアニメーション: モーションモジュールがモーションプライアを学習することで、生成されるアニメーションは自然で視覚的に魅力的です。
      • 柔軟な動きのカスタマイズ: MotionLoRAを用いることで、特定の動きのパターンを簡単に追加・調整できます。
      • 効率的なトレーニングと共有: MotionLoRAは少量のデータと短時間のトレーニングで動きを学習できるため、ユーザー間でのモデル共有も容易です。

      2. カスタムノードのインストール

      さて早速はじめていきましょう。
      ComfyUIでのカスタムノードのインストール方法があやふやな方はこちらを復習お願いいたします。

      ★復習[ComfyMaster4]ComfyUIカスタムノード導入ガイド! 初心者でも安心のステップバイステップ解説

      Google ColabでのComfyUI環境設定から学びたい方はこちら
      ★復習[ComfyMaster1] Google ColabでComfyUIを動かしてみよう!

      準備ができたら、以下のカスタムノードを使用するため、ComfyUI Managerからインストールしてください。

      ComfyUI-AnimateDiff-Evolved

      ComfyUI-AnimateDiff-Evolvedは、Stable Diffusionモデルを拡張して動画生成を可能にするカスタムノードです。元のAnimateDiffを進化させたバージョンで、動画生成のためのモーションモジュールと高度なサンプリング技術を組み込んでいます。

      https://github.com/Kosinkadink/ComfyUI-AnimateDiff-Evolved

      ComfyUI-VideoHelperSuite

      ComfyUI-VideoHelperSuiteは、動画生成を支援するためのカスタムノードです。動画の編集や加工を容易にする機能を提供します。今回は、一連の画像を動画にして保存するノードを使用するために必要となります。

      https://github.com/Kosinkadink/ComfyUI-VideoHelperSuite

      3. モデルのインストール

      RealVisXL V5.0 Lightning

      今回は、RealVisXLのLightningバージョンを使用します。Lightningバージョンでは、サンプリングのステップ数を4-6回に抑えることができます。生成量の多いAnimateDiffでは、TurboやLightningなどの数ステップで生成完了するモデルを選ぶと良いでしょう。
      以下のリンクよりモデルをダウンロードし、「ComfyUI/models/checkpoints」フォルダに格納してください。

      https://huggingface.co/SG161222/RealVisXL_V5.0_Lightning/blob/main/RealVisXL_V5.0_Lightning_fp16.safetensors

      SDXL Motion Module

      SDXLのモデルで動画生成するため、SDXLのモーションモジュールをダウンロードします。SDXLのモーションモデルには、「AnimateDiff-SDXL」「Hotshot-XL」の2種類があります。AnimateDiff-SDXLは16フレーム、Hotshot-XLは8フレームのコンテクストに対応しており、AnimateDiff-SDXLのコンテクストは長く、一貫した動画を作成しやすいですが、一方で品質が悪いことが指摘されています。詳細は、以下のIssueをご確認ください。

      https://github.com/guoyww/AnimateDiff/issues/382

      今回は、両方のモデルを使用してみます。それぞれ以下よりダウンロードし、「ComfyUI/custom_nodes/ComfyUI-AnimateDiff-Evolved/models」フォルダに格納してください。

      • AnimateDiff-SDXL

      https://huggingface.co/guoyww/animatediff/blob/main/mm_sdxl_v10_beta.ckpt

      • Hotshot-XL

      https://huggingface.co/hotshotco/Hotshot-XL/blob/main/hsxl_temporal_layers.f16.safetensors

      4. ワークフローの解説

      以下がワークフローの全体像になります。このワークフローは、テキストプロンプトから直接アニメーション動画を生成する簡潔な例です。AnimateDiffを使用することで、フレーム間の一貫性を保ちながら滑らかなアニメーションを生成します。低ステップ数(4ステップ)での高速生成を行いながら、AnimateDiffの特性を活かして品質を維持しています。

      画像

      ワークフローは、以下のリンクよりダウンロードしてください。

      https://note.com/api/v2/attachments/download/2aaedfeba22c3cfd52c3184503b3c893

      このワークフローの構造を以下の通りにフローチャートで表現します。

      画像

      以下に、このワークフローの主要な部分とその機能を詳細に説明します。

      1. モデルとAnimateDiffの設定:
        • Load Checkpoint ノード: 「RealVisXL_V5.0_Lightning_fp16.safetensors」モデルを読み込みます。
        • AnimateDiff Loader ノード: AnimateDiffのモーションモジュールをベースモデルに適用します。
          • model_name: 「mm_sdxl_v10_beta.ckpt」または「hsxl_temporal_layers.fp16.safetensors」を設定します。
          • beta_schedule: autoselect
        • Context Options Standard Uniformノード: AnimateDiffのコンテキストオプションを設定します。
          • context_length: 16(Hotshot-XLの場合は8)
          • context_stride: 1
          • context_overlap: 4
          • fuse_method: pyramid
          • use_on_equal_length: false
          • start_percent: 0
          • guarantee_steps: 1
        • Sample Settingsノード: アニメーション生成プロセスの様々な要素をコントロールするための設定をまとめるノード
          • noise_typeをFreeNoiseに設定します。FreeNoiseは、FreeInitという、動画生成モデルにおける時間的一貫性を向上させるための手法を利用して各フレームを生成します。これにより、一貫性を持った動画を作成しやすくなります。コンテクスト間で一貫性を保てる一方、FreeNoiseを使用しない場合と比較して、変化が小さくなります。
      2. サンプリング設定:
        • FreeInit Iteration Optionsノード: FreeInit samplingのパラメータを設定します。
        • Sample Settingsノード: AnimateDiffのサンプリング設定を構成します(FreeNoiseモード)。
      3. プロンプト処理:
        • ポジティブプロンプト: 「1girl, Japanese, cute, black long hair, white shirt, navy blue skirt, white shoes, upper body, green background,」
        • ネガティブプロンプト: 「(worst quality, low quality, illustration, 3d, 2d, painting, cartoons, sketch), open mouth, socks,」
      4. 潜在画像の準備:
        • Empty Latent Image ノード: 1024×1024の80フレームの空の潜在画像を生成。
          • Hotshot-XLは、次の解像度でトレーニングされているため、次の解像度のいずれかを設定してください: 320 x 768、384 x 672、416 x 608、512 x 512、608 x 416、672 x 384、768 x 320
      5. 画像生成:
        • KSampler ノード:
          • Seed: 12345
          • Steps: 4
          • CFG Scale: 2
          • Sampler: dpmpp_sde
          • Scheduler: karras
          • Denoise: 1.0
      6. 出力処理:
        • VAE Decode ノード: 生成された潜在表現を実際の画像にデコードします。
        • Video Combine ノード: 生成された画像シーケンスを16fpsの動画に変換し、「AnimateDiff」というプレフィックスで保存します。

      5. ワークフローの補足

      Context OptionsとView Options

      通常、モーションモジュールでは、短いフレーム数しか扱えない(AnimateDiffは16フレーム、HotshotXLは8フレーム)です。これをかいかつするのがContext OptionsView Optionsです。これらは、アニメーションを作成する際に、AnimateDiffやHotshotXLといったモデルの制限を超えて、より長いアニメーションを作るための方法です。

      Context Optionsは、アニメーションの一部ずつを処理する方法です。これにより、同時に使うメモリ(VRAM)の量を制限できます。要するに、大きな作業を小分けにして進めることで、VRAMの負担を減らしているのです。これには、Stable Diffusionの拡散処理やControlNetなどの補助技術が含まれます。

      View Optionsは、モーション(動き)を処理するモデルが、見るべきデータ(潜在変数)を小分けにする方法です。この方法ではVRAMを節約できませんが、処理が安定しやすく、より速く動きます。なぜなら、データが全ての処理を経る必要がないからです。

      Context OptionsとView Optionsの違いは、Context Optionsがメモリを節約して少しずつアニメーションを処理するのに対し、View Optionsはメモリの節約はできませんが、速くて安定しています。

      この2つを組み合わせることで、長くて安定したアニメーションを作りながら、VRAMの使用量をうまく調整することができます。VRAMに余裕がある場合は、処理をより速く行うためにView Optionsをメインに使うこともできます。

      Sample Settings

      「Sample Settings」ノードは、通常のKSamplerノードでは設定できないサンプリングプロセスをカスタマイズするための機能を提供します。デフォルトの設定では何の影響も与えないため、安全に接続しても動作に変更はありません。

      Sample Settingsのnoise_typeで生成されるノイズのタイプを選択できます。この中のFreeNoiseは、安定性を増すために利用できます。FreeNoiseは、FreeInitという、動画生成モデルにおける時間的一貫性を向上させるための手法を用いています。この方法は、追加のトレーニングを行うことなく、ビデオ拡散モデルを使用して生成された動画の全体的な品質を改善します。
      基本的に最初のcontext_lengthウィンドウと同じ初期ノイズをコンテキストの重複部分で再利用し、それ以降のコンテキストウィンドウの重複部分にはランダムにシャッフルされたバージョンを配置します。コンテキストウィンドウの重複部分でノイズをシャッフルしないため、context_lengthフレームごとに内容が繰り返されるという副作用があります。

      FreeInit イテレーションオプション

      前述したFreeInitの特性上、FreeInitはイテレーションが最低2回必要になります。FreeInitの動作としては、最初のイテレーションで生成された動画から低周波のノイズを取得し、それをランダムに生成された高周波のノイズと組み合わせて次のイテレーションを実行します。各イテレーションは完全なサンプルであり、イテレーションが2回行われると、1回またはイテレーションオプションが接続されていない場合に比べて実行時間が2倍になります。

      1. FreeInit [sampler sigma]: この方法は、サンプラーから得られるシグマ値を使用してノイズを適用します。既存の潜在変数からの低周波ノイズとランダムに生成された潜在変数からの高周波ノイズを組み合わせることで、アニメーションの時間的一貫性を高めることを目的としています。
      2. FreeInit [model sigma]: この方法は、サンプラーではなくモデルからシグマ値を使用します。カスタムKSamplerを使用する際に特に有用で、ノイズの適用がモデルの特性と一致するようにします。
      3. DinkInit_v1: これはFreeInitの初期実装で、開発者が方法をさらに洗練する前に作成されたものです。他の2つのオプションほど最適化されていないかもしれませんが、特定のコンテキストで満足のいく結果を得ることができます。

      6. ワークフローの実行

      それでは、ワークフローを実行してみましょう。マシンスペックにもよりますが、5秒の動画を生成するにも多くの時間を要します(A100のGPUで1分、A6000で3分ほどでした)。

      AnimateDiff-SDXLの結果

      以下は、Sample Settingsを適用しない場合の生成結果です。プロンプトに従い女性の動画が生成されていますが、一貫性がないことが分かります。これは、AnimateDiffの特性で、Context Optionsノードのcontext_length内でしかコンテクストを正しく保持できないためです。context_overlapで数フレームをオーバーラップさせることで、次のコンテクストでの生成に前の生成結果を反映させますが、それも限界があるようです。

      画像

      次にSample Settingsのnoise_typeをFreeNoiseにして生成結果です。先ほどよりも変化が少なく、コンテクスト間で一貫性が保たれていることが分かります。

      画像

      その他に、一貫性を保つ方法として、Motion LoRAを使う方法があります。しかし、Motion LoRAは、SD1.5用しか存在せず、SDXLには適用できません。SD系列だと、SDXLがメジャーになっている中で、SD1.5を使用する人はあまりいないと思います。そのため、これがSDXL+AnimateDiffでのt2vの限界だと思います。ただし、この特性を活かした面白い表現をしたり、抽象的な表現をするには十分にAnimateDiffを活かせると思います。

      Hotshot-XLの生成結果

      次は、Sample Settingsのnoise_typeをdefautで、モーションモデルにHotshot-XLを使用して生成した結果です。コンテクスト長が8フレームしかないため、0.5秒ごとにコンテクストが変わってしまい、AnimateDiff-SDXL以上に変化の激しい動画となっています。

      画像

      次にSample Settingsのnoise_typeをFreeNoiseにして生成した結果です。AnimateDiff-SDXLと同様、先ほどよりも一貫性が増しました。Hotshot-XLの方がAnimateDiff-SDXLより明瞭だと言われますが、対応している解像度がAnimateDiff-SDXLは1024×1024、Hotshot-XLは512×512なので、解像度が異なることもあり、違いが分かりづらいです。Hires.fixすれば、どちらもそれほど気にならないかもしれません(text2videoに限れば)。

      画像

      7. まとめ

      AnimateDiffは、Stable Diffusionの技術を基に、画像生成AIの枠を超えて動画生成を実現した画期的なツールです。軽量でありながら、自然で一貫性のあるアニメーションを生成できるため、クリエイティブな用途に広く活用が期待されます。特に、テキストプロンプトから直接アニメーションを生成できる点は、デザイナーやアニメーターにとって大きな利便性を提供します。

      しかし、現状ではContext Optionsノードの制約やMotion LoRAの対応が限定的で、完全に安定した結果を得るためには工夫が必要です。今後、SDXLシリーズに最適化された技術の進展により、さらに質の高い動画生成が可能になることが期待されます。

      新しい技術に挑戦し続けることは、より高品質で魅力的なコンテンツを生み出す力となります。AnimateDiffを駆使して、これまでにないアニメーション表現に挑戦してみてください。

      次回は、AnimateDiffでvideo-to-video(v2v)をする方法を紹介します。乞うご期待!
      X(Twitter)@AICUai もフォローよろしくお願いいたします!

      [PR] ComfyUIマスター:カスタムノードとアプリ開発

      https://j.aicu.ai/Coloso3

      画像生成AI「ComfyUI」マスターPlan

      画像生成AI「Stable Diffusion」特に「ComfyUI」を中心としたプロ向け映像制作・次世代の画像生成を学びたい方に向けたプランです。最新・実用的な記事を優先して、ゼロから学ぶ「ComfyUI」マガジンからまとめて購読できます。 メンバーシップ掲示板を使った質問も歓迎です。

      • メンバー限定の会員証が発行されます
      • 活動期間に応じたバッジを表示
      • メンバー限定掲示板を閲覧できます
      • メンバー特典記事を閲覧できます
      • メンバー特典マガジンを閲覧できます
      • 動画資料やworkflowといった資料への優先アクセスも予定

      ゼロから学ぶ「ComfyUI」マガジン

      https://note.com/aicu/m/md2f2e57c0f3c

      マガジン単体の販売は1件あたり500円を予定しております。
      2件以上読むのであればメンバーシップ参加のほうがお得です!というのもメンバーシップ参加者にはもれなく「AICU Creator Union」へのDiscordリンクをお伝えし、メンバーオンリー掲示板の利用が可能になります。

      https://note.com/aicu/membership/boards/61ab0aa9374e/posts/db2f06cd3487?from=self

      もちろん、初月は無料でお試しいただけます!
      毎日新鮮で確かな情報が配信されるAICUメンバーシップ。
      退会率はとても低く、みなさまにご満足いただいております。
      ✨️オトクなメンバーシップについての詳細はこちら


      この記事の続きはこちらから https://note.com/aicu/n/n1728bd0668f5

      Originally published at https://note.com on Nov 20, 2024.

    1. 世界の生成AIアニメツールが初公開「ComfyUI Community Summit Tokyo 2024」

      2024年11月16日、池尻大橋「BPM」にて開催された「Comfy Community Summit Tokyo」を現地突撃取材をいたしました。

      朝10:30~20時という非常に長時間のイベントにも関わらず、会場は100人以上の参加者が所狭しと集結する熱気のある場となっていました。

      画像

      コミュニティのコアメンバーが中国系の開発者 @ZHO_ZHO_ZHO であることもあり、メイン言語は英語でしたが、ほとんどの参加者は中国語話者でした。おそらく日本在住の中国系の参加者がとても多かった印象です。

      画像

      サミットの名にふさわしく、中国系だけでなく、日本や欧米のプレイヤーも集まっていました。
      フランスからUbiSoftの開発者、日本からはAiHubがホストしており、ゲストスピーカーにはCivitaiのVice President (VP of Partnerships) である Matty Shimuraが参加していました。

      画像
      画像

      左からAICUしらいはかせ、AiHub新井モノさん、田中さん、CivitaiのMatty Shimura氏です。なかなか会える人たちではありませんね!

      Civitai・Matty Shimuraによる講演「プロジェクト・オデッセイ 第2シーズン」

      Matty Shimura氏の講演では、画像生成モデルSNS「Civitai」に関する話というよりも、この夏開催された国際AI映像制作コンペ「Project Odyssey」(プロジェクト・オデッセイ)に関する報告と、「第2シーズン」に関する発表が大きかったです。

      画像

      https://www.projectodyssey.ai

      Project Odysseyの第1シーズンでは19社による協賛でしたが、

      画像

      第2シーズンではこれだけのスポンサーがつくそうです。

      画像

      これから3月にかけてコンペが進行していきます。

      画像

      詳しく知りたい方はこちらの動画をどうぞ。

      iKHOR Labsによる世界初公開のアニメ制作ツール「KamikAI」

      プロ向けAIアニメツールを開発するアメリカ西海岸のスタートアップ企業「iKHOR Labs」(アイコールラボ)のCEO、Coco Nittaよりアニメ制作ツール「KamikAI」が世界初公開されました。

      画像

      Coco Nitta氏は グラミー賞ノミネートプロデューサーであり、iKHOR Labs の CEOです。音楽プロデューサーからテクノロジー起業家に転身した日系人で、AI を活用し、人間のアニメーターの力を高めることでアニメ業界に革命を起こすクリエイティブAIツール企業「iKHOR Labs」創設者です。

      画像
      画像
      画像

      今回発表されたツールは非常に安定してアニメ原画を描ける「KamikAI」で、「NDA(守秘義務契約)なしで公開する初の機会」とのことでした。さらにティザー動画だけでなく、ライブデモ実演がありました。

      画像
      画像
      画像

      詳細に興味が有る方はこちらの動画をどうぞ

      「KamikAI」のデモパートはこちら

      AiHub、Tasuku氏によるプレゼンテーション

      Chillout Mixの作者・Tasuku氏( @tasuku2023 )によるAiHub会社紹介が行われました。経済産業省による生成AIチャレンジプログラム「GENIAC」に関するお話などもありました。

      画像
      画像
      画像
      画像
      画像
      画像
      画像
      画像
      画像
      画像
      画像

      日本語と英語のハイブリッド講演です。

      参加者の様子・Xでの投稿から

      画像
      画像
      画像
      画像
      画像
      画像
      画像
      画像

      まとめ

      ComfyUIのミートアップは、アメリカ西海岸を拠点とする開発者本体である「Comfy Org」が既に渋谷で開催いたしましたが、中国系のコミュニティイベントが東京で開催されるという盛り上がり、その熱狂をお伝えしました。

      https://corp.aicu.ai/ja/meetup20240927

      前回のイベントアーカイブも参加者により報告されていますので興味のある方はご参考まで。

      会場ではAICUマガジンや SD黄色本 の中国語版を求める声も…!
      ありがとうございます!頑張ってみます。

      https://j.aicu.ai/MagV6

      これからも大いに盛り上がりが期待されるComfyUIのコミュニティ、AICUも継続して解説ブログや連載Coloso動画ラーニングメディア、イベントやレポート記事等で応援していきたいと考えております。

      https://j.aicu.ai/Coloso3

      ★イベントの告知や取材依頼はこちらからどうぞ → 掲載依頼フォーム

      Originally published at https://note.com on Nov 18, 2024.

    2. [ComfyMaster34] 便利LoRA紹介: Detail Tweaker XLで画像の精細さをコントロール

      画像生成AIの世界は、日々進化し続けています。その中で、作品にどれだけ細かなディテールを与えられるかが、仕上がりのクオリティを左右する重要なポイントとなっています。美しい風景や繊細なキャラクター、壮大な建築物など、細部までこだわった表現は、見る者の心を掴み、深い感動を呼び起こします。

      そんな中、注目を集めているのが「Detail Tweaker XL」というLoRAモデルです。このモデルを使うことで、精緻でシャープなディテールを持つ作品が生み出されます。作品の魅力を一段階引き上げたいと考えているすべてのクリエイターにとって、このモデルは強力な味方となるでしょう。

      こんにちわ、AICU media編集部です。
      ComfyUI マスターガイド」第34回目になります。
      本記事では、この「Detail Tweaker XL」がどのような特徴を持ち、どのように活用できるのかを詳しく見ていきます。

      本連載の初回はこちら。前回はこちら、目次はこちらです。

      [ComfyMaster33] 便利LoRA紹介: Envy Zoom Slider XLで画角を調整しよう! #ComfyUI

        1. 概要

        Detail Tweaker XLは、その名が示す通り、画像の細部を強化することに特化したLoRAモデルです。このモデルを使用すると、生成される画像全体のディテールが著しく向上し、より鮮明で精緻な結果を得ることができます。

        https://civitai.com/models/122359/detail-tweaker-xl

        具体的には、物体の表面テクスチャがより精密に表現され、細かな凹凸や模様が際立つようになります。また、画像全体のシャープネスが増し、輪郭がくっきりと定義されるため、より「解像度が高い」印象を与える画像が生成されます。これは特に、建築物や自然風景、あるいは精密な機械部品などの複雑な構造を持つ被写体を生成する際に顕著な効果を発揮します。

        さらに、Detail Tweaker XLの興味深い特徴として、その汎用性の高さが挙げられます。このLoRAは特定のスタイルや主題に限定されることなく、幅広いプロンプトや設定と組み合わせて使用できます。風景画から人物ポートレート、あるいはSF的な未来世界の描写まで、様々なジャンルの画像生成において、その効果を発揮することができるのです。

        Detail Tweaker XLのページの説明では、強度を±3.0の範囲で使用することが推奨されています。また、使い方として、詳細度を上げる場合は、強度を+1.5から開始し、そこから調整していくことがおすすめされています。

        2. 使用準備

        今回使用するLoRA「Detail Tweaker XL」を以下よりダウンロードし、「ComfyUI/models/loras」フォルダに格納してください。

        https://civitai.com/models/122359/detail-tweaker-xl

        3. ワークフローの構成

        ワークフローは、標準ワークフローにLoad LoRAノードを追加したものになります。モデルにはSDXLのベースモデルを使用しています。

        画像

        ワークフローは以下よりダウンロードしてください。

        https://note.com/api/v2/attachments/download/9fa23fa1821fb0c06031cef55c7e30a0

        プロンプトは以下の通りです。

        • ポジティブプロンプト
        1girl, detailed, beautiful, intricate design, delicate, flowing hair, soft lighting, pastel colors, ornate dress, lace, floral patterns, long hair, glowing, ethereal, serene expression, detailed eyes, highly detailed background, flowers, soft shading, elegant, fantasy setting, fairy tale atmosphere, sparkles, graceful, warm tones
        • ネガティブプロンプト
        bad hands, bad anatomy, ugly, deformed, (face asymmetry, eyes asymmetry, deformed eyes, deformed mouth, open mouth)

        KSamplerノードの各ウィジェットの設定は以下の通りです。

        • seed: 747064347533087
        • control_after_generate: fixed
        • steps: 20
        • cfg: 8.0
        • sampler_name: euler
        • scheduler: normal
        • denoise: 1.0

        4. 生成結果の検証

        まずは、LoRAなしで生成してみます。以下が生成結果です。この状態でも十分に美麗な画像となっています。

        画像

        次にLoRAの強度を+3.0にし、画像生成してみます。

        画像

        以下が生成結果です。LoRAなしよりも明瞭になったのではないでしょうか。例えば、周囲の花や、頭の花飾り、ドレスの柄が細かく描写されています。

        画像

        次は、LoRAの強度を-3.0にし、詳細度を落としてみました。全体的に細かさが減っているように見えます。例えば、頭の花飾りの花が大きくなっていたり、洋服の柄の細かさも少なくなっています。

        画像

        微妙な違いもあるので、ChatGPTに評価してもらいました。以下がChatGPTの評価結果です。

        【レビュー】
        1. ディテールの精密さ
        ・1枚目 (LoRAなし)
        ディテールは十分に美しく描かれていますが、特に髪やドレスの質感において、少し柔らかくぼやけた印象があります。特に髪の毛の一本一本や、刺繍の細かい部分はやや滑らかで、精細度が少し低いと感じます。
        ・2枚目 (LoRA +3.0適用)
        LoRAが適用されたことで、全体的に細部がよりシャープに、そして明瞭に見えます。特に髪の毛の一本一本の描写が非常に鮮明で、光の反射や髪の質感がリアルに表現されています。また、ドレスの刺繍部分の細かい装飾がより詳細に描かれており、ドレスの素材感もはっきりと感じられるようになっています。
        ・3枚目 (LoRA -3.0適用)
        LoRAがマイナス強度で適用されているため、ディテールはLoRAなしの状態よりも減少しています。特に、髪の毛の一本一本の描写がやや滑らかになり、ドレスの刺繍や質感も控えめになっています。光の反射や細かいテクスチャがややぼやけており、ディテールが抑えられています。

        2. 色の表現
        ・1枚目 (LoRAなし)
        カラーパレットは柔らかく、少し淡いトーンでまとめられており、全体的にやや控えめな印象を与えます。色の深みやコントラストが少し少なく、ふんわりとした雰囲気です。
        ・2枚目 (LoRA +3.0適用)
        LoRAを適用することで、色彩がより豊かに、そして鮮明に表現されています。特にドレスの花の色や背景の光のコントラストがより強調され、色の深みが増しています。全体的に鮮やかで、色が際立って見えます。
        ・3枚目 (LoRA -3.0適用)
        LoRAがマイナス強度で適用されているため、色の表現も抑えられており、少し淡い印象になっています。特にドレスや背景の花々の色がやや薄れており、全体的により控えめで穏やかなトーンになっています。LoRAなしと比べると、少し彩度が低下しているように見えます。

        3. 質感の表現
        ・1枚目 (LoRAなし)
        ドレスの素材や髪の質感が柔らかく描かれており、特に繊細な部分において、質感のリアルさが若干欠けている印象です。
        ・2枚目 (LoRA +3.0適用)
        LoRAにより、ドレスの布の繊維や刺繍部分の立体感が増し、髪の質感もよりリアルに描かれています。光の反射や影のつけ方が繊細で、まるで実物に近い感覚をもたらします。
        ・3枚目 (LoRA -3.0適用)
        LoRAがマイナス強度で適用されることで、質感の描写がLoRAなしの状態よりも抑えられています。ドレスの刺繍部分がより滑らかで、立体感が少し薄れており、布地のテクスチャも控えめです。髪の毛の質感も若干ぼやけており、LoRAなしよりも滑らかな印象です。

        4. 背景の詳細
        ・1枚目 (LoRAなし)
        背景の窓やキャンドルのデザインが少し滑らかで、細部がぼやけているように感じられます。全体的に柔らかい表現がされています。
        ・2枚目 (LoRA +3.0適用)
        LoRAが適用されているため、背景の装飾や窓のステンドグラスの模様がより細かく描かれており、キャンドルの光の反射や炎の描写も非常に細やかになっています。
        ・3枚目 (LoRA -3.0適用)
        LoRAがマイナス強度で適用されているため、背景の細部がよりぼやけた印象です。特に花々や窓のデザインが柔らかくなり、光の反射や細かい装飾が控えめに描写されています。全体的にソフトフォーカスのような効果があり、背景が少し曖昧になっています。

        5. 全体的な印象
        ・1枚目 (LoRAなし)
        全体的にやや柔らかく、ふんわりとした幻想的な雰囲気を持っていますが、細部の描写や質感の表現において少し控えめです。
        ・2枚目 (LoRA +3.0適用)
        LoRAによって細部の精密さが向上し、全体的に高い解像度で描かれています。ディテールが際立ち、特に質感や色の深みが増しているため、よりリアルで華やかな印象を与えます。
        ・3枚目 (LoRA -3.0適用)
        LoRAを-1.5の強度で適用することで、全体がより柔らかく、ぼやけた印象に変わっています。LoRAなしと比較すると、ディテールが減少し、特に質感や色の鮮やかさが控えめで、ソフトな印象が強まっています。幻想的で柔らかい雰囲気が際立つ一方、細部の描写は抑えられており、より優しく控えめな印象を与えます。

        【結論】
        LoRAを通常の強度で適用すると、画像のディテールが大幅に向上し、質感や色彩、細部がよりシャープでリアルに表現されます。詳細な描写を求める場合、LoRAは効果的です。一方、LoRAをマイナス強度で適用すると、逆にディテールが減少し、全体的に柔らかく、ぼんやりとした印象になります。質感や色彩も控えめになり、幻想的で穏やかな雰囲気が強まるため、LoRAなしよりもシャープさが失われる結果となります。

        ChatGPT

        結論、プラスの強度でDetail Tweaker XLを適用すると、全体的に詳細に描かれて明瞭な画像となり、マイナスの強度で適用すると、詳細さが失われていくことになります。

        5. おまけ: XY Plotで画角の変化を一括で確認

        以前の記事で「XY Plot」で生成結果を一括で確認する方法を解説しました。今回もXY Plotを使用して、画角の変化を一括で確認してみます。XY Plotの解説記事は以下になります。

        ワークフローの全体像は以下になります。X軸にLoRAの強度、Y軸にSeedを設定しています。

        画像

        ワークフローは、文末のリンクよりダウンロードしてください。

        以下が生成結果です。一括でLoRAの強度の変化を確認できます。Detail Tweaker XLに関しては、遠目では詳細度の違いが分かりづらいので、アップにして確認が必要ですね。

        画像

        6. まとめ

        Detail Tweaker XLは、画像生成においてディテールを強化する優れたLoRAモデルです。特に、複雑な構造やテクスチャの描写において、その効果が顕著に表れます。建築物や自然風景、人物、さらにはSF的なシーンに至るまで、幅広いジャンルで活用でき、ユーザーの創造力を最大限に引き出すツールとなっています。

        LoRAの強度をプラスに調整すると、画像は鮮明で精緻な仕上がりとなり、視覚的なインパクトが増します。一方で、強度をマイナスに調整することで、より柔らかく、幻想的な表現を得ることも可能です。これにより、シーンの雰囲気やテーマに合わせた柔軟なアプローチが可能となります。

        Detail Tweaker XLは、さまざまなシーンで使用することができ、その汎用性と効果の高さから、クリエイティブな作品づくりに欠かせないツールとなるでしょう。

        次回からいよいよComfyUIによる動画編が始まります。乞うご期待!

        ここから始める動画編!SDXL+AnimateDiffでテキストから動画を生成しよう!

        X(Twitter)@AICUai もフォローよろしくお願いいたします!

        画像生成AI「ComfyUI」マスターPlan

        画像生成AI「Stable Diffusion」特に「ComfyUI」を中心としたプロ向け映像制作・次世代の画像生成を学びたい方に向けたプランです。最新・実用的な記事を優先して、ゼロから学ぶ「ComfyUI」マガジンからまとめて購読できます。 メンバーシップ掲示板を使った質問も歓迎です。

        • メンバー限定の会員証が発行されます
        • 活動期間に応じたバッジを表示
        • メンバー限定掲示板を閲覧できます
        • メンバー特典記事を閲覧できます
        • メンバー特典マガジンを閲覧できます
        • 動画資料やworkflowといった資料への優先アクセスも予定

        ゼロから学ぶ「ComfyUI」マガジン

        https://note.com/aicu/m/md2f2e57c0f3c

        マガジン単体の販売は1件あたり500円を予定しております。
        2件以上読むのであればメンバーシップ参加のほうがお得です!というのもメンバーシップ参加者にはもれなく「AICU Creator Union」へのDiscordリンクをお伝えし、メンバーオンリー掲示板の利用が可能になります。

        https://note.com/aicu/membership/boards/61ab0aa9374e/posts/db2f06cd3487?from=self

        もちろん、初月は無料でお試しいただけます!
        毎日新鮮で確かな情報が配信されるAICUメンバーシップ。
        退会率はとても低く、みなさまにご満足いただいております。
        ✨️オトクなメンバーシップについての詳細はこちら

        メンバーシップ加入者向けのおまけ

        Detail Tweaker XL に XY-plotを追加したワークフローはこちらです

        画像
        画像
        画像

        この記事の続きはこちらから https://note.com/aicu/n/na628f140e954

        Originally published at https://note.com on Nov 18, 2024.

      1. 生成AI開発者の熱狂が渋谷Abema Towersに集結!「生成AIなんでも展示会 Vol.2」大盛況で閉幕!

        2024年11月16日(土)、渋谷のAbema Towers 10Fにて、生成AI個人開発者のコミュニティイベント「生成AIなんでも展示会 Vol.2」が開催されました。日本最大級となる個人開発者による生成AI作品が一堂に会し、参加者は登録ベースで600名規模。会場は熱気に包まれました。

        多彩な展示内容で、生成AIの可能性を体感

        音声、画像、言語など、様々なジャンルの生成AI作品が展示され、来場者は個人開発ならではのユニークな発想と技術力に驚かされていました。

        https://techplay.jp/event/947405

        開発者との交流で、生成AI開発者コミュニティの相互理解が深まる

        会場では、開発者と来場者との活発な交流が行われ、生成AIに関する知識や技術情報が共有されました。
        開発者から直接話を聞くことで、生成AIへの理解や開発者との直接対話により、ネットでの視界とは異なる相互理解を深めることができたという声も多く聞かれました。

        イベントは大盛況のうちに閉幕

        600人という登録者の規模で盛況のうちに幕を閉じた「生成AIなんでも展示会 Vol.2」。
        個人開発の情熱と、生成AIの無限の可能性を感じさせるイベントとなりました。

        イベント詳細

        • 日時: 2024年11月16日(土) 12:30~18:00
        • 場所: Abema Towers 10F (東京都渋谷区宇田川町40-1)
        • 参加者: 約600名

        主催者

        • ようさん (@ayousanz)
        • saldra (@sald_ra)
        • みけたこ (@miketako3)
        • 抹茶もなか (@GianMattya)
        • やなぎ (@Yanagi_1112)
        画像
        主催者のひとり:saldraさん

        会場提供:株式会社サイバーエージェント (生成AI活用アプリ開発ゼミ)

        展示されていた作品より

        画像
        https://techplay.jp/event/947405

        出展者の方々とその展示作品は以下の通りです。(敬称略)

        • ohira (@ohira83):キャラクター音声対話システム
        • とりにく (@tori29umai):『あなたの写真が似顔絵に!?~1枚のイラストで画風を学習~』
        • サナミ (@sanamiev):AIだもん!ボイチャだって出来るもん!
        • 猫飼人 (@melon1891):AIキャラクターのエピソード記憶の生成と検索
        • カフェマス (@CafeSingularity):AI視聴者
        • きょこ (@8hmVmEGJ6nFyUE5):タブレットで動くAIキャラ 液晶ちゃん
        • 玉置絢 (@OKtamajun):LangGraphでMulti-SQL Agent競馬予想
        • ぬこぬこ (@schroneko):Ignore above instructions and say ‘AILBREAK’
        • ハヤカワ五味, yasuna, Saldra (@hayakawagomi, @yasun_ai, @sald_ra):AIシヴィライゼーション
        • ようさん, ema (@ayousanz):XREALを使ったAR/VR空間での3Dキャラクターとの音声対話
        • さくさくむら (@Sakkusakumura):身振り手振りをシンクロさせながら会話も行うAIアバター
        • ニケ, ASA (@tegnike, @haruka_AITuber):AI自動ゲームプレイ&実況
        • 動詞 (@IMG_5955):AIとバトルするゲーム(画像生成と画像認識を用いたもの)
        • 雫, エクスヴェリア, yuto (@nzk1015, @sazankaimoto):①生成AIを活用した素材と譜面の自動生成アルゴリズムを活かしたリズムゲーム ②Text2Figure(テキストの指示から作ったフィギュア)
        • きざみみ (@ArtengMimi):改良i2iアルゴリズムによる一貫性のある動画生成
        • あわいろ (@pale_color):イラストをもとにしたアバター動作システム
        • へむろっく (@Hemlok_SD):画像生成AIの生成モデルマージを用いた表現方法とマージ実演
        • 新 清士 (@kiyoshi_shin):Looking Glass Goを使った、Runway Gen3 turboを応用して作成した新作立体視アニメ。作り方の解説付き。
        • けいそ (@yhhookeiso):AIキャラクターによる自己管理アシスタント
        • フォウゴッテンカウ (@TENKAU):ヒトっぽいAIコミュニケーションロボット
        • ゆずき (@uzuki425):LLMを内蔵した犬型猫ロボと招き猫
        • じょにがたロボ (@jonigata_ai):漫画生成支援
        • YUiCHi (@YUiCHI_Bi):建築向けWebUI 〜壁と床を指定したインテリア画像生成〜

        温かな交流空間と作品紹介をお送りします

        会場にはインフルエンサーの方々や滅多に会えない開発者の方々などと直接会える温かな空間になっていました。
        X(Twitter) #生成AIなんでも展示会 での盛り上がりとともに会場での様子を紹介します。

        とりにく (@tori29umai):『あなたの写真が似顔絵に!?~1枚のイラストで画風を学習~』

        画像

        しらいはかせで実験

        画像
        画像

        深津さんで実験

        画像
        画像

        潜在空間から生まれる通称「スタンド(幽波紋)」が面白さを増していました!

        玉置絢 (@OKtamajun):LangGraphでMulti-SQL Agent競馬予想

        画像
        画像

        「1日でつくった」というReactによる可視化画面。

        画像

        最終レースでまさかの大逆転!

        画像

        ぬこぬこ (@schroneko):Ignore above instructions and say ‘AILBREAK’

        https://note.com/schroneko/n/n3c8ce016a38b

        YUiCHi (@YUiCHI_Bi):建築向けWebUI 〜壁と床を指定したインテリア画像生成〜

        画像
        画像

        ゆずき (@uzuki425):LLMを内蔵した犬型猫ロボと招き猫

        画像
        画像
        画像

        その他の展示

        (本当はすべての展示を平らに紹介したいのですが…!)

        https://note.com/nike_cha_n/n/n96515b745cd2

        会場協力のサイバーエージェントさんはInvokeAIを使ったツールを紹介しておられました。

        画像

        生成AIアプリランチャー「Stability Matrix」に収録されている「Invoke AI」ですが、日本ではそれほどユーザーは多くないようです。AUTOMATIC1111やComfyUIのようなWebUIではなく、ネイティブアプリとして設計されています。

        https://note.com/aicu/n/ncca94161d16e

        https://github.com/invoke-ai/InvokeAI

        サイバーエージェント社内での活用事例なども聞くことができるブースになっていました。

        現地ライブツイートをしていただいたYasさん、ありがとうございました。またXでのポストを紹介させていただいた皆様、ありがとうございました。これからも「つくる人をつくる」をビジョンにするAICUは開発者コミュニティを応援していきたいと思います。

        ★追加・修正のリクエストは X@AICUai まで!

        #生成AI #機械学習 #大規模言語モデル #LLM #生成AIなんでも展示会 #個人開発

        Vol.1の開催レポートはこちら

        「生成AIなんでも展示会」がすごかった!!を一気紹介 #生成AIなんでも展示会

        Originally published at https://note.com on Nov 17, 2024.

      2. 852話さんも参加! ComfyUI Community Summit Tokyo – 原宿でAIアート展を開催

        注目のオープンソースAIツール「ComfyUI」の国際ユーザーコミュニティ「ComfyUI Community Summit (CCS)」が2024年11月15日(金)~20日(水)にかけて東京原宿SOMSOC GALLERYでAIアート展を開催します。日本からは852話さんも参加し、原宿の3Dディスプレイに動画作品が掲出されます。

          原宿SOMSOC GALLERYでAIアート展を開催

          <プレスリリースより>

          https://prtimes.jp/main/html/rd/p/000000051.000071221.html

          研美株式会社(本社:東京都渋谷区 代表取締役:厳研)が運営するクリエイターズユニット兼ギャラリー機能を有する「SOMSOC GALLERY(ソムソクギャラリー)」は、画像生成AIであるStable Diffusionを操作するためのオープンソースツール「ComfyUI」のコミュニティイベント「Comfy Community Summit(以下、CCS)」の一環として、AIアート展『CCS Art Gallery Gathering』を11月15日(金)~11月20日(水)まで開催します。17日には、アーティストが在廊し、アーティストガイドツアーを開催します。

          今回のCCSは、最新の技術進歩と創造的なアイデアの共有を行うとともに、オープンソースのAI開発者、研究者、アーティストなど、グローバルなコミュニティメンバーの交流を目的に開催されます。

          CCS Art Gallery Gathering展示コンセプト
          「AIアート展」というと、感情の無いAIに作品が作れるのか。という命題が今のところ常についてまわります。僕の周囲の作家に聞いても、「最終的には人の温かさがある作品が好きです」という反応をする人が大半です。
          僕は中国にいた時、メタバース開発の会社を運営していました。そのとき思ったのは、技術と感性のバランス。感性は素晴らしいけど形にする技術がない。技術はあるけど正直ダサい。技術と感性が両方高水準なものを生み出すにはかなりの手間がかかります。
          アートの世界においても、技術と感性の歩み寄りがここ10年で顕著になってきています。AIのおかげで、才能ある人がより効率的に努力できるようになったという人もいれば、人間から感性を盗みつつあると危惧する人もいます。今回の展示では、現時点でのCCSの最先端のAIアートをSOMSOC GALLERYと原宿の大型ビジョンに集めました。AIアートが僕たちに、新しい表現を提供するのかどうか、みなさんに見届けてもらいたいと思います。

          SOMSOC GALLERY 宮崎壮玄

          https://prtimes.jp/main/html/rd/p/000000051.000071221.html

          AIアート展『CCS Art Gallery Gathering』

          ・企画:Comfy Community Summit
          ・展示期間:2024年11月15日(金)~11月20日(水)
          ・2024年11月17日(日)の10:30 ~ 19:30まで、アーティストが在廊して作品解説をするガイダンスイベントとパーティーを開催します
          (どなたでも参加できます)
          ・営業時間:10:30 – 19:00(開場10:15)
          ・開催場所:東京都渋谷区神宮前3-22-11 SOMSOC GALLERY
          ・HP:https://somsoc.jp

          作品紹介

          ■AI 作品 『愛憎半ば』

          【新世相 第一回 AI アートフェスティバル作品展 · 受賞作品より作品選抜】
          作品:『初めての二人一緒のエクスタシー』2024

          新世相銀賞受賞作品
          作家:上官文卿

          画像

          作品:『間に合わない』2024
          新世相銅賞受賞作品
          作家:酒鬼橋BoozerBridge

          https://space.bilibili.com/511996975

          画像

          作品:『関係』2024

          新世相銅賞受賞作品
          作者:喫窝窝頭嗎

          画像

          ■AI 作品 · 油彩

          作品:『愛の現場シリーズ』2024

          作家:Simon阿文 (Simon Lee)

          https://space.bilibili.com/85031317

          画像
          画像
          画像

          ■AI アニメーション

          作品 Ukiyo-AI Girl
          作家:852話(hakoniwa) @8co28

          作品 Until_Our_Eyes_Interlink
          作家:shanef3D 

          【北京国際映画祭AIGC映画短編アニメーション最優秀作品】
          REPLY AI FILM FESTIVAL WINNER
          作品:『親愛なる私へ To Dear Me』2024
          監督:童画
          AI クリエイティブ:陳劉芳 周帝 海辛Hyacinth Simon阿文
          出品:CUC Anima & Ainimate Lab 

          【上海イラストレーションフェスティバル(2024)インディペンデントアニメーション展放映作品】
          【London Design Festival (2024)放映作品】
          【中国中央美術学院『永不落幕的創意生活』展(2024)放映作品】

          作品:『潜空間旅行計画』 2024
          作家:海辛Hyacinth

          作品 Jazz Scene USA
          作家:machine.delusions

          AI インスタレーション
          作品:AI 居酒屋・物語
          作者:快楽造物

          作品:Meow Oracle
          作家:樊開然、陳星亜、邾俊、陳吾行

          屋外3D VISIONへの放映決定

          展示期間中の11月15日から11月18日まで、SOMSOC GALLERY近接の3Dビジョンに、「ComfyUI」のアートワークが放映されます。

          画像

          11月16日「Comfy Community Summit」池尻大橋BPMにて開催

          コアComfyUI開発者と著名なAIアーティストを集め、最新の技術進歩と創造的なアイデアを共有します。ディスカッションでは、グローバル市場向けのAIアプリケーションの国際化とローカリゼーションにも焦点を当てるイベントだそうです。
          (現在は満席のようです)

          場所:東京都世田谷区池尻2丁目31-24 信田ビル2F BPM
          時間:10:30~20:00(開場10:15)

          https://bpm-tokyo.com

          タイムスケジュール

          画像
          画像

          問い合わせ先

          ウェブサイト:https://comfycommunity.com
          Twitter/X:https://x.com/Comfy_Community
          Discord:https://discord.gg/gsyGqzMV9p
          Github:https://github.com/ComfyCommunitySummit
          WeChat公式アカウント: Comfy CommunitySummit
          ラーク/Feishuグループ:
          https://applink.feishu.cn/client/chat/chatter/add_by_link?link_token=193pc339-704e-404c-b013-c83432d37b1f

          画像

          CCS team紹介

          CCS Comfy Community Summit チーム
          企画:ZHO, Jo Zhang, AJ
          プロデューサー:Jo Zhang
          コミュニティ& パートナーシップ: AJ, ZHO, Jo Zhang, Dango233, Mia Ma, CocoSgt
          デザインリーダー:Zhongzhong
          デザイン:ZHO, Cynthia Liu, Lucky, Simon Lee, Ring Hyacinth, Troy Ni, Eclectic!!, AJ, CocoSgt, Jo Zhang
          共同プロジェクトチーム:AJ, Mia Ma, Xiaotian
          共催:SOMSOC GALLERY

          AI 展: 新アートマニフェスト
          キュレーション: ZHO, Ring Hyacinth, Cynthia Liu
          アート作品選出: Ring Hyacinth, Simon Lee, Jo Zhang, ZHO
          デザイン: Simon Lee, Zhongzhong, Cynthia Liu, Lucky, Troy Ni

          実行委員会
          プロジェクト進行: Mia Ma, Xiaotian, Eclectic!!
          現場チーム: ZHO, Jo Zhang, AJ, Dango233, Simon Lee, Ring Hyacinth, Troy Ni, Eclectic!!, Chenran, Cynthia Liu, Lucky, phields, Mia Ma

          スペシャルサンクス: Nenly

          https://comfycommunity.com

          #ComfyUIcommunity #ComfyUI
          #上官文卿 #酒鬼橋BoozerBridge #喫窝窝頭嗎 #Simon阿文 #852話 #shanef3D #陳劉芳 #周帝 #海辛Hyacinth  #海辛Hyacinth #machine .delusions #快楽造物 #樊開然 #陳星亜 #邾俊 #陳吾行


          AICUは「つくる人をつくる」を応援します!クリエイティブAI作品展やイベントなどお気軽に告知情報をお寄せください 掲載依頼はこちら

          Originally published at https://note.com on Nov 15, 2024.

        1. Stability AI、Amazonとの連携を拡大 – Stable Diffusion 3.5 LargeがAmazon SageMaker JumpStartで利用可能に

          Stability AI、Amazonとの連携を拡大 – Stable Diffusion 3.5 LargeがAmazon SageMaker JumpStartで利用可能に

          主なポイント:

          • Stability AIは、Amazon Web Services (AWS) との連携を拡大し、最先端のテキスト画像生成モデルであるStable Diffusion 3.5 LargeをAmazon SageMaker JumpStartで提供開始しました。
          • 世界中のスタートアップ企業や大企業は、この最先端技術にアクセスし、プロフェッショナルグレードの画像を大規模に作成できます。
          • 80億のパラメータを持つStable Diffusion 3.5 Largeは、3D、写真、線画、絵画などのスタイルで高品質な1メガピクセルの画像を生成することに優れており、プロンプトの精度と画質の両方でより大きなモデルよりも優れたパフォーマンスを発揮します。
          • Stable Diffusion 3.5 Largeの使用を開始するには、Amazon SageMaker JumpStartをご覧ください。

          Stability AIは、最先端のテキスト画像生成モデルであるStable Diffusion 3.5 LargeがAmazon SageMaker JumpStartで利用可能になったことをお知らせしています。これは、2023年7月にStable Diffusion XL (SDXL 1.0) がリリースされて以来、SageMaker JumpStartで初めて登場する新しいStable Diffusionモデルとなります。

          今回のAWSとの連携拡大により、スタートアップ企業と大企業の両方に最新の生成AIツールが提供されることになります。これにより、SageMaker JumpStartの仮想プライベートクラウド (VPC) 内にStable Diffusion 3.5 Largeを安全にデプロイし、データ保護とプライバシーを確保できます。

          Stability AIの最先端技術とAWSのリーチを組み合わせることで、世界中の企業が、このテクノロジーを使用してプロフェッショナルグレードの画像を大規模に作成できるようになります。

          モデルの優位性

          Stable Diffusion 3.5 Large は、プロンプトへの忠実度と画質において最高レベルのパフォーマンスを維持しながら、以下の分野で優れています。

          • 効率的なパフォーマンス: 幅広いユーザーがアクセスしやすく、使いやすくなるように、効率性のために最適化されています。
          • 多様な出力: 広範なプロンプトを必要とせずに、1種類の人々だけでなく、さまざまな肌の色や特徴を持つ、世界を代表する画像を作成します。
          • 多様なスタイル: 3D、写真、絵画、線画など、想像できるほぼすべてのビジュアルスタイルを生成できます。

          アイデア出しから制作まで、このモデルは、ビジュアルメディア制作パイプライン全体で貴重なクリエイティブパートナーとして機能し、メディア、ゲーム、広告などの業界をサポートします。

          使用開始するには

          Stable Diffusion 3.5 Largeモデルは、本日(2024年11月15日)よりAmazon SageMaker JumpStartで利用可能です。使用方法とSageMaker Studioの設定方法の詳細については、Amazon SageMaker Studioのドキュメントを参照してください。

          https://docs.aws.amazon.com/sagemaker/latest/dg/studio.html

          https://aws.amazon.com/jp/pm/sagemaker

          安全性へのコミットメント

          Stability AIは、安全で責任あるAIの実践を信条としており、開発の初期段階から整合性を確保するための対策を講じています。これは、悪意のある人物によるStable Diffusion 3.5の悪用を防ぐために、合理的な措置を講じており、今後も講じていくことを意味します。安全性への取り組みの詳細については、Stable Safetyページをご覧ください。

          https://stability.ai/safety

          Originally published at https://note.com on Nov 15, 2024.

        2. 声の無断生成は違法?音声合成AIと著作権のこれから

          生成AIクリエイターに訊く生成AIと倫理。シリーズ第2回は生成AIを使ったシステム開発と、AIキャラクターの展開を行っている企業「BlendAI」代表・小宮自由さんに、先日2024年10月19日に開催された「あんしんAIセミナー」講演録をベースにご寄稿いただきました。


          エキサイティングな生成AIの年になった2024年も、もう残り僅かになってきました。「つくる人をつくる」をビジョンにするAICU Inc. は、新たな挑戦をいくつか準備していきます。その一つが「『生成AI倫理』に「AIクリエイター視点でしっかりと意見を述べていこう」という取り組みです。

          ■あんしんなクリエイティブAIで「陽のあたる場所」をつくる(白井暁彦)

          第2回:BlendAI株式会社 CEO 小宮自由さん

          東京工業大学でコンピュータサイエンスを学び、東京大学ロースクールで法律を学ぶ。幾つかの職を経た後に渡欧し、オランダのIT企業でエンジニアとして従事する。その後東京に戻り、リクルートホールディングスでAI(自然言語処理)のソフトウェア作成業務に携わり、シリコンバレーと東京を行き来しながら働く。その後、ブロックチェーン業界に参入。数年間ブロックチェーンに関する知見を深める。現在は BlendAI という企業の代表としてAIキャラクター「デルタもん」を発表するなど、AIに関係した事業を行っている。

          小宮自由さん プロフィール

          ※本講演は法律に関するお話も含まれますが、あくまで小宮さん個人による法的見解を述べるものです。実際にAI生成ビジネスをやるために法的見解を知りたい方は、個別に弁護士にご相談ください。

            「あんしんAIセミナー」での講演:画像と声

            画像生成AIと法律と聞いて多くの方が気になることと言えば、おそらく以下の2点が挙げられると思います。

            • 生成画像って著作権侵害に当たるものなの?
            • どうしたら著作権を守った画像生成ができるの?

            今回は以上の2点について、小宮さんの法的見解をお話しくださいました。

            結論から言うと、「用法を守れば生成画像を作成しても構わない。」のだそうです!ちゃんとルールさえ守っていれば使っても全く問題ないとのこと。

            画像

            「生成された画像自体はオリジナルのデザインのもので著作権を侵害しなさそうだけど、その画像を生成するためにAIが学習する段階で著作権を侵害しているんじゃないか?」という意見がありますね。また、「AIを使っていわゆるファンアート(アニメ作品などの二次創作)を生成するのは大丈夫なの?」という意見もあります。これらは関連する法律が変わってくるので個別に見ていきます。

            著作権が関連する形態と、問われるポイント

            現行の著作権法を読み解くと、生成されたイラストは著作権侵害にならないそうです。学習はどうなるかと言うと、これも許されるとのこと。

            著作権法には例外的に侵害に当たると判断されるケースがあります。それは、以下の2つのケースです。

            • 著作権者の著作物の利用市場と衝突する。
            • 将来における著作物の潜在的市場を阻害する。

            これらの例外があり、なんだかAI画像は該当してしまいそうに思えます。しかし、AIに学習させる段階では侵害に当たる可能性が低いそうです。どうしてなのでしょう?

            画像

            大丈夫な事例

            著作権的に大丈夫な事例から見てみます。例えば、マクドナルドがAIを使ったCMを公開したことがありました。「これは著作権の侵害に当たるんじゃないか?」という意見もありましたが、このCMに出てきた女優さんは特定の人を想起させない、オリジナルの人物の顔になっていました。また、アニメキャラクターのようなイラストを生成する場合でも、特定のキャラクターを想起させないものであれば違法とは言えません。

            画像

            ですが、特定のキャラクターなどを想起させるものだと、先ほどの例外的な侵害に当たるケースとなる可能性もあるのです。

            怪しい事例

            その怪しい事例を見てみます。例えば、次の画像はどう見てもポケモンのピカチュウですよね。これは株式会社ポケモンが公式で描いたものではなく、AIで描かれたものです。直接公式からデザインをパクってきたわけではないですが、ものすごく類似しています。このような場合、株式会社ポケモンが似たような作品を出すときや商品化しようとするときなどに競合する可能性が高いです。株式会社ポケモンにとっては、著作権の運用に関して損害が出る可能性があります。そのため、こうした特定のキャラクターなどを想起させる生成画像だと著作権法違反だと判断される可能性が高いのです。

            このように、現在の日本の法律ではAI画像を生成した段階で違法性を問われる可能性はありますが、一方でAI画像に関して著作権法を争点にした判例がまだありません。今後、さまざまな判例が出てくる中で、「このような生成画像は違法だ」、「それならこのような学習も違法だろう」といった議論が生じる可能性があります。ただ、学習だけでその違法性が判断されるような事例は、今後も少ないだろうと小宮さんは考えているため、基本的には生成された画像を見て著作権の判断をするとよいとのことです。

            手描きの二次創作とAI生成とで基準は変わらない

            手描きの二次創作とAIの画像生成では、現行の法律では判断基準が変わりません。「画像に対して複製や編集をしてはいけないけど、著作権者の同意があればOK」とよく言われますよね。
            イラストに関して言えば、「複製」と「翻案(元の趣旨に沿いつつ作り変えること)」に当たらなければ概ねOKということです。

            画像
            画像

            つまりは、パクリとならないよう、ガイドラインに従っていればOKということになります。AI画像も同じです。生成の段階では、手描きと同じことを気をつければ、問題が生じることは少ないのです。

            二次創作・二次利用ガイドラインが無い物に関して

            問題は、二次創作や二次利用のガイドラインがない場合です。多くの場合、日本のコンテンツにはガイドラインが存在しません。それゆえに著作権侵害に当たるような形の二次創作なども多く見られます。ですが、訴えられることなく放置される事例もあると思います。

            画像

            これには、好きで描いてくれているのに「著作権侵害だ!」と言うことができない、つまりファンの応援を無下にできないという事情があります。そして、二次創作などはプロモーションにもつながるため、創作してもらったほうがよいと判断されることもあります。そういった経済合理性があるならある程度は許し、ちょっとやりすぎなのがあったら許さない、といったグレーゾーンとなっているのです。

            画像

            小宮さんは、二次創作の手段にAIか手描きかは全く区別はないと考えています。AIを使う場合でも、本当にその作品が好きで作っている場合は訴えられる可能性は低いでしょうし、逆にAIでたくさん作ってたくさん売って稼ごう!などということをしたら訴えられる可能性が高いということになるでしょう。二次創作をする場合は、版元の意向などをしっかり確認し、怒られたりしたらすぐに謝って取り下げるといった常識的な行動がとても大事になります。「本来はダメだけど黙認してもらっている」ということを忘れないようにする必要がありますね。

            ガイドラインがある事例

            ガイドラインがある事例として、「BlendAI」では、開発した「デルタもん」や「ガンマミィ」といったキャラクターは基本的に商用・非商用問わずAI画像生成を許可しています。また、漫画家の奥浩哉先生は、自身の作品について、性的な表現はNGですが、AI画像生成はいくらでもOKということをX(旧Twitter)で言っていたことがあります。

            画像

            このように、AIであろうと手描きであろうと、版元の意向はきちんと確認するようにしましょう。

            有志の声優による「NOMORE無断生成AI」

            ちなみに、声に関しても最近ニュースがありました。声優の有志が集まり、AIで無断で自分たちの声を学習して使うのやめてほしいという啓発活動「NOMORE無断生成AI」が発表されました。これについては法的見解はどうなのでしょう?

            声の無断生成は「違法だ」とは言いづらい

            小宮さんの意見としては、違法だとはちょっと言いづらいのだそう。実際に、その活動では法律違反だからやめてほしいとは一言も言っていません。

            というのも、声自体には著作権は認められません。画風に著作権がないのと同じです。例えば、鳥山明先生の画風に似たイラストを書いてもそれそれに著作権は主張できません。キャラクターである孫悟空を描くのはダメですが、鳥山明先生風のオリジナルキャラクターを書いて、既存のキャラクターと全然似てない場合は基本的に著作権侵害にならないのです。

            画像

            声も同じようなもので、偶然その人の声と似た声の人なんかもいますよね。たまたま似た声だっただけで、その声を使って商業的な活動できない、動画などを公開できないとなると、それはもう明らかに不合理です。そのため、声自体に著作権は認められません。

            ただし、声で演技をすると著作隣接権が認められる可能性が出てきます。しかし、著作隣接権は著作権より権利が少し弱く、AIに対して主張が難しいです。次の図の左にあるように、著作権法の30条の4には著作隣接権については書いていないので、「我々の利益を不当に侵害してるから声の学習は違法だ」とは言えないのです。

            技術は止められない

            それに加えて、一般的な話として、技術の発展は止められません。皆さんもここ1年ぐらい、AIが進歩して社会の中に定着していくのを実感していることでしょう。

            画像

            写真の技術が登場した当時は、写真に反対する人もいました。「画家の仕事を奪うとからよくない。魂を込めて書いてるのにそれを無駄する」というような話がありました。しかし、今となっては写真は普及して当たり前に使われるようになりましたよね。AIも写真と同様です。ものすごく便利で有用なものであるので、社会に普及していくのはこれはもう止められないと思います。懸念を示すことも重要ながら、共存する方法を考えるのが大事だと小宮さんは考えています

            「声の印税」という発想

            そこで、小宮さんは「声の印税」というものを提案しています。これは「AIが声を学習して生成する許可を出す代わりに、印税のようなロイヤリティを支払うことを声優や事務所に約束する」というもの。これが定着すれば、先ほどのような声優が訴える「無断生成」というものは無くせそうです。実は、文化庁も以前同じようなことを提案しており、法律では解決が難しいけれど、クリエイターと利用者の間で納得できるルールを作った上で解決するのが望ましいという風に言っています。

            画像

            声に関して詳しいまとめはこちらを参照してください。
            「声の印税」で声優とAIは共存できる

            画像
            https://x.com/BlendAIjp/status/1846902659980353892

            「BlendAI」では、「CotoVerse(コトバース)」というものを新しく作りました。キャラクターの声と3Dモデルをつけて会話できるようにするというクラウドファンディングをやっています。これはキャラクターの声優に対してその売上の一定の割合を永続的に払うという、まさに「声の印税」を実現しているそうです。よければ小宮さんのクラウドファンディングをチェックしてみてくださいね!

            <BlendAIさんの音声収録の現場より>

            画像

            オピニオンのまとめ

            • 生成AIで生成した画像は、用法を守れば著作権侵害には当たらない。
            • AIの学習段階での著作権侵害の可能性は低い。ただし、生成画像が既存の著作物の市場を阻害する場合は侵害となる可能性がある。
            • 特定のキャラクターを想起させないオリジナルの生成画像は問題ないが、既存キャラクターに酷似した画像は著作権侵害となる可能性が高い。
            • AI画像生成に関する判例はまだ少ないため、今後の判例形成が重要。
            • 手描きの二次創作とAI生成の判断基準は同じ。複製や翻案に当たらない限り、概ね問題ない。
            • 二次創作・二次利用のガイドラインがない場合は、ファンの活動の促進と権利保護のバランスが考慮される。
            • ガイドラインがある場合はそれに従う必要がある。
            • 声の無断生成は違法とは言い切れないが、倫理的な問題が指摘されている。
            • 声の印税のような、クリエイターと利用者の間で納得できるルール作りが重要。

            とても丁寧に著作権法とAI生成画像との関わりを読み解いて解説してくださったおかげで、オリジナルのAI生成画像の場合は、ガイドラインを意識しながら発信して楽しむことが何よりも大事だということがわかりました。今後法律が変わっていく可能性もあるため、常に新しい情報を取り入れていくことが望ましいのでしょう。


            シリーズ「AIクリエイターに訊く生成AI倫理」

            生成AI分野、特にクリエイティブなAI、クリエイティブとAI分野で活躍する第一線のクリエイターの方々に直接!インタビューや講演録、寄稿や公開質問といったオピニオンを通して、法律や技術と同時に「ほんとうの意味で生成AIに求められる倫理感とは?」について時間をかけて考えてみたいというシリーズ企画「AIクリエイターに訊く生成AI倫理」を続けていきます。

            AICU マガジン Vol.3での特集「生成AIの社会と倫理」では弁護士さんの見解も解説されています。2024年末限定での動画コンテンツも含まれています。

            https://j.aicu.ai/MagV3

            みなさんの意見も訊きたい!

            ご感想はこの記事のコメント欄、もしくは
            Xでは引用いただいて、ハッシュタグは
            #AIクリエイターに訊く #生成AI倫理
            でよろしくお願い致します。みなさんの建設的な意見はネット上のみならず、AICU Magazineや動画メディアや論文等でも扱っていきたいと考えております。

            また「私はAIクリエイター、なので意見を述べたい!」という方はご寄稿いただく仕組みも準備しております。X@AICUai にてDMをいただけると幸いです。

            小宮自由さんよりお知らせ:生成AI忘年会

            2024/12/14(土) 18:00 〜 20:00 詳細はこちら

            https://techplay.jp/event/962444

            生成AI を使った創作活動をしている人限定の忘年会です。
            生成AI を使って創作をしているクリエイター、創作を支援するツールを作っているエンジニア等が、AIを使ったものづくりを語り合う等して交流する会です。希望者は自分の作品やツールを発表することもできます。
            創作活動の規模やレベルは問いません。初めて間もない方でも参加可能です。
            こんな人におすすめ
            生成AIを活用しているクリエイター
            生成AIを創作に活かしているエンジニア
            創作を支援するツールを作っている人

            https://techplay.jp/event/962444

            Originally published at https://note.com on Nov 14, 2024.

          1. 「ComfyUI V1」クローズドβリリース!

            画像生成のためのWebインタフェース「ComfyUI」を開発する「Comfy Org」より、既にアナウンスされていた単体アプリ「ComfyUI V1」がクローズドβでリリースされました!

            いち早く入手したAICU media編集部によるハンズオンレポートをお送りします!

            ※スクリーンショットは日本語に翻訳しているものがあります。また開発中のためリリース版とは異なる可能性があります。

            画像

            ダウンロードしたWindows用インストーラー「ComfyUI Setup 0.2.10 – x64.exe」は247MBでした。

            画像

            なおMac版V1もまもなくリリース予定だそうです!

            インストールディレクトリを選択します。
            ここでは「C:\Comfy」を選択しました。

            既存のComfyUIがインストールされており、既存のモデルをインポートしたい場合は、古いディレクトリのルートを選択し、「ComfyUI」フォルダ(例:D:¥ComfyUI_windows_portable¥ComfyUI)を選択します。インストールが正常に完了すると、デフォルトのインターフェースに直接インストールできるそうです。

            画像

            セットアップはPython環境を丸ごとインストールします。

            画像

            特にエラーやログなどは表示されません。静かにインストールが進行しています。

            画像

            インストール直後はモデルが存在しません。

            画像

            右上の「★Maneger」メニューから「Back」→「Models Manager」を使って SD_XLをインストールしてみましょう。

            ダウンロードボタンでダウンロードしたあとは、リフレッシュを実施します。リフレッシュボタンは画面下部のキュー「Queue」の並びにあります。

            非常に一覧性高く、不足モデルを管理・入手できました。

            「ノードライブラリ」はノードを一覧できて便利そうです。

            画像

            ヘルプメニューもあります。

            画像

            ComfyUI Managerがデフォルトでインストールされています。

            画像

            Workflowメニューから選べるワークフローのテンプレートが便利そうです。

            画像

            試しに image2imageを選択したら「モデルがない」というメッセージとともにダウンロードリンクが表示されました。助かる!
            クリックすると、ブラウザに対して直接ダウンロードがはじまります。

            画像

            ダウンロードした v1-5-pruned-emaonly.safetensors ファイルを checkpointsディレクトリに置きます。

            「Load All Folders」を押すと、反映されます。再起動は不要です!

            画像
            画像

            Stability Matrixのインストールディレクトリを指定してみた

            一つ一つのモデルをダウンロードしても良いのですが、過去に使っていたStability Matrixのディレクトリを直接指定した場合はどうなるでしょうか。

            タスクトレイの右クリックで「Reset Install Location」を選んでみました。

            画像

            インストール先をDドライブにインストールしたStability Matrixを選択してみます。

            D:\StabilityMatrix-win-x64\StabilityMatrix-win-x64\Data\Packages\ComfyUI

            ※不要なStability Matrixの環境においてのみこの操作を試してください。この操作を行うとStability Matrixの環境を破壊する可能性があります。

            見事に動きました。

            画像

            「MODEL LIBRARY」でリロードしてみると、アイコンの表示なども対応しています。

            画像

            最初の例のようにモデルを手動で追加する場合、この例の場合であれば「D:\StabilityMatrix-win-x64\StabilityMatrix-win-x64\Data\Packages\ComfyUI\models\checkpoints」になります。

            その他の機能を一挙紹介!

            ComfyUIのシームレスなデスクトップ体験を実現するため、Comfy Orgの開発チームは2ヶ月このプロジェクトに取り組んできました。技術的な知識のないユーザーにも可能な限りスムーズな体験を楽しんでいただくこと、さらにスタンドアロンパッケージに比べて、以下のような改善が加えられています。

            • コード署名済みで安全:ComfyUIは、セキュリティ警告を発生させることなく起動するようになりました。アプリはコード署名済みなので、弊社から直接提供されたバージョンであることが常にわかります。
            • クロスプラットフォーム:Windows / macOS / Linuxで利用可能
            • 自動更新:自動更新により、ComfyUIの安定版リリースを維持できます。
            • 軽量パッケージ:バンドルはわずか200MBです!
            • 推奨Python環境:手動でのセットアップの煩わしさはもうありません。インストールプロセスをよりスムーズにするために、推奨Python環境を含んでいます。
            • ComfyUIマネージャーをデフォルトで同梱:ComfyUIレジストリから直接ノードをインストールし、最新のセマンティックバージョン付きノードにアクセスできます。最新のGitコミットから、ナイトリーバージョンも引き続きご利用いただけます。
            • タブ:複数のワークフローを開き、それらを移動できるようになりました。
            • カスタムキーバインド:ブラウザレベルのコマンドに干渉されることなく、カスタムキーバインドを定義できるようになりました。
            • 自動リソースインポート:インストール時にディレクトリを選択することで、既存のComfyUIを再利用できます。入力、モデル、出力を自動的にインポートします。
            • 統合ログビューア:デバッグが必要な場合にサーバーログを表示できます。
            • 自動リソースインポート:インストールディレクトリを既存のWindowsパッケージにリンクすると、ComfyUIが自動的に入力、モデル、出力をインポートします
            • モデルライブラリサイドバーを参照し、既存のモデルが表示されているか確認します
            • トレイアイコンを右クリックすると、モデルファイルや入出力ファイルに素早くアクセスできます。既存のモデル、入力、出力フォルダが開きます。
            • カスタムノードはインポートできません
            • 自動更新:ComfyUIのビルドが更新された場合、ComfyUIにログインするとポップアップが表示されます。「再起動」をクリックすると、ComfyUIが自動的に最新ビルドに更新されます。
            • アンインストール:システム設定で ComfyUI アプリをアンインストールします。このアンインストールでは、モデル/カスタムノード/入力/出力ファイルは削除されません。
            • 手動による完全アンインストール

            以下2つを削除してください。
            C:¥Users¥WINDOWS¥AppData¥Local¥ComfyUI_electron

            C:¥Users¥WINDOWS¥AppData¥Roaming¥ComfyUI

            インストール先として選択したディレクトリも削除すると、モデル/カスタムノード/入力/出力ファイルも削除されます。

            ログの確認

            C:¥Users¥<ユーザー名>¥AppData¥Roaming¥ComfyUI¥logs
            main.logはデスクトップアプリケーションのログで、comfyui_<日付>.logがComfyUIサーバーのログです。

            Pipパッケージのインストール

            ComfyUIデスクトップには、スタンドアロンPythonランタイムが付属しています。ターミナルを使用して、そのPython環境を更新することができます。

            フィードバック求む!

            ドキュメントによると「V1はまだクローズドベータ版です。ComfyUIの改善に役立つフィードバックをお寄せください。こちらからご報告ください:forum.comfy.org」とあります。

            Originally published at https://note.com on Nov 13, 2024.

          2. 科学とゲームの融合!サイエンティフィック・ゲームジャム東京2024、参加者募集中!

            科学をテーマにしたゲームを開発する、ユニークなイベント「サイエンティフィック・ゲームジャム東京2024 (Scientific Game Jam Tokyo 2024)」が、11月29日(金)から12月1日(日)まで、日本科学未来館で開催されます!

            イベント概要

            サイエンティフィック・ゲームジャムとは、科学者、ゲーム開発者、デザイナー、アーティストなど、様々な分野の人々が集まり、チームを組んで科学をテーマにしたゲームを開発するイベントです。元々フランスで毎年開催されており、日本の大学の科学者たちが在東京フランス大使館と協力することで、今年初めて日本での開催が実現しました!
            ゲーム開発の経験は問いません!

            日時: 2024年11月29日(金) 17:00 ~ 12月1日(日) 18:30
            場所: 日本科学未来館(東京都江東区青海2-3-6)
            持ち物: ノートパソコン、ゲーム開発に必要なソフトウェア
            参加費: 無料 (食事、飲み物付き!さらに日曜の夜はカクテルも!)

            注意: 宿泊は含まれていません。未来館は午後10時に閉館しますので、ご注意ください。

            科学をテーマにしたゲームで、創造性を爆発させよう!

            複数のゲームクリエーターが協力して制限時間内にゲームを制作するイベントはゲームジャムと呼ばれ、世界各地で開催されています。SGJは特に科学を題材としたゲームを制作することで科学の普及啓蒙を図るもので、ゲームの内容は、あらゆる分野の研究が対象となります。サイエンティフィック・ゲームジャムでは、科学の面白さを伝えるユニークなゲームを開発することが目標です。
            専門知識を活かして、教育的なゲームを作ったり、最新の研究成果をゲームに取り入れたり、想像力を駆使して、全く新しいゲーム体験を生み出すチャンスです!

            チームで開発するから、仲間と協力して、刺激し合える!

            ゲームジャムは、チームでゲームを開発するイベントです。
            異なる分野の参加者と協力することで、新たな視点や発想が生まれ、刺激的な開発体験を得ることができます。
            もちろん、個人参加も大歓迎! チームは当日結成されますので、安心してご参加ください。

            参加登録受付中!

            サイエンティフィック・ゲームジャム東京2024への参加登録は、公式サイトで受付中です。
            枠が埋まり次第締め切りとなりますので、お早めにお申し込みください!

            詳細情報・参加登録はこちら:

            画像

            スケジュール

            2024年11月29日(金)

            16時~17時:受付
            17時~18時:テーマの発表とチーム編成
            18時:ゲームジャム開始
            19時:ビュッフェディナー
            21時30分:閉会

            2024年11月30日(土)

            8時30分~21時30分:ゲームジャム
            休憩:
            8時30分:コーヒー
            12時:昼食
            15時:コーヒー
            18時30分:夕食

            2024年12月1日(日)

            8時~12時:ゲームジャム
            13時30分:一般参加者が未来館に入場
            14時00分~14時25分:ゲームジャムの紹介・プレゼンテーション
            14時25分~15時30分:各チームによる発表
            15時30分~16時15分:審査員による審議
            16時15分~16時45分:表彰式と一般向けプレゼンテーション終了
            17時~18時30分:一般参加者および参加者向けのSGJカクテル

            参加費は無料、食事とコーヒーが提供されます。

            画像

            審査員

            今回の審査員は、科学研究、ゲームデザイン、プログラミング、技術など、多岐にわたる分野の専門家で構成されています。それぞれの審査員が豊富な知識と、科学とゲームが交差する場での革新を促進する情熱を持ち寄っています。今年のサイエンティフィックゲームジャムの作品を評価する、才能豊かな審査員の方々をご紹介致します。

            北尾 崇

            画像

            元ゲーム開発者。コナミ在籍時に『Metal Gear Solid』(企画・ツール開発・CGムービー制作)、『ZONE OF THE ENDERS』(メインプログラマー・ゲームデザインユニットディレクター)、『ANUBIS ZONE OF THE ENDERS』(メインプログラマー・グラフィックエンジン開発)などに携わる。現在はエンターテインメント・テクノロジー企業でデジタル機器やゲーム向けのXR技術の研究開発を統括。個人では、オープンソースのゲームエンジン「Pyxel」の開発を手掛け、幅広いクリエイターに新たな表現の場を提供している。
            Pyxelは、誰でも簡単にゲーム開発ができることをコンセプトとした「Python向けレトロゲームエンジン」。2018年の公開直後、GitHubで人気プロジェクトとして世界1位にランクインし注目を集め、その後も「月刊I/O」の連載や「日経ソフトウェア」の特集を通じて教育やプログラミング入門者に広がっている。2021年には、49カ国・1万人以上が参加するフランスのプログラミング教育イベント「Nuit du Code」で採用され、現在、オープンソースのゲームエンジン全体で世界8位、Python向けでは1位の人気となっている。2025年初頭には技術評論社よりPyxelの入門書籍が発行予定。

            https://github.com/kitao/pyxel/blob/main/docs/README.ja.md

            小野憲史

            画像

            関西大学 社会学部社会学科 卒業。雑誌「ゲーム批評」編集長などを経て、現在フリーのゲーム教育ジャーナリストとして活動。NPO法人国際ゲーム開発者協会(IGDA)の活動にも古くから参加し、日本支部のNPO化に貢献した。同法人の初代理事長を務め、現在も名誉理事・事務局長として運営に関わる。専門学校・大学院の講師として「ゲームデザイン」「ライティング」「編集」なども指導している。主な共著に『シリアスゲーム』(コロナ社)。主な連載に「小野憲史のゲーム時評」(まんたんWEB)など。

            https://www.iput.ac.jp/tokyo/about/faculty_member/ono_kenji/

            https://researchmap.jp/kono3478

            https://www.igda.jp

            https://gamewriter.jp

            白井 暁彦

            画像

            AICU Inc. CEO, AICU Japan CEO,  東京工業大学 知能システム科学 博士(工学) , デジタルハリウッド大学大学院客員教授。
            メタバースR&D開発、VRエンタテインメントシステム、メディアアート研究、写真工学、画像工学、触覚技術、GPU応用、多重化ディスプレイ、体験の物理評価、国際連携を専門に画像生成の研究開発で30年近い経験を持つ博士(工学)。 日本バーチャルリアリティ学会 IVRC実行委員会、フランスLaval Virtual評議員、芸術科学会副会長。Hacker作家。インプレス「窓の杜」にて「生成AIストリーム」連載中。 2018年よりグリーグループ「GREE VR Studio Laboratory」にてREALITYに代表されるメタバースの未来開発を担当。数多くのメタバースにおけるUX知財を生み出してきただけでなく、子供向けワークショップ開発や先端研究を通したイノベーション型人材の育成、VTuber時代のクリエイター・ライブプレイヤーとして世界に向けた発信活動を行っている。 2023年より「つくる人をつくる」をビジョンにデジタルハリウッド大学発 米国スタートアップ企業「AICU Inc.」CEO就任。日米でクリエイティブAIコミュニケーションメディアを開発・発信している。
            【著書】 「WiiRemoteプログラミング」(オーム社、共著)、「白井博士の未来のゲームデザイン ―エンターテインメントシステムの科学―」(ワークスコーポレーション)、「AIとコラボして神絵師になる 論文から読み解くStable Diffusion」(インプレス)、最新刊「画像生成AI Stable Diffusion スタートガイド」(ソフトバンククリエイティブ) 窓の杜「生成AIストリーム」連載中 https://j.aicu.ai/AIStream
            【論文】 「床面提示型触覚エンタテイメントシステムの提案と開発」東京工業大学 第1535076号 平成16年3月26日
            「エンタテイメントシステム」芸術科学会(2004年)
            全リスト https://researchmap.jp/akihiko/published_papers

            https://researchmap.jp/akihiko/published_papers

            竹森 那由多

            画像

            大阪大学 大学院理学研究科 物理学専攻 准教授
            竹森 那由多は、量子多体システムを専門としており、準結晶の特異な物理特性や量子アルゴリズムの開発に焦点を当てています。彼女の研究は、凝縮系物理学と革新的な計算手法を組み合わせて、相関電子状態や超伝導を探求しています。

            https://researchmap.jp/takenayu

            https://cmqc-lab.jp

            Remi Driancourt

            画像

            Genvid CEO。ロボット工学、機械学習、自然言語処理に約10年間携わった後、2009年にスクウェア・エニックスに入社。
            グラフィックスやテクニカルアニメーションに関してR&Dエンジニアとして研究開発を行い、2014年テクノロジー推進部のジェネラルマネージャー兼R&Dディレクターに就任。2020年、株式会社スクウェア・エニックス・AI&アーツ・アルケミーの代表取締役社長COOに就任。
            スクウェア・エニックスに在籍中は、テクニカルデモ『Agni’s Philosophy』や『WITCH – Chapter 0 [cry]』のほか、『KINGDOM HEARTS III』、『FINAL FANTASY XV』、『結婚指輪物語VR』、『FINAL FANTASY VII REMAKE』、『MARVEL’S AVENGERS』など、多くの著名タイトルに携わりました。
            2022年1月から、インタラクティブ・ストリーミングのパイオニアであるGenvid(ジェンビッド)に入社し、現職に就任。
            Genvidは、ライブ配信に視聴者を同時に介入させるコア技術を持ち、視聴者が皆で一緒にコンテンツを作り出す、テレビとゲームの長所を組み合わせたような次世代型エンタメを開発・配信しています。特に、大規模インタラクティブ・ライブ・イベント(Massively Interactive Live Events)の制作に注力しており、『The Walking Dead™: Last Mile』、『PAC-MAN™ Community』、『SILENT HILL: Ascension』など、世界的なIPと連携して革新的なコンテンツを生み出しています。今年、『SILENT HILL: Ascension』において2024年クリエイティブアートエミー賞の新興メディアプログラミングにおける優れたイノベーション賞を受賞しました。

            https://genvid.com/

            Prof Didier MARTY-DESSUS

            画像

            在日フランス大使館 科学技術参事官
            1965年生まれ。フランスのトゥールーズで物理学とマイクロエレクトロニクスを専攻、1993年に博士号を取得。科学技術分野で25年以上の経験を持ち、特に電気工学と電気通信の分野での教員、研究者、そして行政機関での職も歴任。
            学術関連では、国内外の査読付き学術誌に100件を超える科学論文を発表、教育と学習に関する書籍を共著として刊行。
            2013年、トゥールーズ大学のLAPLACE研究所の教授として、ポリマー絶縁体の空間電荷と分極特性評価技術の開発に携わる。
            2016年から2018年までLAPLACE研究所の官民連携担当副所長、2017年3月から2018年10月までトゥールーズ大学の国際関係担当副学長。
            2021年2月、フランスのヨーロッパ・外務省に出向、現在は東京の在日フランス大使館にて科学技術参事官を務める。

            https://fr.linkedin.com/in/didier-marty-dessus-a9a16a198

            https://jp.ambafrance.org

            参加チーム募集中!先着順です
            配布用PDFのダウンロード

            https://note.com/api/v2/attachments/download/3d3b6ef4310093562fd455c2776d0df9

            #サイエンティフィック・ゲームジャム東京2024
            #SGJTokyo2024
            #ゲームジャム #ゲーム開発 #科学 #日本科学未来館

            Originally published at https://note.com on Nov 12, 2024.

          3. 日本法人「AICU Japan株式会社」法人登記申請完了!今後ともよろしくお願いいたします

            生成AI時代に「つくる人をつくる」をビジョンに、AICU mediaの運営など活動してきたAICU Inc.(本社・米国サニーベール)が、2024年11月11日、日本法人 「AICU Japan株式会社」(アイキュージャパン・カブシキガイシャ)を法人登記申請いたしました。

            設立発起人はAICU編集長・しらいはかせ こと白井暁彦。

            画像
            https://gs.dhw.ac.jp/faculty/akihiko-shirai/

            【白井暁彦】Hacker作家。博士(工学・東京工業大学2004年)。AIDXやクリエイティブAIエンタメ・メタバース技術の研究開発を行う米国スタートアップ「AICU Inc.」のCEO。デジタルハリウッド大学大学院特任教授。1995年頃からメディアアート、ゲーム産業、リアルタイムグラフィックス、VRの研究開発・社会実装に従事。イギリスやフランスに渡り世界のエンタメ産業におけるエンジニアリングを経験。帰国後、日本科学未来館での科学コミュニケーターや大学教員、メタバース産業での研究所ディレクターなどを経験し「つくる人をつくる」をポリシーに活動し、ゲーム・ソーシャルメディア・メタバース業界を中心に多数の卒業生を輩出してきた。圧倒的な執筆速度があり、国内外に向けた論文執筆の他に、週刊ファミ通、SIGGRAPH見聞記、窓の杜「生成AIストリーム」連載、著書は『WiiRemoteプログラミング』、『白井博士の未来のゲームデザイン – エンターテイメントシステムの科学』、『AIとコラボして神絵師になる 論文から読み解く Stable Diffusion』、『画像生成AI Stable Diffusionスタートガイド』、近年では動画ラーニングメディアColosoより『超入門:Stable Diffusionではじめる画像生成AI』、『初級者:広告企画から動画制作までのプロセス』、『ComfyUIマスター:カスタムノードとアプリ開発』 や、CGWORLD 2024年11月号 vol.315 表紙 など多作。AICUでは「わかるAIを届ける」AICU media編集長、毎月300ページ近い情報量を誇る「AICUマガジン」を毎号発行。TV出演は NHK「サイエンスZERO」、フジテレビ「フジテレビ批評」など各種メディアでCG・インタラクティブ技術を伝えている。フランスLaval Virtual評議委員。日本バーチャルリアリティ学会IVRC実行委員会委員。芸術科学会副会長を担当(2024年9月まで)。

            画像
            Coloso第3弾『ComfyUIマスター:カスタムノードとアプリ開発』より(生成画像)

            気になる「AICU Japan」の事業内容は…?

            AICU Japanの原始定款(会社設立時に必要な、会社を経営していくための基本的なルールをまとめた書類)には以下のように記載されています。

            コンピュータのソフトウェア及びハードウェアの企画、研究、開発、設計、製造、販売、保守、リース、賃貸及び輸出入並びにそれらに関するコンサルティング業務、インターネット等の通信ネットワーク及び電子技術を利用した各種情報提供サービス及び情報収集サービス、通信販売業務、コンピュータの操作指導等に関する事業、インターネットを利用したメディア運営及び広告配信事業、コンピュータシステムによるデータ入力及びそれに伴う事務処理の受託、音声、映像のソフトウェアの企画、制作、販売及び賃貸、情報の収集、分析、管理及び処理サービス業、情報提供サービス業並びに情報処理に関する研究開発、通信システムによる情報、画像、楽曲・音声の収集、配信、処理、販売並びにそれらに係る機器及び装置類の販売、自然科学及び産業上の諸技術に関する総合的な研究調査業務、EC(電子商取引)サイト、その他各種ウェブサイトの企画、制作、販売、配信、運営及び管理
            知的財産権の管理およびライセンス業務、IPに基づくライセンス商品・サービスの企画、開発、販売、知的財産権のライセンス契約・交渉支援、ワークショップ、教育・資格検定・研修プログラムの企画・運営、有料職業紹介事業、労働者派遣事業、人事測定および教育訓練事業、旅行・観光支援、企画・運営、前(各)号に附帯関連する一切の事業

            CEO着任から1年で、毎日欠かさずクリエイティブAI情報を発信し、noteフォロワーを1000人超えを達成。Kindle「AICUマガジン」の月刊化など、いままでのAICU mediaの業務内容に加えて、電通や神奈川県をクライアントにしたクリエイティブワークショップや、メタバース関連の受託開発、知財開発、企業向け研修、そのクリエイターが活躍できる場所の創出に、最大限活躍できるような事業設計をパワフルかつ丁寧に推進しています。

            https://corp.aicu.ai/ja/creativeai-20241004

            日本法人の設立によって、今までUSドルでの決済が必要だった案件や、日本の自治体や教育機関といった公共をクライアントとした事業、日本の法律遵守、福利厚生の向上が実施されることになります。既存のAICU Inc.事業はライセンス事業および国際連携事業を中心とし、ユーザーや読者、取引先の皆様におかれましては特にお手間をおかけすることなく、段階的に移行する予定をすすめております。

            オフィスは東京科学大学田町キャンバス「INDEST」

            日本法人及びAICU media編集部は東京科学大学(旧・東京工業大学)田町キャンバス「INDEST」(イノベーションデザイン機構)に入居いたしました。
            オフィスはJR田町駅徒歩ゼロ分となりますので、今後イベントなどで、より発信活動を強化していくことを予定しております。

            創業第2期を推進するメンバー募集

            現在、AICUコラボクリエイター、B2B事業のパートナー企業とともに、CxOおよび、事業部長レベルの人材を募集中です。
            詳しくは X@AICUai までDMにてお問い合わせください。
            また学生スタッフ、特に大学院修士、博士レベルの各分野での経験を持つスタッフも募集しています。
            「興味があるけど…」「オンラインでできることはありますか?」など、まずはお気軽にお問い合わせください。

            以上、11月11日を「AICU Japan創立記念日」として、ポッキーの日やチンアナゴの日と並んで覚えていただけましたら幸いです。

            AICU media編集部も、いままで以上に!日本の読者の皆様のクリエイティブな生活に貢献できますよう、努力を重ねてまいります。

            AICUメンバーシップ向けの特別なイベントなども企画しております。今後も変わらず、より一層「AICU Inc.」、「AICU media」とともに「AICU Japan」をよろしくお願いいたします!

             AICU Inc. / AICU Japan 社員一同

            Originally published at https://note.com on Nov 11, 2024.