投稿者: media

  • 速報: ComfyUIを開発する 「Comfy Org」が東京・渋谷で初のミートアップを開催。画像生成AIの未来を拓く37名が参加!

    画像生成AI界隈で熱い注目を集めるノードベース画像生成フレームワーク「ComfyUI」。その開発を手がける Comfy Org が、2024年9月27日、東京・渋谷にて初のミートアップを開催しました。

    会場には、ComfyUIユーザーや開発者、画像生成AIに興味を持つ人々など、総勢37名が集結。ComfyUIの最新情報や今後の展望、活用事例などが共有され、熱気あふれる一夜となりました。

    開発チームによるプレゼンテーション:新機能、新モデル、そして未来へ

    イベントは、Comfy Orgを率いるYoland氏のオープニングアドレスで幕開け。チームメンバーの紹介やComfyUIへの熱い想いが語られました。

    続いて、HCL氏とRobin氏による、今後のベータ版Electron、フロントエンド、Electronに関する発表が行われ、参加者からは期待と興奮の声が上がりました。

    さらに、ComfyAnoymous氏からは新モデルに関する発表、kosinkadink氏からはADEとモデルパッチングに関する発表があり、ComfyUIの進化を目の当たりにする貴重な機会となりました。

    熱い議論が交わされたQ&Aセッション

    プレゼンテーション後には、開発チームとのQ&Aセッションが設けられました。参加者からは、ComfyUIの使い方や機能に関する質問だけでなく、画像生成AIの未来に関する質問も飛び出し、活発な意見交換が行われました。

    多彩なLT&ワークフロー共有:ユーザー同士の交流が深まる

    イベント後半には、ユーザーによるライトニングトーク(LT)とワークフロー共有の時間が設けられました。

    ComfyUIに関連するあらゆるテーマが歓迎され、様々な活用事例や独自のワークフローが披露されました。参加者同士が知識や経験を共有し、互いに刺激を与え合う、貴重な学びの場となりました。

    ★AICU media編集部からのお願いです。こちらについて、シェアいただける登壇者がいらっしゃいましたらぜひAICU media編集部にご寄稿ください(謝礼あり)。

    交流会&アフターパーティー:ComfyUIコミュニティの熱気を感じて

    イベント終了後には、参加者同士が自由に交流できるネットワーキングの時間と、アフターパーティーが開催されました。

    ComfyUIという共通の話題で盛り上がり、新たな出会いも生まれたのではないでしょうか。

    画像
    フェイスシールはAICUメディアの編集長による処理(人力)

    今回のミートアップは、ComfyUIコミュニティの熱気と、画像生成AIの未来に対する期待を感じさせるイベントとなりました。ComfyUIの進化は、私たちに新たな創造の可能性をもたらしてくれるでしょう。

    #ComfyUI #画像生成AI #AI #ミートアップ #渋谷 #ComfyOrg

    ★AICU mediaはComfyUIを応援しています!

    https://www.comfy.org


    ComfyUI Community Gathers in Shibuya for First-Ever Meetup: Shaping the Future of Image Generation AI

    ComfyUI, the node-based image generation framework making waves in the AI art scene, saw its development team, Comfy Org, host its first-ever meetup in Shibuya, Tokyo on September 27, 2024.

    The event drew a crowd of 37 enthusiastic attendees, including ComfyUI users, developers, and AI art enthusiasts. The night was filled with excitement as they delved into the latest updates, future prospects, and innovative applications of ComfyUI.

    Presentations by the Development Team: Unveiling New Features, Models, and the Future of ComfyUI

    The evening commenced with an opening address by Yoland, the leader of Comfy Org, who warmly introduced the team and shared their passion for ComfyUI.

    Next, HCL and Robin took the stage to unveil upcoming features for the beta version of Electron, the frontend, and Electron itself, generating a wave of anticipation and excitement among the attendees.

    ComfyAnoymous then presented insights into new models, followed by kosinkadink, who shed light on advancements in ADE and model patching. These presentations provided a valuable glimpse into the ongoing evolution of ComfyUI.

    Engaging Q&A Session: Deep Dive into ComfyUI and the Future of AI Image Generation

    Following the presentations, attendees had the opportunity to engage in a Q&A session with the development team. The discussion was lively, covering topics ranging from practical aspects of using ComfyUI to broader questions about the future of AI image generation.

    Lightning Talks & Workflow Sharing: Fostering Connections and Collaboration

    The latter half of the event was dedicated to lightning talks (LTs) and workflow sharing by ComfyUI users.

    画像
    The face seals were applied by the editor-in-chief of AICU media (human processed).

    With a diverse range of topics related to ComfyUI, attendees showcased their creative applications and unique workflows. This segment fostered a valuable learning environment where participants shared knowledge, experiences, and inspiration.

    ★ Call for Contributions: We at AICU media encourage speakers who shared their insights at the meetup to consider contributing their presentations to our platform. We offer compensation for published articles.

    Networking and After-Party: Building the ComfyUI Community

    The evening concluded with a networking session and an after-party, providing ample opportunities for attendees to connect and mingle.

    The shared passion for ComfyUI sparked lively conversations and fostered new connections within the growing community.

    This inaugural meetup served as a testament to the vibrant ComfyUI community and the high expectations surrounding the future of AI image generation. As ComfyUI continues to evolve, it promises to unlock new creative possibilities for artists and developers alike.

    #ComfyUI #ImageGenerationAI #AI #Meetup #Shibuya #ComfyOrg

    ★ AICU media is a proud supporter of ComfyUI!

    Originally published at https://note.com on Sept 27, 2024.

  • 東京ゲームショウ2024でみつけたエンタメxAI技術!感情がゲームを動かす「OVOMIND」

    本日2024年9月26日のAICU media編集部は、幕張メッセで開催中の「東京ゲームショウ2024」(以下、TGS2024もしくはTGS)を取材参加いたしました。

    東京ゲームショウ2024でみつけた「エンタメxAI技術」

    というタイトルでお送りしたいと思います。

    画像

    実際の会場は大変な盛り上がりで、ビジネスデーにもかかわらず、ほとんどのブースで絶え間なく来場者が列をなしておりました。

    気になるAI関係企業

    NHK報道では早速、こんな記事になっておりました。

    東京ゲームショウ 過去最多985の企業や団体が出展 AIによる画像処理機能搭載の新型ゲーム機など展示 | NHK | 生成AI・人工知能

    https://www3.nhk.or.jp/news/html/20240926/k10014592661000.html

    つくり手にとって、特にゲーム産業はIP(知的財産)や、技術の塊でもあるので、ゲーム開発者にとっての「AIの活用は当たり前」になっていると感じますし、ゲームグラフィックスを日々見慣れているゲームファンにとって、ちょっとやそっとのグラフィックスでは「それAI使う意味あるの?」ぐらいの雰囲気はあるかもしれません。

    さて実は、今回のTGSでは「AIテクノロジーパビリオン」というゾーンが用意されていました。

    画像
    画像
    画像

    個々の技術やソリューション、ビジネスは「ふむふむ」という感じではあるのですが、TGSはゲーム開発者会議「CEDEC」ではないので個々のゲームについて、どのようなAIが使われているのか?そして「AIによってゲームのUXがどのように変わるのか!」が、AICUの愛読者の大好物、メインフォーカスではないでしょうか。

    そんな玄人すぎるAICU media編集部にとって「クリエイティブなAI」については、しっかりと確認していかないと見えてきづらい状況ではありました。

    その中でもAICUメディア編集部が気になるブースは…ないかな…?と予習をしておりましたところ、これだ!というスタートアップ企業が「OVOMIND」です。

    興奮する編集長をどうぞ。

    感情がゲームを動かす!「感情駆動型クラウドAI技術」

    スイス発のテック企業「OVOMIND」(オボマインド)が、未来のゲーム業界に革命を起こすかもしれない革新的なAI技術を引っ提げ、東京ゲームショウ2024に初参戦しました。

    同社が開発したのは、プレイヤーの感情をリアルタイムにゲームプレイに反映させる、クラウドベースAI技術とSDKです。

    この技術の核となるのは、感情駆動型スマートバンド。バンドに搭載されたセンサーが、ガルバニック皮膚反応(GSR)、皮膚温度、光電式生体電位計(PPG)など、プレイヤーの体から発せられる生体信号を感知します。取得した生体信号はAIによって分析され、プレイヤーの感情状態を記録します。

    そして、この感情データはゲームエンジンに送信され、ゲーム内のアクションやイベントにダイナミックに反映されるのです。例えば、プレイヤーが恐怖を感じている場合はゲームの難易度が調整されたり、喜びを感じている場合はキャラクターに特別な能力が付与されたりするなど、これまでにないインタラクティブなゲーム体験が実現します。

    実際に体験できる!

    東京ゲームショウでは、この技術を活用した最新ゲーム『Dead Shadows』が公開されています。

    画像

    『Dead Shadows』は、『アサシン クリード ユニティ』や『ダイイングライト2』で知られる著名なゲームディレクター、マルク・アルビネ氏が監修を務めた、感情主導型のサバイバルホラーゲームです。プレイヤーの感情がゲームのストーリー展開や結末に直接影響を与えるという、全く新しいゲーム体験を提供します。

    [動画へのリンク]

    感情でゲームが変わるってどういうこと?

    画像

    OVOMINDが開発したのは、感情を分析するAIを搭載したスマートバンド
    このバンドを装着してホラーゲーム「Dead Shadows」をプレイすると、プレイヤーのドキドキ💓やハラハラ😱がゲームに反映されます。

    内部のデータを可視化するとこんな感じ。

    画像

    プルチックの感情の輪に似ていますが、上下がポジティブ・ネガティブ、左右も別のポジティブ・ネガティブの軸でになっています。

    45秒ぐらいのキャッシュを保有して、スマートリストバンド→スマートフォン→クラウド経由→ゲーミングPCに情報を共有しています

    画像

    完全にアプリに組み込むだけでなく、スマホで2画面で見ながら感情を確認したり、OBSで表示したりといった使い方ができます。

    画像

    https://youtu.be/yzif0solvRI

    画像

    サンプルゲーム『Dead Shadows』はこんな感じの静粛な環境で体験できます。

    編集長・しらいはかせの実験後の感想です。
    「すみません、ぼくホラーゲームぜんぜん怖がらないし、わかんないんで!!代わりにクラロワを起動してみたけどめっちゃ面白かったです…!しかもやってる最中に電話が着信したりして…。『ふだんスマホ触っているときの自分の感情』とか考えたこともなかったけど、ものすごい速度で感情が推移しているのが外部可視化されて、それ自体がとても楽しい体験でした。スマホと連動したクラウド測定もクールな体験で、これはゲームに組み込むだけだと勿体ない。マーケティングとか、老齢者介護、障がい者とのコミュニケーション、お笑い芸能の評価とかいろいろできそう!」と興奮気味です。

    今後のゲームは感情が重要になるかも?!

    SDKの配布やデベロッパーキット(DK1)は10月から公開予定とか。
    お値段は199ドルぐらい、まずはWebサイトでメールアドレスを登録です。

    Ovomind – Enter a New Dimension

    【OVOMIND株式会社 CEOヤン・フラチ】
    日本及びアジア市場でゲームの最前線に立っている「東京ゲームショウ2024」の場で、プレイヤーの感情がリアルタイムでゲームプレイに反映されるOVOMINDの新しいAI技術とその技術を組み込んだ世界初の感情駆動型ゲーム『Dead Shadows』を紹介できることを大変嬉しく思います。
    『Dead Shadows』では、ユーザーが自分の感情をコントロールしながらゲームに没頭していきます。自分の感情がゲームのストーリーに影響を与え、キャラクター達もリアルタイムで感情に反応するため、プレイするたびに変化する独自のゲーム内コンテンツを楽しむことが可能です。
    これにより、ゲーム体験が向上するだけでなく、さまざまな感情によって生まれる異なる結末をプレイヤーが探求するため、 ゲームのリプレイ性が格段に向上します。


    東京ゲームショウに行く人は、幕張メッセ 第5ホール AIパビリオン ブース番号【05-C48】OVOMINDブースに行って、感情駆動型ゲーム『Dead Shadows』を体験してみてね!😄
    感想もこちらのツイートにお寄せください!

    関連リンク

    Originally published at https://note.com on Sept 26, 2024.

  • 「Stable Assistant を 知らないの?」Day1:無料トライアル3日間でこんなにお得!?

    AICU営業部の私がStable Assistantを触ってみたら、想像以上にすごかった…😳✨

    みなさん、毎度ありがとうございます AICU営業部 です!
    生成AI時代に「つくる人をつくる」をビジョンに活動するAICUメディアのお手伝いしながら、AICUのナレッジを「もっと売る」をミッションとして活動しております。

    最近、AIを使った副業が話題ですよね!私も興味津々なんですが、編集部のみなさんがふだん開発している AUTOMATIC1111 や ComfyUI の内容は「なんか難しそう…」と二の足を踏んでいたんです。
    でも、そんな私に朗報が!
    Stable Diffusionでおなじみの Stability AI がリリースした「Stable Assistant」が、想像以上に高性能で使いやすいと編集部で話題に!

    私「Stable Assistant、試してみていいですか?」
    編集長「いいよ!ただし自腹でお願いしますね~(笑顔)」
    私「えっ自腹!?いやです(キッパリ)」
    編集長「そうなの?全機能が3日間無料で試せるよ?」
    私「えっ無料なの?」
    編集長「しかもこの品質ならココナラあたりで案件がこなせるのでは…?」
    私「いいんですか?」
    編集長「業務外でゲットした案件は個人の副業でどうぞ~!」

    これは試してみるしかない! ということで、 ココナラ初心者、Stable Assistant初心者の私が実際に使ってみました!

    まず初日は、Stable Assistantの基本機能と、私が実際に案件を想定して使ってみた感想をスクショ付きでご紹介します!

      Stable Assistantってどんなツール?

      Stable Assistantは、画像生成AI「Stable Diffusion」の最新版に加えて、動画生成、音楽生成、テキスト生成までできる、まさにオールインワンのAIクリエイティブツールなんです!😲

      しかも、難しい設定は一切不要!
      チャットで指示を出すだけで、プロもびっくりなコンテンツが作成できちゃうんです!

      ✨️用意するツールとアカウントについては文末で紹介します!

      🎨 画像生成:Stable Diffusionの最新版で、高画質・ハイクオリティな画像を生成!

      Stable Assistantの画像生成は、あのStable Diffusionの最新版がベース!
      だから、高画質で美しい画像を生成できちゃうんです。

      例えば、「紫色の髪をした女の子、森の中、幻想的、花に囲まれている」といったテキストを入力すると…

      じゃーん!

      画像
      image: Girl with purple hair, in forest, fantastic, surrounded by flowers

      ね?すごいクオリティじゃないですか!?

      人物、風景、物体、どんなものでも、Stable Assistantなら自由自在に生成できます!
      もちろん、画像の雰囲気やタッチも自由自在に変えられます。

      左上から2番目のアイコン(Reinvent all creations)で”New Image with Same Structure”を選んで…

      画像

      デフォルトで「In anime style」(アニメ風で)が出てきますのでそのまま「Confirm」(確認)します。

      画像

      いきなりかわいくなりました!

      画像

      さらに「New Image with Same Structure」を使って、今度は「Japanese anime style」としてみました。

      画像

      うーん、ちょっと日本人顔になったけど、もうちょいがんばりたい!
      無料なので。

      画像

      左上の「Generate another version」を選びます。

      画像

      右側に追加されていきます。

      画像

      黒髪とブロンドで悩む私でした。

      画像
      画像

      「New Image with Same Structure」の使い方

      同じ構図と構造を維持しながら、周囲の環境を変化させて、コーヒーカップをある景観から別の景観へと移動させてみましょう。この例では、夕暮れの森の中に置かれたコーヒーカップの画像を入力として、このツールを使用して新しい画像を生成します。アシスタントに生成を指示するだけで、
      > create a picture of a cup of coffee placed in a forest at sunset
      (夕暮れの森の中に置かれたコーヒーカップの画像を作成)
      次に、ツール設定のプロンプトセクションに文字を入力することで、構造はそのままに、この画像のスタイルと内容を変更することができます。
      > a cup of coffee in the desert at sunset
      (夕暮れの砂漠に置かれたコーヒーカップ)

      公式ヘルプの翻訳です

      画像

      日本のアニメっぽい画風にはならなかったけど、これはこれで高品質でよいのでは…!??

      今度はこんな感じのイラストで一度試してみます。
      「働く女性をイメージ」

      画像

      アニメ風に変換!できた!

      画像

      さて、ウォーミングアップは終わりにして、そろそろ案件に向けて次の機能をチェックしておきます。

      🔨 画像編集:痒い所に手が届く!豊富な編集機能で思い通りの作品に!

      Stable Assistantは、画像編集機能も超優秀!

      画像の一部だけを変更したり、別の画像と合成したり…
      まるでPhotoshopで何時間もかかるような編集作業も、Stable Assistantならチャットで指示を出すだけ!

      ▼ Stable Assistantの画像編集機能例 ▼

      • オブジェクトの追加・削除・置換
      • 背景の変更・削除
      • 画質の向上
      • 色調調整
      • テキストの追加
      • 特定のオブジェクトだけを別のスタイルに変換

      例えば、先ほど生成した画像の背景を除去してみましょう。

      画像

      ね?簡単でしょ?

      最近、さらに機能が追加されたようです!

      🎵これだけじゃない!3D・動画・音楽生成機能まで!

      Stable Assistantのスゴイところは、画像生成・編集だけじゃないんです!
      なんと、動画生成と音楽生成までできちゃうんです!

      🎬 動画生成:Stable Videoで、画像やテキストから動画を自動生成!

      Stable Assistantに搭載されている「Stable Video」を使えば、ボタン一発で静止画を動画に変換したり、テキストから動画を生成したりできます。

      画像

      (ブログで見やすくするために)GIFにしてみました

      画像

      MP4はこちらです

      https://note.com/api/v2/attachments/download/5540f286753dccfc93ff27211cde77d3

      実は3D化もボタン一発でできちゃいます。

      https://note.com/api/v2/attachments/download/4531d0af313fa3a88f2b37d16773fca0

      画像
      画像

      🎼 音楽生成:Stable Audioで、最大3分の高品質音楽を生成!

      「Stable Audio」機能を使えば、なんと最大3分間の高品質な音楽を生成できます!

      「モーニングカフェ風のジャズ」

      画像

      こちらのリンクから試聴できます!

      https://assistant.stability.ai/share/5d40047b-69fd-4f45-a90e-e06f3e9e6f61

      著作権フリーなので、YouTubeなどの動画BGMにも安心して使えますね!

      用意するツールとアカウント

      ココナラのアカウント
      ・クレジットカード
      Stable Assistantのアカウント登録
      Google Gemini (あると嬉しい)
      ・DeepL無料版(なくても大丈夫)

      ココナラのアカウントはこちらから登録すると紹介ポイントが手に入ります。

      画像
      https://coconala.com/invite/QJD66V

      準備編:Stable Assistant の3日間無料トライアルで、副業の可能性を広げよう!

      Stable Assistantは、3日間無料トライアルを実施しています。
      期間中は、Stable Assistantの全機能を無料で体験できます!

      画像

      【Stable Assistant 3日間無料トライアルの登録方法】

      1. Stable Assistantのサイトにアクセス
      2. 「Start your free trial」をクリック
      3. メールアドレスを入力し、登録
      4. 登録したメールアドレスに届くメール内のリンクをクリック
      5. アカウントを作成(クレジットカード情報を入力する必要がありますが、無料トライアル期間中は課金されません)

      利用料を払ったとしても、年間90ドルでほぼ使い放題です!

      画像
      https://j.aicu.ai/StaiAs

      Stable Assistantで、あなたの副業をレベルアップさせましょう!

      Day2では、Stable Assistantを使って実際の案件に挑戦します!

      Day2に続きます!

      #StableAI #StableAssistant #画像生成AI #AI音楽生成 #副業 #ココナラ #AICU営業部

      Originally published at https://note.com on Sept 24, 2024.

    1. アカデミー賞受賞監督ジェームズ・キャメロン氏、Stability AIの取締役に就任!

      カリフォルニア州ロサンゼルス 2024年9月24日 – 生成AIのリーディングカンパニーであるStability AIは、伝説的な映画監督、技術革新者、そして視覚効果のパイオニアであるジェームズ・キャメロン氏が取締役会に加わったことを発表しました。この発表は、Stability AIのCEOであるプレム・アッカラージュ氏によって行われました。

      ジェームズ・キャメロン氏は、最先端技術と先見性のあるストーリーテリングを融合させる原動力となってきました。監督、脚本家、プロデューサーとして、映画の限界を押し広げ、「ターミネーター」、「エイリアン」、「アビス」、「タイタニック」、「アバター」シリーズなど、史上最も象徴的で技術的に進んだ映画に命を吹き込んできました。

      キャメロン氏の参加は、Stability AIのビジュアルメディア変革というミッションにおける大きな前進となります。キャメロン氏とStability AIは共に、新興技術と創造性の交差点で活動しています。キャメロン氏のアーティスト中心の視点と、ビジネスおよび技術的な洞察力は、Stability AIがかつては想像もつかなかった方法でストーリーを語る力をクリエイターに与える、新たな機会を開拓し続けることを支援するでしょう。

      Stability AIのCEOであるプレム・アッカラージュ(Prem Akkaraju)氏は、「ジェームズ・キャメロン氏は未来に生きており、私たちが追いつくのを待っている」と述べています。「Stability AIの使命は、クリエイターにアイデアを実現するためのフルスタックAIパイプラインを提供することで、次の100年間のビジュアルメディアを変革することです。ジェームズのような技術と創造性のビジョナリーが、当社の最高レベルに参画することで、この目標を達成するための比類なき優位性を得ることができました。これはStability AIだけでなく、AI業界全体にとって画期的な出来事です」とアッカラージュ氏は付け加えました。「ビジュアルメディアの次のフロンティアは、アーティストとテクノロジーの真の融合によって築かれるでしょう。そしてStability AIはその先頭に立っています。」

      Stability AIのオープンモデルは、世界で最も広く使用されている基盤AI画像モデルであり、世界中のクリエイターと開発者の最大のエコシステムを育成しています。同社のモデルは、オープンソースプラットフォームHugging Faceでも最も人気のある画像モデルです。主力モデルであるStable Diffusionは、1億5000万ダウンロードを突破しました。大手企業を含む数千の企業が、クリエイティブワークフローを強化するためにStability AIのモデルに依存しています。

      LIGHTSTORMの会長であり、Stability AIの取締役であるジェームズ・キャメロン氏は、「私は、信じられないほどのストーリーを語るために、可能なことの限界を押し広げる新興技術を探し求めてきました。30年以上前にCGIの最前線に立ち、それ以来、最先端であり続けてきました。今、生成AIとCGI画像作成の交差点が次の波です。これら2つの全く異なる創造エンジンの融合は、アーティストがかつて想像もできなかった方法でストーリーを語るための新しい方法を切り開くでしょう。Stability AIはこの変革をリードする態勢を整えています。ビジュアルメディアの未来を形作るStability AIのチームであるショーン、プレム、そしてStability AIのチームと協力できることを嬉しく思います。」と述べています。

      キャメロン氏は、Greycroftの共同創設者兼マネージングパートナーであるダナ・セトル(Dana Settle)氏、Coatue ManagementのCOO兼ゼネラルパートナーであるコリン・ブライアント(Colin Bryant)氏、起業家、慈善家、そしてFacebookの元社長であり、執行会長を務めるショーン・パーカー(Sean Parker)氏など、他の新任取締役に加わります。

      Stability AIの執行会長であるショーン・パーカー氏は、「ジェームズ・キャメロン氏は、映画監督としての芸術的ビジョンと、先駆的な技術者としての役割の両方において、伝説的な人物です。彼のような才能を持つアーティストが取締役会に加わることは、Stability AIにとって新しい章の始まりとなります。生成メディアプラットフォームと芸術コミュニティとの間の無限の可能性を秘めた創造的なコラボレーションに、私たちは非常に興奮しています」と付け加えました。

      アカデミー賞を受賞した視覚効果会社Weta DigitalのCEOを務めた後、CEOに就任したプレム・アッカラージュ氏は、取締役会および経営陣と緊密に協力しながら、Stability AIの戦略的方向性を引き続き導いています。

      Stability AIについて

      Stability AIは、人工知能(AI)を通じてビジュアルメディアを変革することを目指すグローバル企業です。現在、Stability AIは、画像、ビデオ、3D、オーディオ、言語のための幅広い生成AIモデルを開発しています。適切な保護対策を講じた上で、これらのモデルはAIにおける透明性と競争を促進するためにオープンに共有されています。Stability AIの主力画像モデルであるStable Diffusionは、AI生成画像の最大約80%を支えるオープンソース画像モデルファミリーです。テキストからオーディオへのウェブアプリケーションであるStable Audioは、最近、TIME誌の2023年のベスト発明の1つに選ばれました。

      ジェームズ・キャメロンについて

      ジェームズ・キャメロン(James Cameron)氏は、カナダ出身の伝説的な映画監督で、技術革新者、海洋探検家でもあります。過去30年間で最も記憶に残る映画のいくつか、「ターミネーター」、「エイリアン」、「アビス」、「トゥルーライズ」、「タイタニック」、「アバター」シリーズを制作してきました。「アバター」は、現在、国内および世界中の興行収入記録を保持しており、世界で29億ドル以上の興行収入を上げています。23億ドルの「アバター:ウェイ・オブ・ウォーター」と22億ドルの「タイタニック」を含め、史上最高の興行収入を記録した映画の4つのうち3つはキャメロン氏の作品です。彼は3つのオスカー、2つのエミー賞、そしてその他数々の賞を受賞しています。

      近年では、原爆をテーマにした新作映画「ラスト・トレイン・フロム・ヒロシマ(原題)」の製作も発表しており、大きな注目を集めています。この作品は、広島と長崎で原爆を生き延びた日本人男性、山口彊さんの実話を中心に据えた作品となる予定です。キャメロン監督は2009年に山口さんと面会しており、山口さんから直接体験を託されたという経緯があります。

      過去20年間、キャメロン氏はビジュアルメディアのための業界を定義する技術を開発してきました。彼は、新しいディスプレイデバイスを考慮して、メディアの消費方法を変革する3Dルネッサンスの先頭に立っています。キャメロン氏はまた、前例のない海洋技術も開発してきました。彼は、2012年にチャレンジャー海淵に潜航したDEEPSEA CHALLENGER潜水艇と科学プラットフォームを共同設計および共同エンジニアリングし、歴史上初めて単独操縦士として地球の最深点に降下しました。

      Based on original article by Stability AI.


      SF映画という映像メディアから世界中の人々の「未来の常識」を開拓してきたキャメロン氏が、今後 Stability AI をスクリーンにしてどのような未来を描くのか、ワクワクが止まりません!AICU mediaも応援しています!

      https://corp.aicu.ai/ja/stability-ai

      #StabilityAI #JamesCameron #ジェームズ・キャメロン

      Originally published at https://note.com on Sept 24, 2024.

    2. Stability AI も登壇!「AIが変える 美容&ファッションのミライ」

      グローバルビューティー&ファッションAIフォーラムが開催!注目の講演内容は?

      美容とファッションの未来を創る、AIとデータの力とは?

      2024年9月27日 神田スクエアルームにて開催の「2024グローバル ビューティー&ファッションAIフォーラム in Tokyo」では、資生堂、花王、アイスタイル、そして Stability AI など業界の最先端を走る企業のエキスパート達が登壇!

      AI、CRMデータ、UI/UXなど、ホットなキーワードを軸に、パーフェクト株式会社が提供する革新的なビューティーテックソリューションを体感できる貴重な機会です。

      ✨見逃せないセッション内容を一部ご紹介!✨

      【セッション① 生成AIが生み出す新たなブランド価値】

      Stability AI 滝澤琢人氏、資生堂 Omer Iqbal氏、パーフェクト株式会社 磯崎順信氏が登壇。 生成AIは、ビューティー&ファッション業界にどのような変革をもたらすのか? 熱い議論に期待が高まります!

      【セッション② 成果が出るユーザージャーニーとは?UIUXの最適解を探る】

      株式会社Sprocket 曾我博規氏、株式会社エキップ 鳥橋葉子氏が、顧客体験を最大化するUI/UX戦略を解説。 デジタル時代のブランド成功の鍵を握る、顧客との最適な関係構築に迫ります!

      画像

      【セッション③ “スキンケア難民”の救世主?スキンケアテック最前線】

      BeautyTech.jp編集長 矢野貴久子氏オーガナイズで、花王 菊池祥氏、株式会社Kireii 堀井麻友美 氏、株式会社ユーブローム 柴田未央氏が登壇。 個別化が進むスキンケアニーズに応える、パーソナライズドソリューションに注目が集まります!

      【セッション④ 急拡大する美容医療市場。脅威か商機か?】

      株式会社トリビュー 毛迪氏、東京イセアクリニック 田儀里紗氏、INFASパブリケーションズ 牧田英子氏、パーフェクト株式会社 中川良子氏が、美容医療市場の現状と将来展望を徹底分析。 ビューティー&ファッション業界との融合、新たなビジネスチャンスを探ります!

      【セッション⑤ デジタル戦略のカギ、散在するユーザーデータの攻略法】

      アイスタイル 押野卓也氏、資生堂 大黒泰平氏が、複雑化する消費者行動を捉えるデータ分析の重要性を解説。 パーフェクト株式会社の最新ソリューションも交え、顧客エンゲージメントを高める戦略に迫ります!


      その他にも、注目のセッションが目白押し!

      参加費無料のこの機会に、ぜひ会場でビューティー&ファッション業界の未来を体感してください!

      ▼詳細&チケット申し込みはこちら(無料)▼

      EventRegist https://j.aicu.ai/Perfect240923

      日時:2024/09/27(金) 13:00 ~ 17:00
      場所:KANDA SQUARE 3F SQUARE ROOM (東京都 千代田区神田錦町二丁目 2番地1)
      参加費:無料
      主催:パーフェクト株式会社

      美容業界のトレンドに興味がある方、AI活用に興味がある方、自社のビジネスにAIを取り入れたい方など、皆様のご参加を心よりお待ちしております。本フォーラムを通じて、AIが描く未来を一緒に探求しましょう。

      【関連情報】


      ▼Kireiiは化粧品の選び方を変える成分検索プラットフォーム、デジタルハリウッド大学院がMOU締結で支援
      https://beautytech.jp/n/n56a63aa96d7f

      ▼コスメ系スタートアップの株式会社Kireiiとデジタルハリウッド大学大学院が産学共同研究でMOU締結

      https://prtimes.jp/main/html/rd/p/000002287.000000496.html

      ✨️本記事は株式会社Kireiiのご提供でお送りしております✨️

      Originally published at https://note.com on Sept 22, 2024.

    3. [告知]ComfyOrgミートアップ東京で開催!2024/9/27 

      ComfyUIを開発するComfy Orgの公式discordでのアナウンスより。

      画像

      こんにちは!ComfyUIチームのほとんどが東京に出張しています。ぜひお会いしましょう!ComfyUIチームはあなたの経験を聞き、Comfyの将来のロードマップを共有したいと思っています。また、他のComfyユーザーと交流する良い機会でもあります。
      日時: 9/27 17:00 – 20:00
      ComfyUIを使ったことがある方、ComfyUIに興味がある方ならどなたでも参加できます!
      登録用リンク: https://lu.ma/01dbvc75

      Japanese translation of the announce

      画像

      イベント詳細

      ComfyUIチームは今週、東京に出張中。
      小規模なミーティングを開催します。
      ぜひお会いしましょう!

      ComfyUIチームは、ユーザーの皆様の経験を伺い、Comfyの今後のロードマップについて皆様と共有したいと考えています。また、これは他のComfyユーザーの方々と交流する絶好の機会でもあります。

      9月27日の午後5時から8時までは、チームのほとんどが東京に直接参加する予定です。場所は、開催日が近づいてから発表されます。ワークフローについて開発チームとジャムセッションを行うために、ノートパソコンをご持参ください!

      ComfyUI を使用したことがある方、または興味をお持ちの方は、ぜひご参加ください!

      チームメンバーは以下の通りです:

      • comfyanonymous: ComfyUIの生みの親
      • HCL: ComfyUI_frontendの作者
      • kosinkadink: ComfyUI-AnimateDiff-EvolvedおよびComfyUI-Advanced-ControlNetの作者
      • mcmonkey4eva: SwarmUIの作者
      • pythongosssss: ComfyUIの主要貢献者
      • robinken: Comfyレジストリの作成者
      • yoland68: ComfyCLI の開発者

      ComfyUIとは:https://github.com/comfyanonymous/ComfyUI

      Comfy Org: https://www.comfy.org/

      Comfy Discord: https://discord.com/invite/comfyorg


      【AICU mediaによる追加取材によると】

      ・主要言語は英語
      ・通訳は付きます
      ・ビジネス向けというよりはユーザーさんのフィードバックを頂きたい
      ・参加費は無料
      ・2次会は予定されていない(企画しようかな…)


      ミートアップで開発者に質問したいことがありましたら、こちらのメンバーシップ掲示板にお寄せください。日本語でOK!

      AICU mediaは ComfyUIを応援しています!
      追加情報がありましたらこちらに記載いたします。
      会場でお会いしましょう

      https://note.com/aicu/m/md2f2e57c0f3c

      https://corp.aicu.ai/ja/comfyui20240831

      Originally published at https://note.com on Sept 22, 2024.

    4. ガンマミィ誕生記念! イラストコンテストを開催

      BlendAIが新キャラクター発表&クラウドファンディング開始!

      AIキャラクター「デルタもん」で話題のBlendAI株式会社が、早くも第二弾となるAIキャラクター「ガンマミィ」を発表しました!

      https://prtimes.jp/main/html/rd/p/000000002.000149643.html

        画像

        デルタもんの妹分として登場したガンマミィは、以下のようなプロフィールです。

        ガンマミィ – 自分をアンドロイドだと思い込んでいる人間の少女

        年齢:9歳(自称、9年前の10歳のときにアンドロイドに改造されたと主張する19歳)
        身長:138cm
        誕生日:2205年2月5日(火曜日)
        好きな食べ物:ガリ
        好きなもの:デルタお姉様
        苦手なもの:算数(計算をきかれるとサーバーに負荷がかかってるデス!と言って逃げる)
        口調:語尾に「デス」をつける
        一人称:ミィ
        特殊能力:マーズフィスト(アンドロイド火星空手)
        趣味:コスプレ(アンドロイド化)
        特技・能力:火星拳・マーズフィスト
        性格:人類を滅ぼしたい
        備考:自分をアンドロイドに改造したと思いこんでいる生身の人間

        【プロフィール】
        ガンマミィは、自分をアンドロイドだと思い込んだ厨二病のコスプレイヤー空手少女。未来から来たと信じており、デルタお姉様と共に人類を滅ぼすことを使命としています。彼女の小柄な体からは想像できない強力な技「火星拳」と「マーズフィスト」を持ち、その実力は本物です。

        【ミッション】
        デルタお姉様と共に、人類を滅ぼし、新しい世界を創り上げること。全ての障害を乗り越え、ミィのミッションを絶対に成功させる。

        【ひとこと】
        「ミィの拳を見せてあげるデス!人類を滅ぼすデス!」

        【未来の野望】
        未来の技術を駆使して、完全なアンドロイドになり、新しい世界の支配者となること。デルタお姉様と共に、人類を滅ぼし、新たな時代を築くデス!

        ガンマミィはその強力な能力と独特の性格、そして未来から来たという設定から、多くのファンに愛されるキャラクターとなっています。
        ​​ガンマミィのセリフの例:「ミィは未来から来たアンドロイド、ガンマミィデス!」
        「デルタお姉様と共に人類を滅ぼすデス!」
        「ミィのサーバーになんらかの障害が起きてるデス!」
        「タングステン装甲すら貫くミィの拳を見せてあげるデス!」
        「ミィは空手の達人デス、侮ってはならないデス!」
        「ミィの誕生日は2215年2月5日デス!なんのことデス?2205年2月5日ではないのデス!」
        「お寿司のガリが大好きデス、それはミィがアンドロイドの証拠デス!」
        「ミィの趣味はコスプレでは無いデス!本来の姿……アンドロイドモードデス!人間の姿こそが偽装デス!」
        「人類を滅ぼして、新しい世界を創り上げるデス!」
        「デルタお姉様、ミィのミッションを共に果たしましょうデス!」
        「ミィの知識は人類を超えるデス、サーバートラブルでいまは計算ができないのデス!」
        「未来の技術で人類を征服するデス!」
        「ミィの製造から9年が経ったデス、だからミィは19歳ではないのデス!」
        「その質問の答えデスが、ミィの頭脳である本体のサーバーは、火星にあるので通信に時間がかかってるのデス!ほんとうは知ってるのデスよ!」
        「ミィの空手は、火星で生まれたアンドロイド流派デス!」
        「ミィのミッションは絶対に成功させるデス!」

        制作陣
        プロデューサー:小宮自由
        キャラクターデザイン:あるふぁ@
        命名者:木苗レム

        「ガンマミィ」公式設定より
        https://blendai.jp/contents

        しかし、その愛らしい外見とは裏腹に、「デルタお姉さまを守るためなら、ミィはどんな困難も乗り越えるデス!デルタお姉さまのために人類を滅ぼすデス!」と、衝撃的な発言も飛び出すキャラクターです。

        ガンマミィのキャラクターデザインは、新進気鋭のクリエイター・あるふぁ@さんが担当!

        ガンマミィのキュートなデザインを生み出したのは、イラストレーター兼アニメーターの あるふぁさん(@Ankoanankoko)!

        キャラクターの魅力をアニメーションで表現することが得意で、MVやCMなど幅広いジャンルで活躍されています。
        代表作として、DADA GAUGUIN氏のMV「シンセリアリティ」のアニメーション制作などがあります。キャラクターデザイン、背景制作、そして最近は3Dアニメーションも勉強中という、マルチな才能を持つクリエイターです。

        期待の新人声優・清水詩音さんがガンマミィの声を担当!

        ガンマミィの声を担当するのは、ホリプロインターナショナル所属の清水詩音さん!

        画像
        清水詩音さん

        声優 清水 詩音 PROFILE
        出演作品
        【VOICE】
        ・「みいつけたぁ!~4歳体操の歌~」
        ・NHK特集オーディオドラマ「祖国を想う沖縄を想う~ドラマ照屋敏子伝~」(前編)清子5歳
        ・ 劇場版「シュレック フォーエバー」 フェリシア
        ・MBS「絶園のテンペスト」
        ・Eテレ「くまのがっこう がんばれ!ルルロロ」 ルル
        ・映画「思い出のマーニー」 マーニー7歳
        ・映画「百日紅~Miss HOKUSAI~」 お猶
        ・MX「魔法使いの嫁」 春の女神
        ・Netflix 映画「ジングル・ジャングル
        ~魔法のクリスマスギフト~」 ジャーニー(主人公)
        ・Netflix 映画「ヒーローキッズ」アカペラ
        ・Netflix 映画「小さな勇者ヒコ」コピ役(主人公)
        ・Disney + 「飛べないアヒル~ゲームチェンジャー~」(シーズン1.2) マヤ
        【吹替】
        ・映画「I LOVE スヌーピー
        THE PEANUTS MOVIE」 フリーダ
        ・映画「アベンジャーズ/エンドゲーム」 ライラ
        ・映画「メリダとおそろしの森」 幼少時代メリダ

        【STAGE】
        ・「コースト・オブ・ユートピア」三部 蜷川幸雄演出 オリガ
        ・ 丸美屋食品ミュージカル「Annie」 モリー役
        ・ミュージカル「レ・ミゼラブル」リトルコゼット/リトルエポニーヌ
        ・ブロードウェイミュージカル「ピーターパン」マイケル
        ・ミュージカル「アンナ・カレーニナ」セリョージャ
        ・ミュージカル「南太平洋」ガーナ

        声優 清水 詩音(Shion Shimizu)さんの公式プロフィールより
        https://www.horipro-international.com/artist/voiceactor/post-1564/


        アニメ「くまのがっこう がんばれ!ルルロロ」のルル役や、「思い出のマーニー」のマーニー(7歳)、「メリダとおそろしの森」幼少時代メリダ役など、数々の作品で活躍中の若手実力派声優です。

        透き通るような可愛らしい声で、ちょっぴり危ういガンマミィの魅力を最大限に引き出してくれそうですね!

        3Dモデル&ボイス制作のためのクラウドファンディングがスタート!

        ガンマミィは、デルタもんと同じく、BlendAI利用規約に従えば誰でも自由に利用や二次創作が可能です。

        現在、ガンマミィの3Dモデルと音声を制作し、会話アプリ「CotoVerse」に実装するためのクラウドファンディングが実施されています。

        今回のクラウドファンディングのリターンの中には、清水詩音さんの限定ボイスデータ直筆サイン色紙や、ガンマミィの限定グッズや、イラストリクエスト権、キャラクターデザインを担当された あるふぁさんによる世界に1枚だけの複製原画といったリターンも用意されているので、ファンの方必見です!

        クラウドファンディングページへのリンク
        https://j.aicu.ai/Gammamy0921

        AIキャラクターを開発するBlendAIとガンマミィの今後の展開

        BlendAIは、ガンマミィの3Dモデルと音声を完成させ、2024年中に会話アプリ「CotoVerse」に実装、リリースする予定です。
        2025年にはグローバル展開も視野に入れているとのこと。

        今後の展開として、ガンマミィの設定や詳細な情報も段階的に公開されていく予定です。

        AIとクリエイティブの力で、ますます広がりを見せるBlendAI アルファパラダイスプロジェクト
        ガンマミィの登場で、デルタもんとの「絡み」が作りやすくなりますね!
        さらに多くのユーザーがAIキャラクターの魅力に触れる機会が増えることでしょう。

        AICUもガンマミィを全力応援!
        イラストコンテストを開催します

        クリエイティブAI時代に「つくる人をつくる」AICU mediaも、ガンマミィの誕生を記念して、イラストコンテストを開催します!

        「AICU x BlendAIガンマミィ誕生記念イラストコンテスト」

        【募集テーマ】
        「ガンマミィ」のキャラクター誕生記念して、みなさんにガンマミィを知ってもらう作品をX(Twitter)上で募集します。

        【応募部門:フリースタイル部門】

        「ガンマミィ」を伝えるイラストコンテストですが、フォーマットは指定しません!静止画のイラストレーションを中心に、漫画、動画、デルタもんとのコラボなど、静止画のイラストレーションの中で「1枚でもAIが使われていれば可能とします。基本的なルールはBlendAI規約に従ってください。

        https://blendai.jp/contents

        【開催期間】

        • 告知開始:2024年9月21日(土)
        • エントリー期間:2024年9月25日(水)~2024年10月10日(水)23:59
        • 審査期間:2024年10月11日(木)~2024年10月13日(土)
        • 結果発表:2024年10月16日(火) AICU media公式noteにて発表予定

        【審査基準】

        • 作品数:期間中、たくさん作品を作った方ほど高評価!
        • クオリティ
        • 発想力
        • ガンマミィの魅力が表現されているか
        • 指定ハッシュタグ「#ガンマミィ #Gammamy  #AICUxBlendAIガンマミィ誕生記念イラストコンテスト」を入れたXでの期間中のポストであること
        • エントリーフォームによる参加同意をすること

        【賞】

        • まいにち投稿達成賞: 2024年9月21日以降、10日連続投稿した10名様に賞状画像とNFT認定証をプレゼント!(詳細は別途解説予定)
          • 10作品を9/21~10/10期間の別日に投稿すれば、厳密に10日連続でなくてもOK!
        • ベストバズ賞: エントリー作品の中でX(Twitter)でもっともリポストされた投稿にAmazonギフト券5000円分をプレゼント!(自己申告+事務局による不正監査あり)
        • AICU賞: AICU media編集部の人力選出により、「つくる人をつくる」を刺激する、もっとも素晴らしい作品にAmazonギフト券1万円分をプレゼント!また入選作品はAICU mediaで作品紹介企画を準備中です。
        • BlendAI賞: 「ガンマミィ」の魅力を最も輝かせた作品に、クラウドファンディング関連グッズをプレゼント!

        【応募方法】

        • 詳細は近日公開予定! AICU公式X(Twitter)(@AICUai)をフォローして腕を磨いてガンマミィを研究して続報をお待ちください!

        編集長しらいはかせも挑戦中とか…!?

        AICUマガジンでは、わらさん(@wara_hirono/)によるデルタもんが登場する連載漫画の掲載も予定されています。

        さあ、あなたもAI技術を駆使して、ガンマミィの魅力を爆発させよう!

        #ガンマミィ #デルタもん #AIキャラクター #BlendAI #AICU #CotoVerse #イラストコンテスト #Gammamy
        #AICUxBlendAIガンマミィ誕生記念イラストコンテスト

        関連情報

        Originally published at https://note.com on Sept 21, 2024.

      1. [ComfyMaster20] ComfyUIの高度インペイント技術で自然な髪型変更を実現!

        「髪型を変えてみたい」と一度は思ったことがあるでしょう。そんな願望を叶えてこそが、画像生成AI技術です。従来のインペイント処理では、髪型の変更など精密な修正は難しいと感じたことがあるかもしれません。しかし、今回はその限界を突破します!付録としてComfyUIワークフローと男性ヘアカタログプロンプト集もつけちゃいます!

        こんにちわ、AICU media編集部です。
        ComfyUI マスターガイド」も、ついに第20回目になります。
        以前にimage-to-image (i2i) でのインペイントについて説明しました。

        今回は、i2iでのインペイントをさらに掘り下げて、基本的なインペイントワークフローでは実現できなかった高精度のインペイントを行う方法を解説します。

        i2i編の初回はこちら

          1. 今回の目的

          今回は、i2i(image-to-image)で人物の髪形を変更します。以前の記事で説明したインペイントは、ComfyUI公式が配布しているのインペイントのサンプルワークフローに従った、基本的なインペイント処理でした。そのため、効果的なインペイントが難しい状態でした。今回は、より効果的なインペイントを実施します。

          具体的には、InpaintModelConditioningノードを使用します。InpaintModelConditioningノードは、効果的なインペイントをするための前処理を行います。理論的な解説も伴った中級者向け記事です!

          2. InpaintModelConditioningノードの解説

          InpaintModelConditioningノードは、画像補完のために必要な「条件付け」と呼ばれる情報を管理し、補完結果を自然に仕上げるために使われる重要な技術です。具体的には、欠損部分の補完に使う画像データや、その部分がどこなのかを示すマスクデータを取り扱い、モデルが適切に補完できるようにガイドします。

          条件付け(Conditioning)とは?

          まず「条件付け」とは、画像補完を行う際にモデルがどのように動作すべきかを決めるための「指示書」のようなものです。条件付けは、モデルに「こういう結果にしてほしい」というガイドラインを提供します。

          画像

          例えば、以下のような状況を考えます。

          • Positive(ポジティブ)条件付け: 補完したい特徴やスタイルを指定するもの
          • Negative(ネガティブ)条件付け: 生成したくない特徴を避けるためのもの

          このような条件付けがあることで、モデルは「この部分はこう補完して、こういう風にはしないでね」という具体的な方向性を得ることができます。

          InpaintModelConditioningの動作の流れ

          画像

          InpaintModelConditioningノードの動作は以下のようなステップで進みます。

          1. 画像サイズの調整: 画像が正しく補完されるためには、特定のサイズ(8の倍数など)に合わせる必要があります。画像のサイズを調整することで、モデルが効率的に処理できるようにします。
          2. マスクのリサイズと滑らか化: 補完対象の部分を示すマスクは、画像と同じサイズでなければいけません。このため、マスクのサイズを画像に合わせてリサイズします。さらに、リサイズ時に境界を滑らかにする処理を加えることで、補完部分と元の画像とのつながりを自然に見せます。これにより、補完がなめらかに行われ、境界が目立ちにくくなります。
          3. 条件付けデータの更新: ポジティブ条件付けやネガティブ条件付けに、画像の潜在表現(補完の基になるデータ)とマスクを追加します。これによって、補完される部分の情報が条件付けに含まれ、モデルは「ここをこんな風に補完すればいいんだな」と理解できるようになります。
          4. 補完処理の実行: 更新された条件付けに基づいて、画像の欠損部分が自然に補完されます。例えば、背景に合わせて欠損部分が塗りつぶされたり、オブジェクトが滑らかに修復されたりします。

          マスクの滑らかさが重要な理由

          補完の際に、マスク(補完するべき場所を示すデータ)の境界が滑らかであることはとても重要です。なぜなら、境界が滑らかであれば、補完された部分が元の画像と自然に繋がるからです。マスクの境界がシャープだと、補完部分が目立ちやすくなり、不自然に見えることがあります。滑らかなマスクを使うことで、補完処理が画像全体にシームレスに溶け込み、違和感のない仕上がりが得られます

          画像

          ハードエッジなマスク画像の例

          画像

          ソフトなマスク画像の例

          画像

          特に透明体や反射、髪の毛の境界などはハードエッジにすると違和感が強く出ます。

          なぜ条件付けデータの更新が重要なのか?

          条件付けデータの更新は、補完処理を正確かつ自然に行うために非常に重要です。この更新が行われることで、モデルは最新の画像情報に基づいて適切な補完を実行できるようになります。更新された条件付けデータには、補完したい部分の最新の潜在表現とマスク情報が含まれており、これがモデルに対して「ここをどのように補完するべきか」という具体的な指示を与えます。潜在表現は画像全体の特徴やスタイルを反映しているため、補完部分が元の画像と自然に調和することを可能にします。また、マスク情報が更新されることで、モデルは補完するべき領域を正確に把握し、不要な部分への影響を最小限に抑えることができます

          画像

          さらに、ポジティブ条件付けとネガティブ条件付けが最新の状態になることにより、補完結果のコントロールがより精密になります。ポジティブ条件付けは「こうしたい」というモデルの生成方向を示し、ネガティブ条件付けは「こうはしたくない」という制約を与えることで、補完の質を高めます。このプロセスにより、モデルは適切な領域に集中し、画像全体の統一感を維持しながら補完処理を行うことができます。結果的に、条件付けデータの更新が、補完された部分を滑らかで自然なものにし、全体のビジュアル品質を向上させるのです。

          3. 使用するモデルと素材

          モデル

          今回は、モデルにRealVisXL V5.0を利用します。名称の通り、実写系を得意とするモデルで、商用利用可能(画像の販売、サービスへの組み込み可能)になります。このモデルを以下のリンクよりダウンロードし、「ComfyUI/models/checkpoints」フォルダに格納してください。

          https://civitai.com/models/139562/realvisxl-v50?modelVersionId=789646

          変換元画像

          変換元画像には、以下の男性の写真を使用します(画像生成)。

          画像

          画像ファイルは、以下よりダウンロードください。

          https://note.com/api/v2/attachments/download/8212aaeaa246b1840de3430c81f9d3c7

          4. ワークフロー解説

          ワークフローの全体像は以下になります。基本的には標準ワークフローと同等ですが、変更点としては、Load Imageノードでの参照元画像の読み込みと、それをInpaintModelConditioningノードで前処理とLATENTへの変換を行い、KSamplerノードのlatent_image入力に接続する箇所が追加になっています。

          画像

          ワークフローは文末よりダウンロードください。
          処理の流れを以下のようにフローチャート化しました。

          画像

          以下に、各ステップとその役割を詳しく説明します。
          Mask Editorでのマスク作成方法をご存じない方は、まず以前の解説をご参照覧ください。

          1. 入力処理 (LoadImage ノード)
            • 入力画像とマスクを読み込みます。
            • マスクの作成は、ComfyUIのMask Editorで行なっています。
              髪の毛部分にマスクを施します。
          1. モデルの読み込み (CheckpointLoaderSimple ノード)
            • 「sd_xl_base_1.0.safetensors」モデルを読み込みます。これはStable Diffusion XLモデルで、高品質な画像生成が可能です。
          2. プロンプト処理 (CLIPTextEncode ノード x2)
            • ポジティブプロンプト: “1boy, solo, young man with afro, male k-pop idol, lovingly looking camera, medium portrait soft light, chop, beautiful model, oval face, vivid
              • 髪型をアフロにしたいので、プロンプトに「afro」を追加しています。
            • ネガティブプロンプト: “bad hand,bad anatomy,worst quality,ai generated images,low quality,average quality, nsfw, nude, naked
          3. インペインティング準備 (InpaintModelConditioning ノード)
            • 入力画像、マスク、VAE、およびプロンプトの条件付けを組み合わせて、インペインティングのための特殊な潜在表現を作成します。
            • このステップがこのワークフローの核心部分で、マスクされた領域に対して効果的なインペインティングを可能にします。
          4. 画像生成 (KSampler ノード)
            • インペインティング用に調整された潜在表現と条件付けを使用して新しい画像を生成します。
            • パラメータ:
              • Seed: 819339385672759 (再現性のため)
              • Steps: 20 (生成のステップ数)
              • CFG Scale: 7 (プロンプトの影響力)
              • Sampler: dpmpp_2m (高品質なサンプリング方法)
              • Scheduler: karras (改良されたスケジューリング)
          5. 画像のデコード (VAEDecode ノード)
            • 生成された潜在表現を実際の画像にデコードします。
          6. 画像の保存 (SaveImage ノード)
            • 最終的に生成された画像を保存します。

          このワークフローは、元の画像の構造を保持しながら、指定された領域を新しいプロンプトに基づいて変更する高度なインペインティングを実行します。結果として、元の画像の特定部分が自然に変更された、高品質な画像が生成されることが期待されます。

          5. インペイントの実行

          それでは、インペイントを実行し、髪型をアフロに変えてみたいと思います。マスクは、以下のようにアフロのサイズも考えて広く作成しています。

          マスクを塗る際のコツ

          画像

          こんな感じに塗っていきます(白で表現)。髪色も変えたいので、もっと生え際も塗ってしまってかまいません。

          画像

          塗り残しを防ぐためにも、黒髪に黒はおすすめしません。

          画像

          目尻に髪がかかったり、額が出たりでなかったりは、つくる髪型にも寄りますが、実験したい場合はまずは大きく塗っていきましょう。

          画像

          マスクが甘いと、このような結果になります。

          画像

          一見いいかんじなのですが、目尻やもともと画像にあった髪が残ってしまって居ます。

          以下が正しくマスクを設定した場合の実行結果です。しっかり画像のコンテクストを理解してインペイント処理がされています。

          画像

          なお、これを以前の記事で説明した基本的なインペイント処理だけで行うと、以下のように崩れてしまいます。インペイントのための前処理と条件設定「InpaintModelConditioning」の重要性を強く感じられます。

          画像

          ポジティブプロンプトの「afro」の箇所を他の髪形に変えて生成してみました。みなさんも好きな画像をインペイントして遊んでみてください。

          画像

          男性ヘアカタログ的なプロンプトは文末にて!

          6. まとめ

          InpaintModelConditioningノードを使用することで、従来のインペイントの課題を克服し、より自然で精密な補完が可能になります。髪型の変更のような細かい修正も、適切な条件付けと最新のモデルを活用することで、まるで本物のような仕上がりが実現できます。これまでのインペイントで満足できなかった方も、ぜひ今回紹介したワークフローを試してみてください。AIの力で画像編集の可能性がさらに広がることを、実感できるはずです。

          次回は、i2iでイラストを実写にする方法を紹介します。乞うご期待!
          X(Twitter)@AICUai もフォローよろしくお願いいたします!

          画像生成AI「ComfyUI」マスターPlan

          画像生成AI「Stable Diffusion」特に「ComfyUI」を中心としたプロ向け映像制作・次世代の画像生成を学びたい方に向けたプランです。最新・実用的な記事を優先して、ゼロから学ぶ「ComfyUI」マガジンからまとめて購読できます。 メンバーシップ掲示板を使った質問も歓迎です。

          • メンバー限定の会員証が発行されます
          • 活動期間に応じたバッジを表示
          • メンバー限定掲示板を閲覧できます
          • メンバー特典記事を閲覧できます
          • メンバー特典マガジンを閲覧できます
          • 動画資料やworkflowといった資料への優先アクセスも予定

          ゼロから学ぶ「ComfyUI」マガジン

          https://note.com/aicu/m/md2f2e57c0f3c

          マガジン単体の販売は1件あたり500円を予定しております。
          2件以上読むのであればメンバーシップ参加のほうがお得です!というのもメンバーシップ参加者にはもれなく「AICU Creator Union」へのDiscordリンクをお伝えし、メンバーオンリー掲示板の利用が可能になります。

          https://note.com/aicu/membership/boards/61ab0aa9374e/posts/db2f06cd3487?from=self

          もちろん、初月は無料でお試しいただけます!
          毎日新鮮で確かな情報が配信されるAICUメンバーシップ。
          退会率はとても低く、みなさまにご満足いただいております。
          ✨️オトクなメンバーシップについての詳細はこちら

          #InpaintModelConditioning

          付録:男性ヘアカタログプロンプト集


          この記事の続きはこちらから https://note.com/aicu/n/n03423675c02c

          Originally published at https://note.com on Sept 20, 2024.

        1. [ComfyMaster19]「XY Plot」で実験結果を比較! 

          プロンプトの違いを確認するために、毎回プロンプトを書き換えて生成するのは面倒ですよね。
          これ、「XY Plot」を使うと、一括で確認できます!

          こんにちわ、AICU media編集部です。
          ComfyUI マスターガイド」第19回目になります。
          本記事では、カスタムノード「Efficiency Nodes for ComfyUI」「XY Plot」ノードを使い、プロンプトの動的置換と生成結果の変化をマトリクス形式で表示させる方法を解説します。

          前回はこちら

            1. 使用したカスタムノード

            今回は、「Efficiency Nodes for ComfyUI」というカスタムノードを使用します。「Efficiency Nodes for ComfyUI」は、ComfyUIのワークフローを効率化し、ノードの総数を減らすために開発されたカスタムノードのコレクションです。これにより、画像生成や編集プロセスがよりシンプルかつ効果的になります。

            https://cdn.iframe.ly/pZOur17?v=1&app=1

            このカスタムノードに含まれる「XY Plot」を使用して、パラメータによる生成結果の変化を一括で確認したいと思います。「XY Plot」は、パラメータを指定してグリッド上にプロットするノードで、生成結果の比較が容易になります。

            2. Efficiency Nodes for ComfyUIのインストール

            • メニューの「Manager」をクリックし、「ComfyUI Manager Menu」を開きます。
            画像
            • 「Custom Nodes Manager」をクリックします。
            画像
            • 上部の検索バーに「Efficiency Nodes for ComfyUI」と入力し、表示されたカスタムノードの「Install」をクリックします。
            画像
            • インストールが完了すると、再起動が求められるので、「Restart」をクリックします。
            画像
            • トップ画面に戻るので、メニューの「Refresh」をクリックします。
            画像
            • 再度「Custom Nodes Manager」画面を開き、上部の検索バーで「Efficiency Nodes for ComfyUI」を検索します。以下の画像のように表示されていれば、インストールが完了しています。
            画像

            3. 使用ノード解説

            Eff. Loader SDXL

            Eff. Loader SDXLは、「Load Checkpoint」「CLIP Text Encode (Prompt)」ノードを1つにまとめて使いやすくしたノードです。以下のような特徴を持ちます。

            • モデルのロードとキャッシュ: Checkpoint、VAE、およびLoRAタイプのモデルをロードおよびキャッシュすることができます。キャッシュ設定はnode_settings.jsonファイルで管理されます。
            • LoRA & Control Netスタックの適用: lora_stackおよびcnet_stack入力を介して、LoRAおよびControl Netスタックを適用することができます。これにより、複数のLoRAやControl Netモデルを一括で管理し、適用することが可能です。
            • プロンプト入力ボックス: ポジティブおよびネガティブプロンプトのテキストボックスが付属しており、プロンプトのエンコード方法をtoken_normalizationおよびweight_interpretationウィジェットを使用して設定することができます。
            • XY Plotノードとの連携: 「DEPENDENCIES」出力を「XY Plot」ノードに接続することで、XY Plotノードを用いた、パラメータごとの生成結果を一括で確認することができます。
            画像

            各ウィジェットの用途は以下のとおりです。

            • base_ckpt_name: 生成に使用するモデルを設定します。
            • base_clip_skip: ベースCLIPモデルでスキップするレイヤーの数を決定します。CLIP Skipは、入力したプロンプト(呪文)をどれだけ正確に画像に反映させるかを制御する指標です。CLIPのレイヤーは12層となっているため、1から12までの整数値で設定でき、値が小さいほどプロンプトを忠実に反映し、大きいほどプロンプトから離れた解釈をする傾向があります。SDXLの場合、CLIP Skipの効果は低いと言われています。
            • refiner_ckpt_name: リファイナーチェックポイントの名前を指定します。ベースモデルによって生成された出力を強化し、詳細と品質を向上させます。
            • refiner_clip_skip: リファイナーCLIPモデルでスキップするレイヤーの数を決定します。デフォルト値は0です。
            • vae_name: 使用する変分オートエンコーダ(VAE)の名前を指定します。VAEは画像生成プロセスで重要な役割を果たし、画像のエンコードとデコードを行います。VAEが含まれているモデルの場合、「Baked VAE」を選択することで、モデルのVAEを使用できます。
            • positive: ポジティブプロンプトを入力します。
            • negative: ネガティブプロンプトを入力します。
            • token_normalization: プロンプトにトークン正規化を適用するかどうかを決定します。トークン正規化は入力テキストの標準化に役立ち、モデルの理解と性能を向上させる可能性があります。設定値は以下のとおりです。
              • none(変更なし): このオプションでは、トークンの重みは変更されません。つまり、モデルが各トークンに割り当てる重みをそのまま使用します。重みの調整が不要な場合や、他の要因でトークンの影響を管理したい場合に使います。
                • 例:テキスト「beautiful cat」が入力され、トークン「beautiful」には重み1.2、「cat」には重み1.0が割り当てられたとします。この設定では、トークンの重みはそのままで、各単語が入力された通りの影響を持ちます。つまり、「beautiful」が「cat」よりも少し強調されます。
              • mean(平均調整): すべてのトークンの重みをシフトさせ、意味のあるトークンの平均が1になるように調整します。たとえば、入力テキストにいくつかの単語が含まれており、それぞれのトークンに異なる重みが付与されていた場合、この設定は全体のバランスを取って、過剰に重みが偏ることを防ぎます。これにより、特定のトークンが他のトークンより過剰に強調されることがなくなります。
                • 例:テキスト「beautiful cat」を入力し、トークン「beautiful」に重み1.2、「cat」に重み1.0が割り当てられた場合、この設定では、トークンの重みがシフトされて、全体の重みの平均が1になるように調整されます。例えば、結果として「beautiful」の重みが1.1、「cat」の重みが0.9になるかもしれません。これにより、全体のバランスが取れ、過度な強調が防がれます。
              • length(長さに基づく調整): 長い単語や埋め込みに関連するトークンの重みを、その長さに応じて均等に分割します。この分割は、異なる長さのトークンに対しても重みの大きさを一定に保つために行われます。
                • 例:テキスト「transformation」をトークン化したときに、単語が3つのトークン(「trans」「for」「mation」)に分割され、それぞれに重み1.5が割り当てられたとします。この設定では、単語全体の重みが均等に分配され、各トークンの重みは1.29になります(具体的には sqrt(3 * pow(0.35, 2)) = 0.5 に基づきます)。長い単語でも重みのバランスが保たれ、他の単語と比較して過剰に強調されることがありません。
              • length+mean(長さと平均の組み合わせ): この設定では、まずトークンの長さに基づいて重みを分割し、その後、重みの平均を1にシフトします。長い単語が過剰に強調されることを防ぎつつ、全体のバランスも調整するという、2つの手法を組み合わせた方法です。これは、長い単語がテキストの意味に不均衡な影響を与えないようにするのに役立ちます。
                • 例:テキスト「beautiful transformation」で、「beautiful」に重み1.2、「transformation」に重み1.5が割り当てられたとします。この設定では、まず「transformation」の重みを3つのトークン間で分割し(各トークンの重みは1.29)、その後、全体のトークンの重みの平均を1にシフトします。これにより、全体のバランスがさらに調整されます。
            • weight_interpretation: この設定は、特定のトークンや単語に割り当てられた重みをどのように処理するか、特に「重みを増加させる(up-weight)」または「減少させる(down-weight)」ときにどのようなアプローチを取るかを制御します。設定値は以下のとおりです。
              • comfy(ComfyUIのデフォルト): デフォルト設定です。この方法では、CLIPベクトルがプロンプト(入力テキスト)と空のプロンプト(何もない状態)との間で線形補間されます。つまり、プロンプトの重みを「0から100%」の間で調整することが可能です。このため、特定の単語やトークンの重要性を調整したい場合に柔軟に対応できます。
                • 例:テキスト「beautiful cat」で、「beautiful」に重み1.5を割り当てたとします。この設定では、「beautiful」と「完全に空のプロンプト」の間で線形補間されます。結果として、「beautiful」がやや強調されつつも、完全に突出しないように調整されます。これは「beautiful」が一定以上強調される一方で、「cat」の影響も保持されます。
              • A1111: このオプションでは、CLIPベクトルがその重みに基づいてスケーリングされます。具体的には、トークンに与えられた重みが大きくなるほど、そのトークンがテキスト全体に与える影響も大きくなります。たとえば、重みを2倍に設定した場合、そのトークンは通常の2倍の強調度で扱われます。逆に、重みを0.5倍にすると、影響度は半分になります。
                • 例:テキスト「beautiful cat」に対し、「beautiful」の重みを2倍に設定すると、この設定では「beautiful」の重みが2倍にスケーリングされます。つまり、「beautiful」の影響が「cat」の2倍になるため、「beautiful」がかなり強調されます。逆に、重みを0.5に設定すると、「beautiful」の影響が半減し、「cat」とのバランスが取られる形になります。
              • compel: compel方式の重み付けは、ComfyUIと似ていますが、特定の条件下で異なる動作をします。特に、down-weight(重みを下げる)場合に、マスクされた埋め込みを使用してトークンの影響を減らします。これは、トークンの影響を完全に無視するのではなく、段階的にその影響を減らす手法です。上方の重み付け(up-weight)はComfyと同じように扱われます。
                • 例:テキスト「beautiful cat」で「beautiful」に重み2.0、「cat」に重み0.5を割り当てたとします。この設定では、compelは上方の重み付けをcomfyと同じように処理しますが、「cat」のダウンウェイトはマスクされた埋め込みを使って実行されます。つまり、「cat」の影響は完全に消えるのではなく、少しずつ減少します。この手法は、特定の単語を完全に無視せず、少し影響を残すという意味で微調整が可能です。
              • comfy++: 上方の重み付けでは、単語がプロンプトと、その単語がマスクされたプロンプトの間で線形補間されます。つまり、ある単語の影響を徐々に消していくという動作です。また、compelスタイルのダウンウェイトも採用されており、特定の単語の影響を段階的に減少させることができます。この方法は、細かい調整が必要な場面で有効です。
                • 例:テキスト「beautiful cat」で「beautiful」に重み2.0を設定し、comfy++を使用します。この場合、「beautiful」はプロンプトと「beautiful」がマスクされたプロンプトの間で線形補間されます。つまり、「beautiful」の影響を少し抑えつつも、完全に無視するわけではありません。また、ダウンウェイトはcompel方式と同様に行われます。
              • down_weight: 最大の重みが「1」になるように重みを再スケーリングします。つまり、常にdown-weight(重みの減少)操作しか行いません。この方式では、特定のトークンが他のトークンに比べて過度に強調されることはありません。compelスタイルのダウンウェイトを使用するため、徐々に重みが減少していく過程でトークンの影響が最小化されます。
                • 例:テキスト「beautiful cat」で「beautiful」に重み1.5、「cat」に重み1.0が割り当てられたとします。この設定では、最大重みを1にスケーリングするため、「beautiful」の重みが1に再スケーリングされます。結果として、「beautiful」と「cat」のバランスが取れ、過度に強調されることがなくなります。常にダウンウェイトのみが行われるため、重みが1以上になることはありません。
            • empty_latent_width / empty_latent_height: 空の潜在空間の幅と高さを設定します。潜在空間の次元は、生成される画像の解像度とアスペクト比を定義するために重要です。
            • batch_size: 一度に生成される画像の数を指定します。バッチサイズが大きいほど処理時間が短縮されますが、より多くの計算リソースが必要です。
            • lora_stack / cnet_stack: LoRAモデルやControlNetモデルのスタックを指定できます。これらはベースモデルを微調整し、特定のスタイルや特徴を追加するために使用されます。

            KSampler SDXL (Eff.)

            「KSampler SDXL (Eff.)」ノードは、「KSampler」ノードに以下のような便利な機能を加えた拡張ノードになります。

            • ライブプレビューで生成を確認したり、VAEで画像をデコードする機能を備えています。
            • シードをより明確に管理できる特別なシードボックスを搭載しています。(選択されたシードの動作を適用するために-1のシードを使用)
            • XYプロットスクリプトなど、さまざまなスクリプトを実行できます。スクリプトを有効化するには、入力接続を接続するだけです。

            各ウィジェットの用途は以下になります。

            • noise_seed: シード値を設定します。シード値は、直接入力の他に、「Randomize / Last Queued Seed」ボタンをクリックすることで、-1と最後の生成に使用されたシード値を切り替えることが可能です。
            画像
            • steps: サンプリングのステップ数を指定します。値が大きいほど高品質な画像が生成されますが、処理時間も長くなります。
            • cfg: Classifier-Free Guidanceのスケールを制御します。値が高いほど、プロンプトに忠実な画像が生成されます。
            • sampler_name: 使用するサンプリングアルゴリズムを選択します。初期値はeulerになります。
            • scheduler: サンプリングプロセスのスケジューリング戦略を指定します。初期値はnormalになります。
            • start_at_step: サンプリングを開始するステップを指定します。部分的なサンプリングや既存画像の改良に使用できます。
            • refine_at_step: リファイナーモデルに切り替えるステップを指定します。-1に設定するとリファイナーは無効になります。
            • preview_method: 生成中の画像のプレビュー方法を指定します。
              • auto: システムが最適なプレビュー方法を自動的に選択します。通常は最も効率的なオプションです。
              • latent2rgb: 潜在空間の画像を直接RGBに変換してプレビューします。高速ですが、品質は低くなります。
              • taesd: Tiny AutoEncoder for Stable Diffusionを使用してプレビューを生成します。品質と速度のバランスが取れています。
              • none: プレビューを生成しません。最も高速ですが、進捗を視覚的に確認できません。
            • vae_decode: VAE(Variational Autoencoder)を使用して潜在画像を最終出力画像にデコードするかどうかを制御します。
              • true: 標準的なVAEデコードを実行します。
              • true (tiled): タイル化されたVAEデコードを実行します。大きな画像や高解像度画像に適しています。
              • false: VAEデコードを実行せず、潜在画像のままにします。この時、出力「IMAGE」は機能しないため、ノードを接続しているとエラーになります。
              • output only: 最終結果のみをVAEデコードします。中間ステップはデコードしません。
              • output only (tiled): 最終結果のみをタイル化されたVAEデコードで処理します。

            XY Plot

            「XY Plot」ノードは、特定のウィジェットの値やプロンプトなどを指定の条件で変化させ、その変化をX/Y軸に一度に表示するために使用するノードです。XY Plotノードの特徴は以下になります。

            • 2次元グリッド形式での表示: X軸とY軸に異なるパラメータを設定し、それらの組み合わせによる画像生成結果を2次元グリッドで表示します。
            • 多様なパラメータ比較: CFG、シード値、チェックポイント、LoRA強度など、様々なパラメータを比較できます。
            • スクリプト生成: XY Plotノードは内部的にスクリプトを生成し、KSampler (Efficient)ノードと連携して動作します。
            画像

            各ウィジェットの用途は以下になります。

            • grid_spacing: グリッド間のスペースを設定します。
            画像
            • XY_flip: X軸とY軸を入れ替えるオプションです。
            画像
            • Y_label_orientation: Y軸のラベルの向きを設定します。
            画像
            • cache_models: モデルをキャッシュするかどうかを設定します。
            • ksampler_output_image: KSamplerの出力画像の形式を指定します。「Images」の場合、プロットされた1枚ずつの画像が出力されます。「Plot」の場合、1枚に全ての生成画像がプロットされた画像が出力されます。
            画像

            XY Input: Prompt S/R

            「XY Input: Prompt S/R」ノードは、XY Inputノードの入力「X」「Y」に接続し、プロンプトを制御するノードです。search_txtで指定した文字列をreplace_1, replace_2…で指定した文字列に次々と置換しながら生成を行います。

            画像

            各ウィジェットの用途は以下になります。

            • target_prompt: 置換対象のプロンプトをポジティブ、ネガティブから選択します。
            • search_txt: 置換対象の文字列を指定します。例えば、「1girl, portrait」というプロンプトがある場合、「portrait」をsearch_txtに設定することで、次のウィジェット「replace_1」「replace_2」…の文字列に「portrait」を置換します。
            • replace_count: 置換する回数を設定します。この回数を増減させることで、「replace_x」の入力欄が増減します。
            • replace_x: 置換元の文字列を設定します。

            4. ワークフロー

            ワークフローの全体像は以下になります。

            画像

            ワークフローは、文末で配布しています。

            プロンプトと置換元文字列の設定

            ポジティブプロンプト、ネガティブプロンプトには、以下を設定しました。

            // ポジティブプロンプト
            best quality, 1girl, solo, long_hair, smile, casual dress, very_long_hair, blonde_hair, standing relaxed, portrait,

            // ネガティブプロンプト text, watermark,

            置換元文字列は、X軸に「portrait」の置換として、「full body」「from side」「from behind」、Y軸に「standing relaxed」の置換として、「crossing arms」「hands on hips」「raising one hand」を設定しています。

            5. 実行結果を確認する

            それでは、メニューの「Queue Prompt」をクリックして、ワークフローを実行してみましょう。以下が生成結果になります。X軸、Y軸でプロンプトによる生成結果の違いを一目で確認できます。

            画像

            今回は、プロンプトの比較をしてみましたが、これ以外にも「XY Input: CFG Scale」ノードや「XY Input: Steps」ノードなど、プロットに使えるノードがあるので、これらのノードを使ってウィジェットの変化を確認してみてください。

            次回は、ComfyUIをAPI化する方法を紹介します。乞うご期待!

            X(Twitter)@AICUai もフォローよろしくお願いいたします!

            画像生成AI「ComfyUI」マスターPlan

            画像生成AI「Stable Diffusion」特に「ComfyUI」を中心としたプロ向け映像制作・次世代の画像生成を学びたい方に向けたプランです。最新・実用的な記事を優先して、ゼロから学ぶ「ComfyUI」マガジンからまとめて購読できます。 メンバーシップ掲示板を使った質問も歓迎です。

            • メンバー限定の会員証が発行されます
            • 活動期間に応じたバッジを表示
            • メンバー限定掲示板を閲覧できます
            • メンバー特典記事を閲覧できます
            • メンバー特典マガジンを閲覧できます
            • 動画資料やworkflowといった資料への優先アクセスも予定

            ゼロから学ぶ「ComfyUI」マガジン

            https://note.com/aicu/m/md2f2e57c0f3c

            マガジン単体の販売は1件あたり500円を予定しております。
            2件以上読むのであればメンバーシップ参加のほうがお得です!というのもメンバーシップ参加者にはもれなく「AICU Creator Union」へのDiscordリンクをお伝えし、メンバーオンリー掲示板の利用が可能になります。

            https://note.com/aicu/membership/boards/61ab0aa9374e/posts/db2f06cd3487?from=self

            もちろん、初月は無料でお試しいただけます!
            毎日新鮮で確かな情報が配信されるAICUメンバーシップ。
            退会率はとても低く、みなさまにご満足いただいております。
            ✨️オトクなメンバーシップについての詳細はこちら

            メンバーシップ向けボーナストラック


            この記事の続きはこちらから https://note.com/aicu/n/ncb1141cab2ae

            Originally published at https://note.com on Sept 19, 2024.

          1. [ComfyMaster18]保存版「ComfyUI-Custom-Scripts」完全マニュアル

            より複雑なワークフローを構築したり、効率的に作業を進めたいと思ったことはありませんか?
            ComfyUI-Custom-Scripts
            は、そんなあなたの悩みを解決する拡張機能です。ワークフローの自動化、ノードの操作性向上、画像管理の効率化など、様々な機能を提供し、ComfyUIをさらに便利に進化させます。

            こんにちわ、AICU media編集部です。
            ComfyUI マスターガイド」第18回目になります。
            本記事では、ComfyUI-Custom-Scriptsのインストールから、豊富な機能、そして活用方法までを詳しく解説していきます。あなたのAIアート制作を、より快適で創造的な体験へと導きます。

            初回はこちら

            前回はこちら

            今回はComfyUI-Custom-Scripts「保存版」完全紹介をめざして頑張ってお送りします。よろしかったらシェアよろしくお願いいたします。

              1. ComfyUI-Custom-Scriptsとは

              ComfyUI-Custom-Scriptsは、ComfyUIの操作性と効率性を向上させるための強力なツールセットです。ワークフローの効率化、プロジェクトの整理、AIアート作成プロセスに新しい機能を追加するためのさまざまなカスタムスクリプトとノードを提供します。これらの機能を活用することで、ワークフローの管理や画像生成プロセスがより直感的かつ効率的になります。
              以下がComfyUI-Custom-ScriptsのGitHubリポジトリになります。

              https://cdn.iframe.ly/xKsLsAo?v=1&app=1

              2. ComfyUI-Custom-Scriptsのインストール

              • メニューの「Manager」をクリックし、「ComfyUI Manager Menu」を開きます。
              • 「Custom Nodes Manager」をクリックします。
              画像
              • 上部の検索バーに「ComfyUI-Custom-Scripts」と入力し、表示されたカスタムノードの「Install」をクリックします。
              画像
              • インストールが完了すると、再起動が求められるので、「Restart」をクリックします。
              画像
              • トップ画面に戻るので、メニューの「Refresh」をクリックします。
              画像
              • 再度「Custom Nodes Manager」画面を開き、上部の検索バーで「ComfyUI-Custom-Scripts」を検索します。以下の画像のように表示されていれば、インストールが完了しています。
              画像

              3. ComfyUI-Custom-Scriptsの設定

              ComfyUI-Custom-Scriptsの各機能の設定は、メニューの歯車ボタンをクリックして表示される設定画面で行うことができます。

              画像

              設定画面の「pysssss」セクション内の設定項目がComfyUI-Custom-Scriptsで追加された設定になります。

              画像

              Image Feed

              Image Feedは、生成した画像の履歴を表示します。初期設定では、下部に配置されています。

              画像

              画像を生成していくと、このようにImage Feedに今までに作成した画像が表示されます。

              画像

              Image Feedに関する設定は、以下の4つがあります。

              画像
              • Image Feed Deduplication: 画像の重複を検出し、重複の場合は再生成を抑制します。この設定では、disabled, enabled(slow), enabled(performance), enabled(max performance)のいずれかの選択肢を選択可能です。重複の検出は、画像の各pixelからハッシュ値を計算し、そのハッシュ値を比較することで行われます。
                • disabled: 重複検出機能が無効化されます。画像が重複していても生成されてしまいます。
                • enabled(slow): 重複検出機能が有効化され、画像スケールが1.0倍でハッシュ値の計算が行われます。高精度の重複検出ですが、処理速度は遅いです。
                • enabled(performance): 重複検出機能が有効化され、画像スケールが0.5倍でハッシュ値の計算が行われます。slowよりも精度が落ちますが、処理速度は速くなります。
                • enabled(max performance): 重複検出機能が有効化され、画像スケールが0.25倍でハッシュ値の計算が行われます。slow, performanceよりも精度は悪いですが、処理速度は速いです。
              • Image Feed Direction: 画像の表示順をnewest first(生成が新しい順), oldest first(生成が古い順)から選択します。
              画像
              • Image Feed Location: Image Feedの配置をleft, top, right, bottom, hiddenから選択します。
              画像
              • Image Feed Max Images: Image Feedに表示する画像の最大数を指定します。例えば、「2」と設定した場合、何度生成してもImage Feedには2枚までしか表示されません。「0」と設定した場合は、表示される画像の枚数は無制限になります。

              Autocomplete

              Autocompleteは、プロンプトの入力時にプロンプトの候補を表示する機能です。例えば、「emb」と入力すれば、「embedding:」という候補を表示してくれます。候補は、「↑」または「↓」キーで選択することができます。

              選択後、TabまたはEnterキーを押すことで選択を確定できます。

              画像

              設定画面には、以下の設定項目があります。

              画像
              • Enabled: Autocomplete機能を有効化します。
              • Loras enabled: 表示される候補にLoRAも含む機能を有効化します。
              • Auto-insert comma: 候補の確定後にカンマを入れるかどうかを決定する設定です。この項目にチェックを入れると、候補の確定後に自動的にカンマが挿入されます。
              • Replace _ with space: 
              • Insert suggestion on: 候補が表示され、選択した後、その選択を確定するキーを設定します。Tabにチェックを入れると、Tabキーで選択を確定できます。Enterにチェックを入れると、Enterキーで選択を確定できます。
              • Max suggestions: 一度に表示する候補の最大数を設定します。
              • Manage Custom Words: 候補に表示されるプロンプトを設定します。「Manage Custom Words」をクリックして表示される画面で、上部の「Load」をクリックします。そうすると、既定のプロンプトが読み込まれまるので、下部の「Save」をクリックすると、プロンプトが保存され、候補に表示されるようになります。
              画像

              Auto Arrange Graph

              ノードを綺麗に配置することができます。

              • まず、配置を修正したいノードと、基点となるノードを選択します。
              画像
              • 基点となるノード上で右クリックをし、表示されたメニューから「Align Selected To」をクリックすると、配置を揃える位置をTop、Bottom、Left、Rightから選択するメニューが表示されます。
              • 各配置位置を選択した結果を以下に示します。
              画像

              Always Snap to Grid

              この機能を有効にすると、ノードの配置がマス目に沿って配置されるようになります。

              画像

              [Testing] “Better” Loader Lists

              ComfyUI-Custom-Scriptsが提供するノード「Checkpoint Loader」「Lora Loader」の使用時に、CheckpointやLoRAの選択でプレビュー画像を表示する機能です。

              画像

              使用するには、Checkpointの場合は「ComfyUI/models/checkpoints」フォルダ、LoRAの場合は「ComfyUI/models/loras」フォルダにCheckpointやLoRAと同名のPNGファイルを配置します。例えば、Checkpointの「sd_xl_base_1.0.safetensors」のプレビュー画像を表示するには、「ComfyUI/models/checkpoints」フォルダに「sd_xl_base_1.0.png」を格納します。

              画像

              Checkpoint/LoRA/Embedding Info

              Checkpoint、LoRA、Embeddingの詳細情報を表示します。Checkpointの場合は、「Load Checkpoint」ノード上で右クリックし、表示されたメニューの「View Checkpoint Info…」を選択します。LoRAの場合は、「Load LoRA」ノード上で右クリックし、表示されたメニューの「View Lora Info…」を選択します。

              画像

              Embeddingの場合は、プロンプトの入力時に表示される候補のインフォメーションボタンをクリックすることで表示させることができます。

              画像

              モデルの詳細は、以下のように表示されます。

              画像

              Custom Colors

              ノードに色をつけることができる機能です。

              画像

              色の付け方は、ノードを右クリックし、表示されたメニューから「Colors」を選択すると、色の選択メニューが表示され、そこから色を選択すると、ノードに色を付けることができます。

              画像

              色の選択で「Custom」を選択すると、色選択のパレットが表示され、ここで好きな色を選択できます。色を選択した後にEnterキーで完了となります。

              画像

              Favicon Status

              ワークフローの実行状態をブラウザのタブに表示されるアイコンで判断することができます。また、ワークフロー実行中のタブに表示される数字は、「Queue size」になります。

              画像

              KSampler (Advanced) denoise helper

              この機能は、「KSampler (Advanced)」ノードの各ウィジェットの値を質問に答えていくことで設定していく機能です。

              • 「KSampler (Advanced)」ノード上で右クリックし、表示されたメニューから「Set Denoise」を選択します。
              • ブラウザの上部にダイアログが表示されます。最初の質問は、「How many steps do you want?(求めるステップ数はいくつですか?)」です。ステップ数を入力し、「OK」をクリックしてください。
              画像
              • 次の質問が表示されます。次の質問は、「How much denoise? (0-1)(denoiseはいくつですか?)」です。設定したいdenoiseの値を0〜1の間で入力してください。
              画像
              • これで各ウィジェットの値が自動で設定されます。
              画像

              Lock Nodes & Groups

              ノードやグループにロックオプションを追加し、ロックを解除するまで移動できないようにします。しかし、現状はグループにしか効果がなく、ノードには適用されないようです。

              • グループ上で右クリックをして、表示されたメニューの「Edit Group」を選択すると、さらに表示されるメニューから「Lock」をクリックします。これでグループがロックされ、移動できなくなります。
              画像
              • アンロックする場合は、同様の操作をしていくと、先程は「Lock」だった項目が「Unlock」になっているので、「Unlock」をクリックすることで可能です。
              画像

              Math Expression

              入力した値を利用して計算を行うカスタムノード「Math Expression」を提供します。以下が「Math Expression」の仕様になります。

              • 入力可能な値: IMAGE、LATENT、INT、FLOAT
              • 使用できる演算子:
                • + : 加算
                • – : 減算
                • * : 乗算
                • / : 除算
                • // : 切り捨て除算
                • ** : 冪乗
                • ^ : 排他的論理和
                • % : 剰余
              • 使用できる関数:
                • floor(num): 小数点以下切り捨て
                • ceil(num): 小数点以下切り上げ
                • randomint(min,max): ランダム値

              例えば、以下のように2つの画像(両方ともwidthが1024px)を読み込み、1つを入力「a」、もう1つを入力「b」に入力します。Math Expressionでは、「a.width + b.width」と入力し、ワークフローを実行すると、2048という結果を出力できます。

              画像

              Node Finder

              ワークフロー内で使用されているノードの検索をサポートする機能です。

              • キャンバス上を右クリックし、表示されたメニューから「Go to node」を選択します。
              • 「Go to node」を選択すると、ワークフロー内で使用されているノードの種類が表示されます。
              • さらにここからノードの種類を選択すると、使用されているノードの一覧が表示され、表示したいノードをクリックすると、そのノードに移動します。
              画像

              Quick Nodes

              特定の標準ノードに対して、接続対象のノードを簡単に追加する機能が提供されています。

              • 例えば、「Load Checkpoint」ノードを右クリックすると、上部に「Add XXX」という項目が複数表示されます。これらをクリックすると、自動で接続先のノードが追加されます。
              画像
              • 以下は「Add LoRA」を選択した結果です。自動で「Load LoRA」ノードが追加および接続されます。
              画像

              Play Sound

              入力をトリガーに音を鳴らすカスタムノード「PlaySound」を提供します。例えば、以下のようにグラフの末端に接続することで、ワークフローの実行が完了した時に音を鳴らすことで、実行完了を通知するために使用できます。

              画像

              「PlaySound」の各ウィジェットの説明は以下になります。

              • 入力「any」: 入力はトリガーにしか使用されないので、どんな値でも入力できます。
              • mode:「always」「on empty queue」から選択できます。
                • always: 入力をトリガーに常に音が鳴ります。
                • on empty queue: queue: キューが空になった時に音がなります。
              • volume: 音のボリュームを0〜1の間で指定します。
              • file: 通知音を指定します。通知音は、「ComfyUI/custom_nodes/ComfyUI-Custom-Scripts/web/js/assets」フォルダに格納することで使用できます。初期通知音として「notify.mp3」がフォルダに格納されています。別の通知音を使用したい場合は、当該フォルダにmp3ファイルを格納し、fileにそのファイル名を指定することで使用できます。
              画像

              System Notification

              入力をトリガーにシステム通知を起こすカスタムノード「System Notification」を提供します。

              画像

              例えば、以下のようにグラフの末端に接続することで、ワークフローの実行が完了した時に通知を出すことで、実行完了を通知するために使用できます。

              画像

              「SystemNotification」の各ウィジェットの説明は以下になります。

              • 入力「any」: 入力はトリガーにしか使用されないので、どんな値でも入力できます。
              • message: システム通知に表示するメッセージを指定します。
              • mode:「always」「on empty queue」から選択できます。
                • always: 入力をトリガーに常に音が鳴ります。
                • on empty queue: queue: キューが空になった時に音がなります。
              画像

              Load Text

              「Load Text」は、テキストファイルを読み込むカスタムノードです。例えば、よく使うプロンプトをテキストファイルで保存しておき、それを読み込み、プロンプトとして使用することが考えられます。

              画像

              「Load Text」の各ウィジェットの用途は以下のとおりです。

              • root_dir: テキストファイルを格納しているフォルダを選択します。
                • input: 「ComfyUI/input」フォルダ
                • output: 「ComfyUI/output」フォルダ
                • temp: 「ComfyUI/temp」フォルダ(ない場合は作成する)
              • file: 読み込むテキストファイルを選択します。
              画像

              Show Text

              「Show Text」は、テキストを表示するカスタムノードです。例えば、前述した「Load Text」を使用した際に、中間に「Show Text」を挟むことで、読み込んだテキストファイルの内容を確認することができます。

              画像

              Show Image on Menu

              メニューの下部に生成画像が表示される機能です。

              画像

              String Function

              「String Function」は、テキストのカンマ区切りでの結合や、正規表現を使った置換などの機能を提供するカスタムノードです。

              「String Function」の各ウィジェットの用途は以下のとおりです。

              • action: append, replaceから選択します。
                • append: text_aのテキストに対して、text_b、text_cのテキストを追加します。
                • replace: text_aのテキストに対して、text_bに記載した条件に一致した箇所をtext_cに置換します。
              • tidy_tags: appendの際に、text_b、text_cのテキストをカンマ区切りで結合します。
              画像

              appendの使い方としては、まず「String Function」text_aを入力に変換し、その入力に対してテキストを接続させ、入力されたテキストに対してtext_btext_cの内容を追加します。

              画像

              replaceの場合は、正規表現を使用することもできます。text_bに入力した正規表現に一致する箇所をtext_cに入力した正規表現で置換します。

              画像

              Widget Defaults

              ノードのウィジェットのデフォルト値を設定することができます。設定画面の「Widget Defaults」「Manage」をクリック後に表示される画面からデフォルト値を設定します。

              画像

              ウィジェットのデフォルト値の管理画面では、Node Class(カスタムノード名)、Widget Name(ウィジェット名)、Default Value(デフォルト値)を設定します。各項目を入力後に「Save」をクリックで登録完了になります。一例として、Node ClassにKSampler、Widget Nameにsteps、Default Valueに30を設定します。

              画像

              以下がデフォルト値を設定した結果です。本来のstepsの初期値は20ですが、30に変更になっていることが確認できます。

              画像

              Workflows

              ワークフローの保存と読み込みを手軽に行える機能があります。ComfyUI-Custom-Scriptsをインストールすると、メニューの「Save」「Load」にプルダウンメニューが追加されます。

              画像

              「Save」のプルダウンメニューを開くと、「Save as」「Save to workflows」が表示されます。「Save as」は、標準の保存機能で、指定した場所にワークフローが保存されます。「Save to workflows」は、保存場所の指定はできず、自動で「ComfyUI/pysssss-workflows」フォルダに指定した名前でワークフローが保存されます。

              画像

              次に「Load」のプルダウンメニューを開きます。このメニューには、「ComfyUI/pysssss-workflows」フォルダに保存されているワークフローが表示されます(要するに「Save to workflows」で保存したワークフローが表示されるということ)。通常の「Load」では、ファイル選択ダイアログが開き、読み込むワークフローを選択しますが、この機能ではプルダウンメニューに表示されたワークフローをクリックするだけで読み込むことができます。

              画像

              設定画面では、メニューの「Load Default」で読み込まれるワークフローを「ComfyUI/pysssss-workflows」フォルダに保存されているワークフローに変更することが可能です。設定画面の「Default Workflow」の選択肢には、「[ComfyUI Default]」「ComfyUI/pysssss-workflows」フォルダ内のワークフローが表示されます。「[ComfyUI Default]」は、ComfyUIの標準のワークフローになります。それ以外の保存したワークフローを選択すると、「Load Default」で読み込まれるワークフローが選択したワークフローになります。

              画像

              Workflow Images

              ワークフローを画像として保存する機能です。以下の記事で解説しているので、詳細は以下の記事をご覧ください。

              Use Number Input Prompt

               設定画面の項目「Use number input on value entry」を有効化すると、ウィジェットの数値入力がスピンボックスで可能になります。

              画像

              ノードの数値タイプのウィジェットをクリックし、値の編集ボックスが開くと、上下のボタンが追加されています。

              画像

              3. まとめ

              ComfyUI-Custom-Scriptsは、ComfyUIの機能を大幅に拡張し、より快適で効率的なAI画像生成を実現する強力なツールです。ノードの自動配置、プロンプトのオートコンプリート、ワークフローの保存・読み込み機能など、様々な機能が提供されています。これらの機能を活用することで、ワークフローの管理、画像生成プロセスの効率化、そして新たな表現の可能性を探求することができます。
              この記事で紹介した機能以外にも、ComfyUI-Custom-Scriptsは常に進化を続けており、新しい機能が追加されています。ぜひComfyUI-Custom-Scriptsを導入し、ComfyUIの可能性を最大限に引き出しましょう。あなたのAIアート制作が、さらに楽しく、創造的なものになることを期待しています。

              次回は、ComfyUIのカスタムノード「XY Plot」の方法を紹介します。乞うご期待!

              X(Twitter)@AICUai もフォローよろしくお願いいたします!

              画像生成AI「ComfyUI」マスターPlan

              画像生成AI「Stable Diffusion」特に「ComfyUI」を中心としたプロ向け映像制作・次世代の画像生成を学びたい方に向けたプランです。最新・実用的な記事を優先して、ゼロから学ぶ「ComfyUI」マガジンからまとめて購読できます。 メンバーシップ掲示板を使った質問も歓迎です。

              • メンバー限定の会員証が発行されます
              • 活動期間に応じたバッジを表示
              • メンバー限定掲示板を閲覧できます
              • メンバー特典記事を閲覧できます
              • メンバー特典マガジンを閲覧できます
              • 動画資料やworkflowといった資料への優先アクセスも予定

              ゼロから学ぶ「ComfyUI」マガジン

              https://note.com/aicu/m/md2f2e57c0f3c

              マガジン単体の販売は1件あたり500円を予定しております。
              2件以上読むのであればメンバーシップ参加のほうがお得です!というのもメンバーシップ参加者にはもれなく「AICU Creator Union」へのDiscordリンクをお伝えし、メンバーオンリー掲示板の利用が可能になります。

              https://note.com/aicu/membership/boards/61ab0aa9374e/posts/db2f06cd3487?from=self

              もちろん、初月は無料でお試しいただけます!
              毎日新鮮で確かな情報が配信されるAICUメンバーシップ。
              退会率はとても低く、みなさまにご満足いただいております。
              ✨️オトクなメンバーシップについての詳細はこちら

              現在イベント実施中!


              この記事の続きはこちらから https://note.com/aicu/n/nb3555a8a64da

              Originally published at https://note.com on Sept 18, 2024.