投稿者: media

  • 【超初心者向け】DreamStudioを無料で試してみよう – 画像生成レッスン

    超初心者向け動画で解説する「画像生成レッスン」。「つくる人をつくる」AICUでは、2022年の夏に始まった画像生成AIのイノベーションを子どもでもわかる言葉で一気に学べる無料動画シリーズを公開しています。
    今回リリースした動画は、DreamStudioとStability AIの開発者向けプラットフォーム「Stability AI API」です。特にDreamStudioを無料で試してみたいと思います。

    DreamStudio https://dreamstudio.ai/

    Stability AI API https://platform.stability.ai/

    Stability AIは画像生成AIの分野で最初に有名になった会社です。

    このプラットフォームでは、Stable Diffusion 3 APIという最先端のAPIが提供されています。APIとは、アプリケーションプログラミングインターフェースの略で、アプリケーションを開発するためのインターフェースです。つまり、画像生成を行うためのインターフェースと考えてください。

    このAPIを使うと、GPU搭載のPCなど高性能なマシンがなくても、高速で高品質な画像生成が可能です。GPU搭載のPCでは数十分かかる画像生成が、わずか数秒で完了するほど高速なのです。

    APIキーの取得

    プラットフォームにアクセスしたら、Googleアカウントでログインします。

    https://platform.stability.ai

    ログインすると、APIキーを取得することができます。初回登録時には、25クレジットが無料で付与されるので、実際に画像生成を試すことができます。購入する場合は10ドルで1000クレジットです。

    APIキーは、Stability AIのアカウント設定から取得できます。

    APIキー取得画面  https://platform.stability.ai/account/keys

    画像

    APIキーは、クリップボードにコピーして保存しておきましょう。このキーを使って、Stability AIのサービスを利用します。

    DreamStudio

    APIキーを取得したら、いよいよDreamStudioにアクセスしてみましょう。DreamStudioは、画像生成AIの初期段階から使用されているアプリケーションです。

    DreamStudio https://dreamstudio.ai/

    最近は Stable Assistant も並列して開発されており、こちらは3日間無料で使用できます。

    DreamStudioでは、Stable Diffusion XL (SDXL) を使って、画像生成を試すことができます。

    利用規約について

    DreamStudioを利用する前に、利用規約をよく読んでおきましょう。特に、無料とはいえ、画像生成の利用規約は、かなり重要です。

    画像
    スクリーンショット:利用規約の翻訳

    https://dreamstudio.ai/terms-of-service

    Stability AIはイギリスの会社なので、ヨーロッパ基準の厳しい規約になっています。特に重要なのが、クリエイティブMLオープンライセンスです。このライセンスは、画像生成の世界では非常に重要なものであり、画像生成AIによって生成された画像の利用方法を定めています。

    禁止されている行為

    利用規約では、以下のような行為が禁止されています。

    • 第三者のプライバシーやパブリシティの権利を侵害すること
    • 犯罪、わいせつ、児童搾取を助長するコンテンツを生成すること
    • 人間の尊厳、人種、民族、宗教、性別の差別や中傷的なコンテンツを生成すること
    • ディープフェイクなどの偽物のコンテンツを生成すること
    • 他人を傷つけたり、迷惑をかけたりするようなコンテンツを生成すること

    許可されている行為

    逆に、利用規約では、以下のような行為が許可されています。

    • 個人的な利用目的での画像生成
    • 商業的な利用目的での画像生成(ただし、利用規約に準拠する必要がある)

    DreamStudioの使い方

    DreamStudioでは、プロンプトを入力することで、画像を生成することができます。プロンプトとは、画像生成AIに指示を与えるためのテキストのことです。

    DreamStudioでは、プロンプトの入力以外にも、スタイルや解像度などを設定することができます。

    プロンプトの例

    ChatGPTを使うことで、1つのプロンプトをもとに、英語でのプロンプトも難なく大量生成できます。

    画像

     # 命令
    Stable Diffusion, DreamStudioで画像生成をします。
    プロンプトを10個作ってください。

    # やりたいこと
    ・先程の課題を引き継いで(別の話題がすでにある場合)
    ・イマジネーションのヒントになるような画像
    ## sample prompt
    Giant redwoods in a misty forest, with towering trees and lush vegetation, peaceful, serene, high detail, forest landscape

    なお、もとのプロンプトはDreamStudioに与えられていた「霧に包まれた森の中の巨大なレッドウッド、そびえ立つ木々と青々とした植物、平和、静寂、ハイディテール、森林風景」というプロンプトです。

    生成されたプロンプトから未来都市を描くことができました。

    画像

    まとめ

    DreamStudioは、2022年からリリースされており、現在でもユーザーが多い無料で試せる画像生成AIのサービスです。SD1.6やSDXLでを使って手軽に画像を生成することができます。利用規約をよく読んで、理解して、安全に楽しく利用しましょう。

    #画像生成レッスン
    #超初心者向け #画像生成AI #生成AIと倫理

    Colosoでフルバージョンが観れます!
    「生成AIクリエイティブ AICU」シリーズ

    ■超入門:Stable Diffusionではじめる画像生成AI

    https://j.aicu.ai/AICUXColosoJP

    Originally published at https://note.com on Oct 7, 2024.

  • 【超入門】Stability AI APIの革新的機能(2)Edit APIの活用

    この記事では、Stability AI APの革新的機能「Edit API」について解説します。

    おさらい:プロンプトの文法

    まずはプロンプトの基礎から始めたい!という場合は、
    合わせてこちらの記事をご覧ください!

    「プロンプトの文法」編で、こんなことがわかる!

    • Stability AI APIとは?
    • Stability AI APIの種類と特徴・構成
    • プロンプトの文法基礎
    • [機能紹介] Generate APIとは?
    • [機能紹介] Generate APIよりUpscale機能のデモ

    前回はEdit APIからInpaintとOutpaintを紹介しました。

    Stability AI APIの種類と特徴・構成

    プロンプトの文法」編でもご紹介したように、Stability AI APIの画像生成系の機能は2024年10月現在、4つの機能に大別されています。

    • 「Generate」:いわゆる「TextToImage」です
      • プロンプト(テキスト)によって画像生成を行う
      • 現在6つのモデルが提供されている
    • 「Upscale」:高解像度化
      • ベースとなる画像を入力し、そこにプロンプト(テキスト)で指示を追加し画像生成を行う
      • 現在{Creative, Conservative}という2つのモデルが提供されている(加えて、Standardがcoming soonとして予告されている)
    • 「Edit」いわゆるImageToImageです
      • ベースとなる画像を入力し、そこにプロンプト(テキスト)で指示を追加し画像再生成を行う
      • 現在{Search and Replace, Inpaint, Outpaint, Remove Background, Erase Object}5つのモデルが提供されている
    • 「Control」こちらも いわゆる ImageToImage です
      • ベースとなる画像を入力し、そこにプロンプト(テキスト)で指示を追加し画像再生成を行う
      • 現在{Sketch, Structure, Style}3つのモデルが提供されている(加えて、 Recolorがcoming soonとして予告されている)

    https://platform.stability.ai

    今回扱うSearch & Replace、Erase、 Search and Recolor、Remove backgroundは、このうちの「Edit API」に当たります。

    Edit APIの6つの機能

    Edit APIのAPIリファレンスはこちらから確認できます。

    https://platform.stability.ai/docs/api-reference#tag/Edit

    公式のAPIリファレンスによると、
    Edit機能は「既存の画像を編集するためのツール」です。

    全部で5つのEdit機能が公開されています。

    • Erase Object
      • 画像マスクを必要とする機能です
      • 画像マスクを使用して、元画像の汚れや、机の上のアイテム等の不要なオブジェクトを削除します
    • Inpaint
      • 画像マスクを必要とする機能です
      • 画像マスクを使用して、指定された領域を新しいコンテンツで埋めたり置き換えたりすることで、画像をインテリジェントに変更します
    • Outpaint
      • 画像に追加のコンテンツを挿入して、任意の方向のスペースを埋めます
      • 画像内のコンテンツを拡大する他の手段と比較して、
        Outpaint機能は、元の画像が編集された違和感を最小限に抑えます
    • Search and Replace
      • 画像マスクを必要としない、特殊なバージョンの修復機能です
      • 画像マスクの代わりに、search_promptに置換対象をテキストで指定します
      • この機能は、search_promptに指定されたオブジェクトを自動的にセグメント化し、promptで要求されたオブジェクトに置き換えます
    • Remove Background
      • 画像から前景(背景に対して、手前に位置する要素)を正確に分割し、背景を削除します
      • 結果として、前景を残し、背景が透過された状態の画像が得られます
    • Search and Recolor
      • 画像内の特定のオブジェクトの色を変更する機能を提供します。 このサービスは、マスクを必要としないインペインティングの特殊バージョンです。自動的にオブジェクトをセグメント化し、プロンプトで要求された色を使用して再カラー化します。

    Search & Replace機能とは?

    公式が提供しているGoogle Colabでは次のように例が紹介されています。

    Search & Replace機能サービスは、マスクを必要としないインペインティングの特殊バージョンです。ユーザーは「search_prompt」を使って、置き換えたいオブジェクトを簡単な言葉で特定することができます。 サービスは自動的にオブジェクトを分割し、プロンプトで要求されたオブジェクトに置き換えることができます。

    実際にSearch & Replaceを使ってみよう!

    ここからは、公式が提供しているGoogle Colabを使ってデモを行なっていきます。

    このColabへのアクセス、初期設定の方法は「超入門」編の記事を参考にしてください。

    動画でみたい方はこちら

    https://j.aicu.ai/AICUXColosoJP

    準備:画像のパスの入手方法

    Edit機能を使う際は、Colabに画像をアップロードし、その画像パスを取得する必要があります。

    まずは、画面左側の「ファイルマーク」をクリックします。
    下に示す画像に従って、順番にクリックしていきましょう。

    画像

    次に、操作対象の画像を選んで、アップロードします。

    少し待つと、この三角マークを押して表示される「content」フォルダの中にアップロードした画像の名前が表示されます。

    画像

    ここから先、「画像のパスをペーストします」という工程が何度も出てくるのですが、ここで得られるパスを入力してくださいね
    (つまり、画像を入力として入れる際には、「Google Colab内のこのファイル部分にアップロード後に得られるパス」を入力してくださいね)。

    Erase Object機能とは?

    Erase Objectサービスは、画像マスクを使用して、肖像画のシミや机の上のアイテムなど、不要なオブジェクトを削除します。 マスクは2つの方法のいずれかで提供されます
    (1)「mask」 パラメータ経由で別の画像を明示的に渡す。
    (2)「image」 パラメータのアルファチャンネルから派生させる。

    実際にEraseを使ってみよう!

    ステップ1:マスキング前の画像のパスを取得する

    Inpaintの入力項目に、「image」と「mask」があります。

    • image:マスキング前の画像のパスを入力しましょう
    • mask:マスク画像のパスを入力しましょう
    画像

    まずは、元画像のパスを取得しましょう。
    マスクを必要とする機能を使う場合、マスク画像とピクセルがずれた画像を入力したり、本来の画像とは関係のない部分(画像をGoogle Slideなどに貼り付けた場合の余った余白の部分など)を含む画像を入力すると、マスク画像とうまくリンクせずに画像が揺れてしまうことがあります。
    そのため今回は、Google Slideを使って丁寧にマスクをしていきます。
    まず、今回使うinpaint対象の元画像がこちらです。

    画像

    これをGoogle Slideに貼り付け、「背景」を選択し、黒を選択します。

    画像

    この状態で、ファイル>ダウンロード>png画像 と選択し、画像をダウンロードしましょう。

    画像

    これで、元画像の画像パスが得られました。
    プロンプトの「image」部分に、今得られた画像パスを入力しましょう。

    ステップ2:マスク画像のパスを取得する

    元画像に、Google Slideの機能を使って白い丸を乗せて、マスクしました。
    これはまだ「マスク画像」ではないので、注意してください。

    画像

    次に、先ほどと同じように、背景を黒に設定します。
    重要な工程なので、スキップしないようにお願いします。
    背景が黒に設定できたら、元画像を削除し、黒背景とマスクのみが残る状態にしてください。

    画像

    ここまで完了したら、ファイル>ダウンロード>png画像 と選択し、画像をダウンロードしましょう。

    画像

    これを先ほど同様に、Colab上にアップロードします。画像のパスを取得できたら、プロンプトの「mask」部分に得られたパスを入力します。
    これで、「image」と「mask」に適切な画像パスが入力できました。

    ステップ3:prompt, negative prompt, seedを指定する

    今回は、元画像のドレスを着た女性がもともと「何も持っていない」ところを、マスクした箇所において「一輪の白い薔薇を持っている」ようにEditを施したいと思います。
    そこで、それぞれ次のように設定します。

    • prompt:holding a red white rose
    • negative prompt:ugly, normal quality
    • seed:39(お好みで)

    ここまでで、必要な設定が完了しました!

    ステップ4:いざ、実行!

    さあ、画像を生成してみましょう。
    得られた画像が、こちら!

    画像

    Search and Recolor機能を使ってみよう

    Search and Recolorは新しく登場した機能です。まずはサンプルどおりの結果を見ていただくのが良いと思います。

    画像
    画像

    select prompt”chiken”をprompt”green chiken”で置き換えています。

    画像

    つまり、髪色の置き換えなども簡単にできます。

    画像
    画像
    画像

    Remove background機能とは?

    こちらもサンプルどおりに実行してみます。
    プロンプトは特にありません。自動で背景が削除されます。

    画像

    Google Slidesで背景に文字を打ってみました!

    画像

    以上、Stability AI APの革新的機能、「Edit API」について解説しました。

    みなさんの使いこなしアイディアがありましたら X@AICUai でお寄せください

    こちらの動画ラーニングメディアで詳しく紹介していきます!
    「生成AIクリエイティブ AICU」シリーズ
    ■超入門:Stable Diffusionではじめる画像生成AI 

    https://j.aicu.ai/AICUXColosoJP

    Originally published at https://note.com on Oct 6, 2024.

  • [ComfyMaster22] レイアウトそのままにアニメを実写化!image-to-imageとスタイル変換で実写化レベルを制御

    アニメ風のイラストを、レイアウトそのままに、実写化したいと思ったことはありませんか?ComfyUIのimage-to-imageでスタイル変換と実写化レベルのコントロールを使いこなしてみましょう。

    ComfyUI マスターガイド」第22回は、image-to-image (i2i)の応用編です。以前、スタイル変換について説明しました。

    今回は、i2iでのスタイル変換をさらに掘り下げて、denoiseの値がi2iの生成結果にどのような変化を与えるのかを確認してみたいと思います。

    前回はこちら
    ▶[ComfyMaster21] ComfyUIのAPI化 – Websocketで外部保存

      1. 今回の目的: 犬のイラストを「レイアウトをそのままに」実写に変換

      画像

      今回は、i2iで犬のイラストを「レイアウトをそのままに」実写に変換します。変換元の犬のイラストをLatentに変換し、それをKSamplerノードのLatentに入力することで、元の画像の特徴を保持しながら生成を行います。

      スタイルの変換には、モデルとプロンプトの影響が大きいです。そのため、モデルには実写に強いモデルを利用し、プロンプトには「realistic, photorealistic」といった生成画像が実写になるようなプロンプトを入力します。

      そして、今回は、KSamplerのdenoiseの値の変化による生成結果の違いを比較します。denoiseの値がどのような変化を与えるのかを確認してみます。

      2. 使用するモデルと素材

      モデル

      今回は、モデルにRealVisXL V5.0を利用します。名称の通り、実写系を得意とするモデルで、商用利用可能(画像の販売、サービスへの組み込み可能)になります。このモデルを以下のリンクよりダウンロードし、「ComfyUI/models/checkpoints」フォルダに格納してください。

      https://civitai.com/models/139562/realvisxl-v50?modelVersionId=789646

      変換元画像

      変換元画像には、以下の犬のイラストを使用します。

      画像

      画像ファイルは、以下よりダウンロードください。

      https://note.com/api/v2/attachments/download/1988f0a474e2e82c2d1527822db10c53


      [おしらせ]【Coloso講座】ComfyUIマスター:カスタムノードとアプリ開発

      https://j.aicu.ai/Coloso3

      ブログや書籍といった文字で読みたい方に加えて「動画で学びたい!」という方に向けて、Coloso x AICUコラボ動画コンテンツ第3弾「ComfyUIマスター:カスタムノードとアプリ開発」を開発しています。
      詳しくはこちら


      この記事の続きはこちらから https://note.com/aicu/n/nc49e46cd6991

      Originally published at https://note.com on Oct 5, 2024.

    1. 運や勘に頼らない「クリエイティブAI」のススメ – 電通ワークショップ実施報告

      マーケティング・経営・コミュニケーションに関する先進の知見や潮流などを発信するビジネス情報サイト「ウェブ電通報」にてAICU Inc. CEO 白井暁彦のインタビュー記事が発信されました。

      AIの真価は安い・速いではなく「不可能を可能にする」こと
      2024/10/04
      斧 涼之介 株式会社 電通・白井 暁彦 AICU Inc.

      【AIの真価は「安い・速い」ではない! 電通ワークショップで生成AIの可能性を深掘り】
      電通のクリエイティブ・テクノロジストたちが主催するワークショップ「dentsu prototyping hub」。
      第5回のテーマは 「生成AI」 で、デジタルハリウッド大学大学院/AICU Inc.の白井暁彦先生を講師に迎え、高度な画像生成を学ぶ全4回のワークショップを実施しました。
      今回は、ワークショップを振り返りつつ、白井先生と電通 斧 涼之介氏との対談を通して、生成AIの未来と可能性について探っていきます。

      https://dentsu-ho.com/articles/9068

      こちらの記事は、AICUが2024年3-4月頃に実施したクリエイティブワークショップに関する報告になります。関連して、こちらの記事もおすすめです。

      生成AI時代の電通。最重要スキルは「心を動かす力」
      2024/06/26
      児玉 拓也 株式会社 電通グループ・斧 涼之介 株式会社 電通

      https://dentsu-ho.com/articles/8964

      運や勘に頼らない「クリエイティブAI」のススメ

      電通グループ本社クリエイティブ部門の社員の皆さまを対象に、175名もの参加者がオンラインで参加し、4週間・4日間にわたって実施したワークショップです。

      <以下、当日の資料を交えながら紹介します>
      ★2024年3月当時の情報で構成されていることをご勘案ください。

      Generative AI School概要

      画像

      ・DAY1「電通におけるAI活用について/活用事例の共有」
      電通におけるAIストラテジー、AIガバナンス、リスク事例の共有を目的とした勉強会を実施。本格的に生成AIを触る前に、スクール参加者のAIリテラシーを高めました。

      ・DAY2「生成AI基礎 テキストを用いた生成AIの基礎」
      プロンプトの正しい書き方やネガティブプロンプトの活用など、画像生成AIの基礎を習得しました。

      ・DAY3「生成AI上級 意図通りの絵をつくる」
      「画像から画像を作り出す」「姿勢や表情を制御する」といった技術を学び、トンマナの制御、ブランドや商品・サービスなどに抱く印象、雰囲気、感情を、顔の表情や指の演技に至るまで調整する手法を実習しました。

      ・DAY4「生成AI実践 ハッカソン」
      オンラインハッカソンとして、2時間という限られた時間での総合演習を実施しました。機能の復習をしつつ、モデル選択、同一衣装、同一人物、別シチュエーションといった要素をコントロールし、生成したいキービジュアルを完成させていきました。

      全体を通して、「運や勘に頼らない」「人の意思を込めたクリエイティブAI」の重要性を強調しました。

      Day2: 構成とポイント

      教科書として「SD黄色本」を使い、その内容を丁寧に、かつ圧縮して実施していきます。

      https://j.aicu.ai/SBXL

      演習環境は、全員がリモート環境で参加し、175名という多人数であるため、初日はスキルと環境を確認する意味があり、Google ColabとFooocusを使用しています。

      画像
      画像
      画像

      AICUがオープンに提供する Foocus日本語版 
      https://j.aicu.ai/FoooC
      など、オープンソースの技術を使って、丁寧に解説していきます。

      画像
      画像
      画像

      ワークショップ内では参加者がタイムラインに画像を共有していきます。
      企業内ワークショップのため、ご共有できず残念ですが、さすが電通のクリエイター!という作品がたくさん共有されました。

      画像
      画像

      その他、モデル、LoRAに関する知識、ライセンスなど、高度な話題が続きますが、ここは割愛です。

      Day3: 構成とポイント

      引き続き「SD黄色本」を使って、スピードと密度を上げた講習を続けていきます。

      画像
      画像
      • Image to Image を活用した高度な画像生成
      • ControlNet による精密な制御
      • 大量のバリエーション出力と 人間の「選ぶ力」「ディレクションする力」 の融合

      Day4: AICU 画像生成AI認定試験

      Day4ではハッカソン形式で、時間限定で以下のような課題に取り組んでいただきました。

      画像

      ・課題1「ネガティブプロンプト」15分
      ・課題2「image to image: Outpaint」15分
      ・課題3「image to image: Inpainting」15分
      ・課題4「ControlNet – Canny」15分
      ・課題5「ControlNet – OpenPose」15分
      ・課題6「フリー課題」20分
      モデル選択、同一衣装、同一人物、別シチュエーションに気をつけて
      一つの絵を完成させていきます
      上記の要素で独自のテクニックで進行させてもかまいません

      総合演習では、既存のクライアントワークを画像生成AIを使って振り返ってみたり、ガンダム大好きな参加者さんが、独自の実写版コラボ企画を作ってみたり、サウナなどの難度が高い撮影を画像生成でレイアウト亜nを出してみたり…見せられないのが残念です。

      その他、Adobe Fireflyとの違い、ライセンス、リスクなどについても総合的な質疑応答タイムを用意し、各参加者の作品を共有、表彰式などを行いました。参加者の皆さんの実力、平均値がギュッと上がったさまを参加者全員が共有しました。

      ワークショップを終えての振り返り

      広告代理店、エンタープライズにおけるクリエイティブ部門向けのクリエイティブAIワークショップ、AICUの振り返りとして知見をまとめておきます。

      • 生成AIはあくまでも道具。「人間がものをつくる楽しさ」 を忘れてはいけない。
      • 「つくる人」を増やすことで、新たな価値創造と市場の拡大に繋がる。
      • プログラミング教室やシニア向けワークショップなど、あらゆる世代への教育 を推進。

      生成AIは広告クリエイティブに何をもたらすのか?

      生成AIは、広告クリエイティブの分野においても、大きな変革をもたらしつつあります。

      AI画像生成による生成例と「プロ用途」での価値

      画像

      なんとなく「きれいな絵だな」で見過ごしてしまうかもしれませんが……

      画像

      実際にプロの広告写真の分野から見れば、素晴らしい夏の空、誰も居ない砂浜、ゴミのない海岸、いい感じの波打ち、タイヤ痕がない砂浜、そして「発売前で未公開の新車」をここに配置して撮影する必要があります。CGやVFX、人力で絵作りするのは「不可能ではない」のですが、この「カンプ」の時点でも「運と人的工数がかかりすぎる」という難点があります。

      もちろん、しっかりとした予算があり、設計や品質が求められる分野の絵作りは今後も残るべきだと考えています。その中でも、試作や検討といったエンドユーザーに見えないコストや発想を作り出していくうえで、画像生成は目に見えるコスト効果を発揮します。
      さらに、特に新しい感覚や新しい顧客、新しいエンゲージメントが求められる場合、その探求パラメーター数、次元は無限に増えていきます。

      特に、LoRAに関する技術や制御、倫理関係は、これからの広告代理店にとっては重要であると考えています。

      • 従来のプロトタイピングよりも 高速で多様なアイデア を創出。
      • トライアンドエラー を繰り返すことで、より質の高いアウトプットを実現。
      • 生成AIを使いこなす 「人間のクリエイティビティ」 こそが重要。

      クリエイターや権利者が幸せになる仕組みづくりを

      生成AIの普及に伴い、著作権や倫理的な問題への対応も急務となっています。

      ポイント

      • 生成AIのリスクは、法務・事業的な観点から 慎重に検討 する必要がある。
      • 「やってはいけないこと・やってほしくないこと」 を権利者が制御できる仕組みが重要。
      • クリエイターに利益が還元される フェアな収益モデル の構築が求められる。

      まとめ:白井暁彦より

      AIの真価は、単に「安い・速い」だけではありません。
      人間のクリエイティビティを拡張し、 「不可能を可能にする」 ことこそが、AIの真の価値と言えるでしょう。

      普段から、様々な画像生成AIを使いこなしている電通グループのクリエイターさん175名を相手に、より高度な使い方や、社内平均スキルを短い時間でぐっと上げる活動、そしてこの分野で博士(工学)を取得し、教育や研究を通して多くのクリエイターを生み育ててきた経験があるからこそできる最高の開発体験が共有できたことを嬉しく思います。

      そして電通は、大きな会社です。法務や倫理面にも配慮しながら、生成AIを 「人の心を動かす」 ための強力なツールとして活用していく姿勢を見せています。大きな会社ならではの、大変なこともあります。でも組織だからこそ、より大きな経験を共有しながら、社会を次の世代にすすめるために、真剣に告知、広告、ビジネス、コミュニケーション、DX(AX,BX,CX,DX)に関わっていると感じました。

      生成AIの進化は、まだ始まったばかり。
      今後、どのような未来が創造されるのか、期待が高まります。

      「つくる人をつくる」 AICUのミッション

      AICU Inc.で掲げるビジョンは 「つくる人をつくる」
      生成AI時代において、全ての人がクリエイターになれる可能性を秘めています。現在はさらに最先端のモデルやワークフローを開発し、Stability AI APIやFluxを使ってCGWORLDの表紙などを担当させていただいております。ワークショップも、Google Colabに加えてAWSの使用、そして「Anifusion」のような漫画生成などもワークショップ可能です。次回は東京大学「メディアコンテンツ特別講義」にて10月17日に予定しています。世界的な動画ラーニングメディア配信企業「Coloso」とともに、一般・企業向けの商業利用可能な生成AIクリエイター向けコンテンツを開発・配信しています。またオンサイトワークショップでは、神奈川県をクライアントに、障がい者向けクリエイティブワークショップを開発しています。

      https://j.aicu.ai/MagV4

      ■「超入門:Stable Diffusionではじめる画像生成AI
      動画公開 10/18(金) 18時 予定

      https://j.aicu.ai/AICUXColosoJP

      ■「初級者:広告企画から動画制作までのプロセス
      動画公開 10/31(木) 18時 予定

      https://j.aicu.ai/ColosoJPXAICU

      ■「ComfyUIマスター:カスタムノードとアプリ開発
      動画公開 11/22(金) 18時

      https://j.aicu.ai/Coloso3

      なお、今回のこのブログのカバーアートは、上記「ComfyUIマスター:カスタムノードとアプリ開発」の中で解説しています。AICUの最先端の環境におけるLoRA活用テクニックが学べます。

      画像

      最後に、ワークショップの企画いただいたDentsu Prototyping Hubのみなさま、ご支援いただいた役員の皆様、ご参加いただいたクリエイターの皆様、電通報での発信をご担当いただいたみなさまに感謝を記させていただきます。

      これからも、最新・最先端・難度の高い「つくる人をつくる」案件をお待ちしております。

      画像

      AICUによる企業向けワークショップ、お問い合わせはこちらから。
      https://corp.aicu.ai/ja/products

      関連


      #クリエイティブ #テクノロジー #AI #プロトタイピング #広告とAI #企業内教育 #AIワークショップ

      Originally published at https://note.com on Oct 4, 2024.

    2. 東京ゲームショウ2024でみつけたエンタメxAI技術!懐かしの「タイムクライシス」AI技術で再誕!?

      こんにちわ、AICU mediaの くしろです。
      突然ですが、読者の皆さんはゲームを遊ぶときにどんなコントローラを使っていますか?
      ゲーム専用機ではなくてPCでゲームをしてる場合はキーボードやマウスを使う人もいると思いますが、多分ほとんどの人がゲームパッドでプレイしているんじゃないでしょうか。
      ゲームパッドには方向キー・ボタン・アナログスティックなどが付いていて、ありとあらゆるジャンルのゲームに対応することが出来るとても便利なコントローラです。
      でも汎用性が高いということは専門性はそれほど高くないということと表裏一体の関係にあると言えます。
      昔のゲーム業界はプレイヤーによりゲームに没入してもらうためにジャンルに合わせた専用コントローラを開発して臨場感を高めようとしていました。
      その一つが一人称シューティングゲーム、いわゆるFPS(First-person shooter))用の銃の形をしたガンコントローラ(以下、ガンコン)です。
      今回の東京ゲームショウ2024でこのガンコンにAI技術を応用した製品が展示されていたので紹介します。

      ガンコンの仕組み

      その前にガンコンの仕組みと歴史について説明させてください。
      これをしておかないと今回のコントローラの新規性がピンとこないと思うので少々お付き合いをお願いします。

      ブラウン管対応光センサータイプ

      まず、下のイラストをご覧ください。これは昔のブラウン管ディスプレイに対応したガンコンの概念図です。
      ゲーム機で生成された1フレーム分の画像は1行ずつのアナログ信号に変換されて出力ケーブルを通してディスプレイに送られます。
      ブラウン管ディスプレイ内部ではその信号を画面の左上から右に向かって電子銃で電子をぶつけ、蛍光体を光らせます。これが1行分の表示です。電子ビームが端まで辿り着いたら折り返して1ピクセル下からまた右へを繰り返し、右下まで描画したらまた左上に戻って次の画像の表示を開始します。
      ここでポイントになるのは、描画スタートからの経過時間とディスプレイ画面上の描画位置は一対一の関係にあるということで、ガンコンはこれを利用して画面上の位置をセンシングしています。
      具体的には、ガンコンの銃身の奥に光に反応して信号を出すセンサーが取り付けられていて、センサーにディスプレイの光が差し込むとゲーム機に信号を送ります。
      ゲーム機は描画スタート(同期信号)からどのくらい時間が経ってから信号が来たかでガンコンが指し示した画面上の位置を把握するのです。

      画像

      この手法のメリットはシンプルな回路で実装でき、ローコストなこと。
      ただし、弱点もあります。それは、暗い画面やには反応しないことです。
      光に反応するセンサーを使っているのですから当たり前のことなのですが、だからと言って暗い所が無いビジュアルのゲームという縛りで開発を行うというのも無理があります。
      そこで考え出されたのが、引き金を引いた時に一瞬だけ画面全体を均一な明るさにしてセンシングし易くするという手法でファミコンの「ダックハント」などで実装されています。
      これはとても有効なのですが、光の明滅はプレイヤーの目を疲れさせるので、長時間のプレイは厳しいかもしれません。

      薄型ディスプレイ対応マーカータイプ

      次に登場したのが、赤外線カメラを搭載したガンコンと赤外線LEDマーカーとを組み合わせた手法です。
      これはディスプレイの主流が液晶やプラズマなどのブラウン管とは違う表示方式に移行したことで今までの手法が使えなくなったことへの対応です。
      下のイラストにその概念を示します。
      まず、赤外線LEDマーカーを所定の位置(この場合はディスプレイの上辺の左右両端)に設置します。
      そして、このマーカーから発せられる赤外線をガンコンの銃口にある赤外線カメラが読み取ってゲーム機に送り、マーカーの見え方からディスプレイのどこを狙っているのかを把握します。
      任天堂Wiiなどが代表的です。

      https://amzn.to/3ZQFdES

      画像

      この方式の良いところは、前述の光センサーを使用したガンコンで必須だった撃つたびに画面を均一な明るさにする必要がないことです。
      でも、この手法では別の問題を新たに抱えることになりました。
      それは、赤外線LEDマーカーを適切な位置に設置しないと正しく動作しないということです。
      例えば、左右のマーカーの高さや向き、傾きが合っていないと誤動作してしまいます。
      それに家庭用ディスプレイには色んなサイズやデザインの製品があるのでマーカーを設置する環境をプレイヤーごとに変わって一定にはなりません。
      ですから、マーカーを事前に想定された設置状態に近づけるための調整がとても重要になります。
      特に大画面テレビが一般的になっていると、それをカバーできるLEDマーカーをつくることはハードウェアのコストや「設置の煩雑さがあって遊んでもらえない」という潜在的問題もあるのかもしれません。

      AI技術を使用した新世代のガンコン

      今回紹介する達成電器の「G’AIM’E」は今までのガンコンの問題点をAIで克服した画期的な製品です。
      具体的には、ガンコンの銃口にあるカメラで取得した画像からAIがディスプレイを認識してガンコンの位置や向きを把握するという仕組みです。
      ちなみに奥に見える黒いボックス状のものが本体になります。

      画像

      イラストや風に描き起こした概念図も置いておきます。

      画像

      これまでに紹介した手法はガンコンが指し示すディスプレイ上の位置を間接的に把握するというもので、それによるデメリットは前述した通りです。
      それに対し「G’AIM’E」は人間と同じ様に直接的にディスプレイを認識している点が非常に画期的です。
      開発の方にお伺いしたところ、「ガンシューティングゲームはブラウン管の時代に人気のあるジャンルでしたが、液晶の時代になってあまり普及しなくなりました。そこで最新技術を使って気軽に遊べるプラグ&プレイの形で提供すれば愉しんでもらえるのではないかと考えて開発しました。」とのことでした。
      また、AI技術としては機械学習を使用したそうで、素材としては、まず24インチから30インチまでのモニターと45インチから100インチまでのテレビといった多種多様なディスプレイを用意して、正面や上下左右の斜めからディスプレイを撮影した画像を大量に使用して学習させたとのことでした。

      アーケードゲームの名作「タイムクライシス」が再び!

      画像

      今回のTGS2024で展示されていたデモは、1995年にナムコ(現バンダイナムコ)がゲームセンター用に開発したガンシューティングゲームの「タイムクライシス」のライセンス版が遊べる本体とガンコンとペダルという構成で、本体をディスプレイに接続するだけでの手間いらずで直ぐにプレイすることができます。

      画像

      なお、「タイムクライシス」は、障害物の陰に隠れて敵の攻撃をかわしながら自分が攻撃する時はペダルを踏んで敵に姿を見せて撃ち合うというプレイスタイルのゲームです。

      私はこのゲームをゲームセンターで遊んだことがあるのですが、実際にプレイしてみて特に違和感を抱くことも無く、逆に当時の楽しかった記憶が蘇ってきて非常に良く出来ているなと感心しました。

      実はこの製品は2025年9月発売を目指し鋭意開発中なんだそうです。

      そして、現在の一番の課題は遅延の軽減で、現状で25msくらいあるラグタイムを最終的には12msから13ms程度に抑えることが目標だそうです。
      遊んでいる時にガンコンの動きとディスプレイ上の照準とのズレは特に感じなかったのですが、もしかしたらガンコンを振り回す様な早い動きをすると問題が出てくるのかもしれません。

      この課題をどうやって解決するのかついては具体的なお話は伺えなかったのですが、ディスプレイの認識精度を高く維持したままの画像の認識スピードを向上させるAIの開発は難しい挑戦になるのではないかと想像します。
      是非、頑張って解決することを期待してます。

      まとめ

      以上、「つくる人をつくる」をビジョンとするAICUにジョインをした くしろがお伝えしました。

      もしかしたら来年の今ごろはこの製品が発売されているかもしれませんし、恐らく東京ゲームショウ2025の達成電器のブースにはバージョンアップされた「G’AIM’E」が展示されると思いますので、興味ある読者の皆さまは是非遊んでみてください。
      私も楽しみに待ちたいと思います。

      https://www.tasseidenki.co.jp

      AICUでは今後も読者の皆様にむけて、ディープなイベント取材を実施していきたいと思います!
      この記事に「いいね!」と思ったら、いいねとフォロー、おすすめをお願いします!
      https://note.com/aicu/   X(Twitter)@AICUai

      #TimeCrisis #TGS2024 #タイムクライシス #ガンコン #達成電器 #エンタメxAI

      Originally published at https://note.com on Oct 3, 2024.

    3. 祝note1,000人超え! データ公開[成長し続けるAICU]の秘密は…?

      生成AI時代に「つくる人をつくる」をビジョンに活動を続けてきた「AICU編集部」noteフォロワーが遂に1,000人を突破いたしました!!

      本日はこれを記念して、AICU media noteの歩みや生成AI分野における「わかるAIを伝える」の難しさややりがいなどを共有していきたいと思います。

        日本国内で最も生成AIに関連するホットな情報が集まるブログサイト「note」において、ほぼ毎日生成AIクリエイティブに関する情報を発信し続けており、現在までの全投稿が329件、2024年9月30日にフォロワーが1,000人を突破いたしました。

        https://note.com/aicu

        AICUのnoteとXのフォロワー数推移【公開されている情報です】

        画像

        生成AI時代に「つくる人をつくる」という難しい課題に挑戦するAICUではありますが、日々、生成AI分野の個人発信者や、企業、インフルエンサーが増えていく地合いにあります。読者の皆様も自由にアンフォロー(離脱)できる数値のなかで「ほぼ毎日リニアに増え続けている」という状況は、日々新鮮かつ確かな情報を届けるメディアとしての品質、継続性、そして読者のみなさまの信頼を表すエビデンスとして理解しております。

        https://x.com/AICUai/status/1840752267571728803

        noteプレミアムとProについて

        なお、noteはプレミアムアカウント(月額500円)ではありますが、note proやGoogle広告等は使っていません。もちろんSEOもありません(noteにはmetaを書く場所がない)。あくまでコンテンツだけで、赤い海での勝負です。

        画像

        https://pro.lp-note.com

        画像

        一過性の広告や露出、過度なSEO狙いの記事ではなく、純粋に「次も読みたい」と思える読者のみなさんが増えている、それに対して読者のみなさんの興味を素早くキャッチアップし、確実に初心者やエアプ(やったふり)を脱するハンズオン記事をほぼ無償、もしくはメンバーシップに向けて提供し続けていることが理由の一つかもしれません。
        なお今後note proを利用する目的一致や予算があれば、試してみます。月間PVもそれなりにありますので、楽しみではあります。

        AIに任せない執筆体制

        AICU編集部は編集長である しらいはかせ を中心に、AIの使い手である人間の手で執筆し、人間が確認し、人間がレビューして出版しています。土日も連休も少人数の編集部体制にもかかわらず「毎日かならず手を動かして記事を書く」という人間とAIのコラボレーションを体現する総合情報サイトとなっています。

        実験的なAI執筆やXやLINEでのボットは多数開発しており、こちらは編集長の個人ブログ(note.com/o_ob/)のほうで日々綴られています。こちらも日刊でほぼ休まず連続投稿を続けていますので、編集長の視点で考えてみると「年間700本のブログ」は不可能ではないということがわかります。
        実験的には「Geminiたんのツッコミ」が人気であり、Geminiの改良によって、おじさん構文をいい感じに緩和してくれるヒューマニティあふれる文体と、それを活用した自然な文体が味わい深いものになっています。

        なおAICUマガジンを発行しているプラットフォームであるKindle Desktop Publishing(KDP)は、生成AIによるコンテンツ出版は禁じていないものの、報告義務があり、レビューにおいて多く指摘される要素があります。

        画像

        人力でレビューを実施し、24時間・土日や祝日も対応していただいているKDP審査チーム各位にここに御礼申し上げます。

        発売開始からアップデートされ完成するマガジン

        そんなAICU編集部がお送りする月刊誌「AICUマガジン」が、「つくる人をつくる」あなたをアップデートするクリエイティブAIエンターテイメントマガジン「AICU Magazine」としてリニューアル&Vol.5初版をリリースしました!

        ご購入はこちらから!Kindle Unlimitedで無料購読可能です
        https://j.aicu.ai/MagV5

        画像

        Kindle版はePub版にて提供されています。PDF版は現在242ページ!ずっしり重いページ数です。今後、初版から10月末まで1ヶ月の「賞味期間」を持ちながら、最新の情報や追加コンテンツをアップデートしていき、一定の読者購読が達成された場合に最終版をフルカラーの書籍版印刷物として出版する予定です。

        書籍版は発売されるの?!

        図書館等にも入れられる「手に取って、重さがわかるAI」として幅広い読者に向けて届けてまいります。ぜひともクリエイティブAIを陽のあたる場所に持っていきたい!という方はKindle Unlimitedで応援お願いします!!

        画像

        Amazon独占販売:ご購入はこちらから https://j.aicu.ai/MagV5

        ・ePub版はKindle Unlimitedで無料(単品販売は 900円)

        フィードバック歓迎です

        お見苦しいところもたくさんあるかもしれませんが
        読者のみなさんのフィードバックも歓迎です!
        ▶編集部へのご感想はこちらから https://j.aicu.ai/MT24v5

        ▶内容が気になる…!noteブログ版の購読はこちらから
        https://ja.aicu.ai/aicu-magazine-vol-5-20241001/

        ▶AICUマガジン/ AICU magazine バックナンバー

        ・バックナンバーはこちら https://ja.aicu.ai/mag/
        ・Amazon販売ページ https://amzn.to/3XMSFa8

        編集部より「noteフォロワー1,000人突破によせて」

        ★生成AIクリエイティブ「わかるAIを伝える」を続けて約1年、遂にnoteフォロワーが1,000人を突破いたしました。毎日の投稿は大変ですが、続けてきてよかったです。連載企画「ComfyUIマスターガイド」やメンバーシップの参加もありがとうございます(編集部一同)

        Yasさん (@earlyfield8612):
        フォロワー1,000人達成おめでとうございます!AICU mediaで記事の執筆や寄稿をしている私としても嬉しい限りです。
        生成AIに関しては、世間の生成AIの認知度も高まり、今後は社会実装が進んでいくと言われていますが、AICU mediaは間違いなくAIの普及に貢献していると言えるでしょう。AICUは、mediaを通してビジョンである「つくる人をつくる」を体現していると感じます。
        さらに、AICU mediaからAIの最新情報をキャッチアップしている1,000人のフォロワーの方々もその一端を担っているでしょう。世間の認知度が高まっていると言っても、まだまだ低水準です。その中で最新情報に触れるフォロワーの方々は、世間一般で見れば「先駆者」です。フォロワーの皆さまがAICU mediaで獲得した知識・スキルを積極的に社会で活かすことで、AICUと共に新しい世界を作り出していくことでしょう。まさに「つくる人をつくる」ではないでしょうか。
        このたびのフォロワー1,000人達成は、AICU mediaの成長とビジョンを体現する大きな一歩です。これからも、AICU mediaが提供する情報を通じて、フォロワーの皆さまが新たな知識を得て、さらなる成長を遂げることを願っています。そして、その知識やスキルを社会に還元し、より多くの人々に影響を与えることができる存在となっていただければと思います。AICU mediaと共に、これからも未来を共に切り開いていきましょう。引き続き、応援しています!

        Yasさんいつもありがとうございます!「ComfyUIマスターガイド」とColoso講座「ComfyUIマスター:カスタムノードとアプリ開発」よろしくお願いいたします!!


        ぽんずさん(@ponzponz15):
        AICUメディアのフォロワー1000人達成、おめでとうございます!私自身、生成AIを活用したクリエイターとして活動して行く中で、今まさに多くの可能性を秘めた生成AIが世界を大きく変えていくことを実感しています。 AICUメディアは、こうした生成AIの可能性や最新のテクノロジーを広く伝え、クリエイターの活動をサポートしてくれる存在です。私自身もAI分野のトレンドやコンテスト情報を受け取り挑戦していくことで、さらにインスピレーションを得ることができました。 これからも新しい発見や感動を皆様とともに共有していただけることを楽しみにしています。さらなるご発展と成功を心より願っております!

        藤吉香帆さん(@kahofujiyoshi):
        フォロワー1000人達成おめでとうございます!AICUクリエイターズギルドの1回目から関わらせていただいて、黄色本の出版などAICUさんの数々の活躍を間近で見させて、学ばせていただき大感謝です🫶
        ちょうどAICUコラボクリエイターとして講座「広告企画から動画制作までのプロセス」の公開が間近なタイミングでのニュースで、より一層嬉しいです!いつも最先端のお話をまとめて発信してくださってありがとうございます!これからも一緒にたくさん活躍していきましょう♪

        画像

        https://note.com/iamkaho/n/n81b7691db92d

        ▶「初級者:広告企画から動画制作までのプロセス」
        動画公開 10/31(木) 18時 予定
        https://j.aicu.ai/ColosoJPXAICU


        編集長・しらいはかせ/白井暁彦(@o_ob)より:
        2年前からブームになった生成AIですが、特に「画像生成AI」や音楽や動画などクリエイティブな分野は、一見「それなんの役に立つの?」という感想を持つ方も多い中、個人でのブログから地道な情報発信を日々続けてまいりました。ちょうどビデオゲームの歴史に例えると「駄菓子屋さんやゲームセンターで遊んでいたゲームが、家でも遊べるようになったぞ」という時代です。そんな中、日々の無料のブログや技術同人誌、ワークショップを通して「つくる人をつくる」「わかるAIを伝える」を実直に繰り返し、「AIとコラボして神絵師になる 論文から読み解くStable Diffusion」(インプレスR&D)、「画像生成AI Stable Diffusionスタートガイド」(SBクリエイティブ)、「生成AIクリエイティブAICU」(Coloso)といった様々な商業出版物・国際動画ラーニングメディア、そして大手広告代理店さんや大学、神奈川県をはじめとする自治体など公共・大企業向けワークショップにおいて愛されてきました。その開発のコアともいえるデイリーメディア「AICU media – note」でのフォロワーが1,000人を突破したことは一つのマイルストーンですし、毎日・毎週・毎月のPVも日々増え続けております。その様子はAIやデータだけでなく、掲示板やファンからのメッセージなどでもたくさん頂いております。興味深いことに X(Twitter)@AICUai よりも確実に「つくる人になりたいみなさん」とエンゲージメントしている様を体感しております。これからも、生成AI時代を代表する国際メディア企業として、手を動かして、確かな情報をみなさまにお届けすることができれば幸いです。またここまで関わっていただいた協力クリエイター・エンジニア・ライター・アーティストのみなさま、本当にありがとうございます。今後は連載企画、連載漫画、動画ラーニングメディア、ワークショップ、新AI製品マーケティング企画や広告企画など、確かな情報とともに楽しいコミュニティドリブンなユーザーコンテンツ生成メディアを世界に向けて作り続けて行きたいと思います。今後も応援よろしくお願いいたします!

        1,000人突破を記念してプレスリリースを発信させていただきました。

        ▶noteフォロワー1,000人突破! 無料で読める「つくる人をつくる」あなたをアップデートするクリエイティブAIエンタメ総合情報誌「AICU Magazine Vol.5」配本開始 https://prtimes.jp/main/html/rd/p/000000022.000133647.html

        皆様におかれましては、いいね、フォロー、リポスト、応援のメッセージなどいただけましたら幸いです。

        【読者の皆様から頂いたメッセージ】

        上記のX投稿に加えて、今週のAICUコーポレートメールニュースには多くのフィードバックを頂きました。紹介したいと思います。


        Hatori Nobuhiroさん

        主にビデオゲームの背景制作に携わっているHatoriさん(oputo.com)より:

        AICUのサイトや、マガジンを見させて頂きました。

        そのなかで、AICUマガジンVol.3 の編集コラムでは、
        画像生成AIは飽きる」、「若い人には無理に勧めなくていい」、など、
        日々感じている事が指摘されていて興味深かったです。

        絵や動画などを出力するのは楽しいですが、
        それでFIXではなく、あくまで参考資料、素材に留めておきたいですね。
        大きい話ですが、人類の英知を食い散らかして学習データが枯渇しないように、その成果物に何かしらの付加価値を付けることが大切かな、と考えています。

        またお会いすることがありましたら、
        その折にはどうぞ宜しくお願い致します。

        ▶「AICUマガジンVol.3」への感想、ありがとうございます!
        倫理観や若い世代への思いとともに、シニアのクリエイターの方々のご意見をいただけて光栄です。


        ないとっちさん

        今月号のカバーアートをご投稿いただいた
        ないとっち (@naitochi) さんより:

        AICU様、
        いつもありがとうございます。
        AICU Magazineは、Unlimitedでなく
        購入しました。
        そしてColosoもSDとComfyUIの講座を
        購入しました。リリース楽しみにしています。
        今まではMidjourneyばかりでしたがSDの
        奥深さをAICUのお陰で知ったし、カバー
        アートも使って貰えたのを励みに、腕をあげ
        て、アーティストとして活躍したいと
        考えています。
        引き続きよろしくお願いします。

        ▶AICUのメンバーシップ投稿、作品が入選・採択されると、著作権解決とともに、Amazonギフト券にて謝礼を送りしております。
        その謝礼でAICU magazineを買っていただいているのですね…!
        Stable Diffusion、MidJourney、NijiJourney、Kindle、Amazonなどで「UGC」つまりユーザー生成コンテンツの経済が回り始めています。
        文面からも、新しいクリエイティブや生成AIクリエイティブによるコミュニケーションが生まれている様子がうかがえます。
        そしてマガジンやColosoラーニングメディア購入ありがたいです―!
        「ComfyUIマスターガイド」の購読はこちら

        そしてお礼に、YouTubeでのチラ見せコンテンツを紹介しちゃいます!!

        ★Colosoで制作している全体の1/100ぐらいですが、動画のほうがわかりやすいものは動画解説も増やしていきたいと思い、試作を公開してみました。サブスクライブよろしくお願いいたします!


        読者の皆様、ありがとうございます!

        そんなわけで「祝note1,000人超え! データ公開[成長し続けるAICU]の秘密は…?」という大層なタイトルでお送りしてしまいましたが、結局のところ「AIだけに頼らず、コラボクリエイターのみなさんや読者の皆様の活躍の場を作っていきたい」という愚直な活動にすぎません。
        でも、1,000人突破まで頑張りきれてよかったです。
        大変なことも多いですが、2,000人まで頑張ってみたいと思います。
        今後ともAICU mediaをよろしくお願いいたします。


        ▶ライターになりたい、製作に参加したい、広告を出したい

        X(Twitter)@AICUai までDMをいただければ幸いです

        ・広告出稿のお問い合わせはこちらから
        https://corp.aicu.ai/ja/pricing

        https://note.com/aicu/n/ne4006cdd9bfc

        AICU Inc. についてX@AICUai https://corp.aicu.ai/ja

        「生成AI時代につくる人をつくる」をビジョンに活動する2023年に設立された米国シリコンバレーを本拠地にするデジタルハリウッド大学発のスタートアップ企業です。書籍「画像生成AI Stable Diffusionスタートガイド」(SBクリエイティブ刊)、LINEアカウント「全力肯定彼氏くん」「AI確定申告さん」、Webに住むAIアイドル「AICuty」など楽しみのあるAI体験を開発する「AIDX Lab」、わかるAIを楽しく届ける AI総合メディア「AICU media」、AI人材教育コンテンツ開発、障がい者向けワークショップ開発、AIキャラクター開発運用、某有名企業の新技術プロトタイプコンテンツ開発など「クリエイティブAI」ならではのコンテンツ技術開発・体験開発を世界的な企業に展開している価値開発企業。画像生成AI「Stable Diffusion」を開発公開した Stability AI 公式パートナーであり、Google for Startups認定スタートアップでもあります。1994年に杉山知之が創立したデジタルハリウッド大学(愛称「デジハリ」)はCGやデジタルクリエーションを専門に学ぶ学校ですが、開学のころからずっと変わらず伝えていることは『すべてをエンタテインメントにせよ!』 。エンタテイメント技術の研究開発で30年の経験を持つCEO白井暁彦とAI社員、少数精鋭の人間味あふれる多様なスタッフや協力クリエイターとともに、すべてをエンタテインメントにするまで追求する文化が AICUにも息づいています。

        Originally published at https://note.com on Oct 2, 2024.

      1. AICU Magazine Vol.5 初版リリース!! 特集は「Stability AI Forever!」KDPで無料

        AICU編集部がお送りする月刊誌「AICUマガジン」が、「つくる人をつくる」あなたをアップデートするクリエイティブAIエンターテイメントマガジン「AICU Magazine」としてリニューアル&Vol.5初版をリリースしました!

        画像

        ご購入はこちらから!Kindle Unlimitedで無料
        https://j.aicu.ai/MagV5

          表紙は犬沢某さん・Stability AI APIにて生成

          画像
          表紙by犬沢某さん X@insbow

          特集は「Stability AI Forever!」

          特集は「Stability AI Forever!」API時代の Stability AI 入門から[次世代モデル]の予告まで。今後長年にわたって役に立つ、GPU不要でも高画質・高品質で画像生成が学べる総力特集です。

          初版目次

          特集「Stability AI Forever!」

          ・「超入門: Stable Diffusionではじめる画像生成AI」で画像生成を始めよう
          ・【超入門Stability AI API】公式サンプルで「TextToImageの最近の文法を総ざらい」
          ・【超入門Stability AI API】「モデルとの対話」実習編。Stable Diffusion 3時代に知っておきたいプロンプトの新常識
          ・【超入門Stability AI API】「Stable Fast 3D」をGoogle Colabで動かす
          ・「Stable Diffusion 3 Mediumファインチューニングチュートリアル」から読んだStability AIの「新モデル」

          画像
          画像
          画像

          サクッと先取り!クリエイティブAIツール

          ・【音楽知識ゼロでもOK!】Sunoでオリジナル曲を完成させよう!初心者向け【無料】(ぽんず @ponzponz15
          ・動画も高精度に!ComfyUIとSegment Anything Model 2(SAM 2)でセグメンテーションをマスターしよう(Yas @earlyfield8612

          画像
          画像

          イベント情報

          ・結果発表!!「デルタもん4コマ漫画コンテスト」
          ・「AIが変える 美容&ファッションのミライ」

          画像
          画像

          BlendAI通信

          ・ガンマミィ誕生記念! イラストコンテストを開催
          ・BlendAI第1回ファンミーティング潜入レポート!デルタもん誕生秘話から新キャラ「ガンマミィ」、さらに壮大な計画まで明らかに!

          画像

          連載漫画

          「ウワサの大型新人」by わらさん(@wara_hirono)
          なんとリリースされたばかりの「ガンマミィ」が登場…!
          公式に怒られませんように!!

          画像

          読者のひろば

          ・編集長とGeminiたん「AI開発案件に起きている地殻変動(2024年9月末)」
          ・秋のカバーアート 「秋の妖精」 ないとっちさん
          ・はるしね~しょん(編集部だより)

          犬沢某さんよりメッセージを頂いております。

          画像

          今月号も表紙を担当させていただきました。

          前回は女性に大人気の[LuC4]全力肯定彼氏くんを題材に夏祭りを表現してみましたが、今回はストレートに「Stability AI特集」とのことで、AICUで開発しているColosoの教材シリーズをこっそり拝見させていただきました。

          ひとことで言って、これはスゴい。

          そして第1弾「超入門:Stable Diffusionではじめる画像生成AI」では、自分がデザインしたキャラクターが実写になっていることにも驚きました。……が、実際にやってみると、さらに複雑な気分でした。いいじゃないか。

          今回は、そこで学んだテクニックを使って、Claudeで改良しながら……

          Stable Image Ultra: photo realistic, squatting down and holding knees girl, grumpy but half smiling, zoom out the camera, walking, animal ears, solo, brown hair, overalls, dark skin, cat ears, short hair, dark-skinned female, choker, brown eyes, sweater, pink choker, long sleeves, closed mouth, yellow shirt, bright pupils, white pupils, pink basketball shoes (seed = 4), Aspect Racio 4:5, Conservative Upscaler

          ……といった感じで Stability AI だけで仕上げています。

          表情がもっといろいろ探求できると良かったかも?と思いつつ、海外の雑誌の表紙みたいな雰囲気を目指して色なども選んでみました。

          読者のみなさんの、感想が聞きたい……!

          最後に……実は、幻のバージョンがあるんです!
          表情は良かったんだけど、指が、ちょっとだけ変な方向を向いていて……。
          レイアウトラフの段階で編集部チェックをクリアしてしまったのと表情が良かったので編集部でも賛否両論があったり「インペイントでいいのでは?」という説もあったのですが、最終的にリテイクとなりました。

          AIだからって楽じゃないよ~!!でもこういうのも雑誌というメディアならではですね。

          なので、読者のみなさんの、感想が聞きたい……! 犬沢某 X@InsBow

          オトクなクーポンはあるの!?

          前回の人気企画、今回もあります!
          Coloso「生成AIクリエイティブ AICU」シリーズ
          ■超入門:Stable Diffusionではじめる画像生成AI
          https://j.aicu.ai/AICUXColosoJP
          ■初級者:広告企画から動画制作までのプロセス
          https://j.aicu.ai/ColosoJPXAICU
          ■ComfyUIマスター:カスタムノードとアプリ開発
          https://j.aicu.ai/Coloso3

          こちらに使えるクーポンコード(5000円相当)が付いてきます。
          Vol.4にひきつづきAniFusion初月半額コードも付いてきます!

          書籍版は発売されるの?!

          Kindle版はePub版にて提供されています。PDF版は現在242ページ!ずっしり重いページ数です。今後、初版から10月末まで1ヶ月の「賞味期間」を持ちながら、最新の情報や追加コンテンツをアップデートしていき、一定の読者購読が達成された場合に最終版をフルカラーの書籍版印刷物として出版する予定です。

          Vol.4 特集完全解説「AniFusion」は書籍化達成いたしました!

          画像
          厚さが決まらないと背表紙が決まらないので表紙が大変(デザイナー談)

          図書館等にも入れられる「手に取って、重さがわかるAI」として幅広い読者に向けて届けてまいります。ぜひともクリエイティブAIを陽のあたる場所に持っていきたい!という方はKindle Unlimitedで応援お願いします!!

          画像

          ご購入はこちらから!Kindle Unlimitedで無料
          https://j.aicu.ai/MagV5


          お見苦しいところもたくさんあるかもしれませんが
          読者のみなさんのフィードバックも歓迎です!
          ▶編集部へのご感想はこちらから https://j.aicu.ai/MT24v5

          AICU Inc. について:Xアカウント@AICUai https://corp.aicu.ai/ja

          生成AI時代につくる人をつくる」をビジョンに活動する2023年に設立された米国シリコンバレーを本拠地にするデジタルハリウッド大学発のスタートアップ企業です。書籍「画像生成AI Stable Diffusionスタートガイド」(SBクリエイティブ刊)、LINEアカウント「全力肯定彼氏くん」「AI確定申告さん」、Webに住むAIアイドル「AICuty」など楽しみのあるAI体験を開発する「AIDX Lab」、わかるAIを楽しく届ける AI総合メディア「AICU media」、AI人材教育コンテンツ開発、障がい者向けワークショップ開発、AIキャラクター開発運用、某有名企業の新技術プロトタイプコンテンツ開発など「クリエイティブAI」ならではのコンテンツ技術開発・体験開発を世界的な企業に展開している価値開発企業。画像生成AI「Stable Diffusion」を開発公開した Stability AI 公式パートナーであり、Google for Startups認定スタートアップでもあります。1994年に杉山知之が創立したデジタルハリウッド大学(愛称「デジハリ」)はCGやデジタルクリエーションを専門に学ぶ学校ですが、開学のころからずっと変わらず伝えていることは『すべてをエンタテインメントにせよ!』 。エンタテイメント技術の研究開発で30年の経験を持つCEO白井暁彦とAI社員、少数精鋭の人間味あふれる多様なスタッフや協力クリエイターとともに、すべてをエンタテインメントにするまで追求する文化が AICUにも息づいています。

          Originally published at https://note.com on Oct 1, 2024.

        1. 【Coloso講座】ComfyUIマスター:カスタムノードとアプリ開発

          Colosoとコラボ製作第3弾

          生成AIクリエイティブ集団 AICU が贈る、ComfyUIマスター講座!
          画像生成AIの最前線を行くツール「ComfyUI」を徹底的に使いこなすための、実践的なオンライン講座が登場しました。

          詳細はこちら
          「生成AIクリエイティブ AICU」シリーズ
          ■ComfyUIマスター:カスタムノードとアプリ開発

          https://j.aicu.ai/Coloso3

          講座の特徴

          • 基礎から応用まで!画像生成に必要なAIスキルを習得:
            初心者にも分かりやすい丁寧な解説からスタートし、徐々に高度なトピックへと進むカリキュラム設計。環境設定から、text2image、image2image、ControlNet、LoRA、API開発まで、ComfyUIの機能を網羅的に学習できます。
          • 実践的なアプリケーション開発を通した技術の応用:
            講座後半では、VFXパイプラインやAPIの利用、LINEチャットボットの開発など、実際のアプリケーション開発に挑戦!学んだ知識を活かして、 すぐに仕事に役立つ実践的なスキルを身につけることができます。
          • 生成AI時代の著作権と倫理、そして今後の展望:
            生成AIを取り巻く法的・倫理的な問題、そして今後の展望について深く考察。AI技術を正しく、責任を持って活用するための知識と実践的なガイドラインを学び、持続的な創作活動を行うための基盤を築きます。

          講座内容

          • 基本的なワークフローの理解と構築
          • 高度な画像生成技術の習得
          • プロンプトエンジニアリングと画像の最適化
          • API統合と自動化
          • 実践的なアプリケーション開発と統合
          • 責任あるAI活用のための倫理と未来予測

          受講対象

          • 画像生成AIに興味のある方
          • ComfyUIをもっと使いこなしたい方
          • AIスキルを身につけて、これからの時代に活躍したい方
          • デザイン、アート、広告など、クリエイティブな仕事に携わっている方
          • 業務で画像生成AIを活用したい企業クリエイターの方

          【講師紹介】


          [早野康寛] DX支援企業「ポノテク株式会社」代表取締役、ChatGPT登場以来、生成AIの情報を追い続け、画像生成AIを中心に実用的な情報発信や社会実装に尽力。

          こんにちは、早野康寛です。DX支援をするポノテク株式会社の代表取締役を務めています。ChatGPTの登場以来、生成AIの情報を追い続け、今は画像生成AIを中心に実用的な情報の発信や、生成AIの社会実装に尽力しています。また、画像生成AIの情報を発信する中で、AICU Inc.と関わりを持ち、ComfyUI連載「ゼロから学ぶComfyUI」に掲載する記事の執筆や、先日、渋谷で開催されたComfy Org公式ミートアップでの発表などを行っています。

          連載「ゼロから学ぶComfyUI」より
          [ComfyMaster20] ComfyUIの高度インペイント技術で自然な髪型変更を実現! https://ja.aicu.ai/comfymaster20-20240920/

          【経歴/受賞歴】
          2024年 Bond University MBA取得
          2023年 Ponotech Inc. CEO
          2020-2021年 数億円のM&Aの売り手側を担当
          2019-2023年 ソフトウェア開発企業にて受託開発のリーダーを務める
          2018年 半導体製造装置の量産化対応を担当
          2013-2016年 海外向けプレス機械の制御設計として活躍

          早野康寛 ポノテク株式会社 代表取締役
          X (Twitter) https://x.com/earlyfield8612

          [白井暁彦] 生成AIクリエイティブ「AICU」代表、AICU media編集長。デジタルハリウッド大学大学院特任教授、エンタメ・メタバース技術研究者、ホワイトハッカー作家。

          こんにちは、白井暁彦です。エンタメ・メタバース技術の研究開発に携わりながら、ホワイトハッカー作家として活動しています。また、デジタルハリウッド大学大学院の客員教授と、デジハリ発の国際スタートアップ企業「AICU Inc.」のCEOを務めています。そして、生成AI 時代に「つくる人をつくる」をビジョンに、英語と日本語、フランス語、プログラミング言語などで、オープンな作家活動を続けています。

          【経歴/受賞歴】
          2023年 デジタルハリウッド大学大学院 特任教授
          2023年 AICU Inc. CEO
          2018-2023年 グリーグループでメタバースの研究開発ディレクター
          2018年 デジタルハリウッド大学大学院 客員教授
          2010-2018年 神奈川工科大学 情報学部 情報メディア学科 准教授
          2008-2010年 日本科学未来館 科学コミュニケーター
          2004-2007年 フランス国立工芸大学ENSAM客員研究員
          2003-2007年 NHK-ES研究員にてバーチャルセット技術研究
          2003年 東京工業大学 総合理工学研究科 知能システム科学にて博士取得
          1998-2001年 キヤノングループで英国リアルタイムグラフィックスエンジンの開発

          【主な著書】
          – 2024年 『画像生成AI Stable Diffusion スタートガイド 』(SBクリエイティブ)
          – 2022年 『AIとコラボして神絵師になる 論文から読み解くStable Diffusion』(インプレスR&D)

          白井暁彦 AICU Inc. CEO / デジタルハリウッド大学大学院特任教授
          X (Twitter) https://x.com/o_ob

          【講師陣のメッセージ】

          早野 康寛: ComfyUIは、コードを書くことなく誰でも簡単に画像生成AIを活用できる、非常に優れたツールです。本講座は、エンジニア、デザイナー、クリエイター、研究者など、さまざまなニーズに対応できるよう設計されています。初心者の方でも、講座を通してComfyUIをしっかりと習得し、思い描いた画像を自由に生成できるようになるでしょう。ぜひご受講ください!

          白井 暁彦: Colosoさんとのコラボ企画第3弾は「ComfyUI」です。ComfyUIを触り始めて約1年。Automatic1111をキャッチアップした「SD黄色本」のときは「まだ早すぎる」という判断があったのですが、画像生成からシステム開発まで広範な内容を動画でわかりやすい教材として開発を進めています。
          もちろんお気づきのように「ゼロから学ぶComfyUI」の連載でのノウハウが生きています。「つくる人をつくる」AICU mediaとともに沢山の方々に応援されているこの連載が、さらに動画ラーニングメディアとして、世界中の方々に「わかるAIを届ける」活動としてお届けできることを嬉しく思います。

          https://note.com/aicu/m/md2f2e57c0f3c

          AICU開発! 本講座だけの特典

          • AICUによるComfyUIの知識が詰まった講座動画24講を期間制限なしで受講可能
          • 講座を通して12個の課題を通してAIスキルを習得
          • 講座で使用するワークフローを含むPNGデータなどの資料を提供
          • 画像生成ワークフロー集
          • AICUのノウハウが詰まったPDF資料を提供

          今すぐ予約して、ComfyUIマスターを目指そう!

          2024/10/5 (土) に販売価格が上がります。
          今ならお得な割引価格で受講できます。

          さらに、今なら先着100名様限定で、この講座限定で5,000円割引が受けられるシークレットクーポンも使えるみたいです!ぜひチェックしてください。

          【クーポン情報】
          ●割引金額:5,000円
          ●クーポンコード:[AICU3SECRET]
          ●使用期限:9月30日~10月7日23時59分まで

          詳細はこちら

          「生成AIクリエイティブ AICU」シリーズ
          ■超入門:Stable Diffusionではじめる画像生成AI
          https://j.aicu.ai/AICUXColosoJP
          ■初級者:広告企画から動画制作までのプロセス
          https://j.aicu.ai/ColosoJPXAICU
          ■ComfyUIマスター:カスタムノードとアプリ開発
          https://j.aicu.ai/Coloso3


          この記事の続きはこちらから https://note.com/aicu/n/n8d2e6994dac3

          Originally published at https://note.com on Sept 30, 2024.

        2. [ComfyMaster21] ComfyUIのAPI化 – Websocketで外部保存

          「ComfyUIをサービスに組み込みたい!」
          そんな方は、ComfyUIをAPI化すればOK!ComfyUIは、最初からAPI化する機能を持っているので簡単です!

          ComfyUIを自社のサービスに組み込むための基本テクニックは、先日、渋谷で開催されたComfyUIミートアップでも話題になりました。

          こんにちは、AICU media編集部です。
          ComfyUI マスターガイド」第21回目になります。
          本記事では、ComfyUIをAPIとして外部から利用する方法を解説します。

          前回はこちら

          今回は、ComfyUI APIサーバー化する上での基本的な使い方を解説します。15,000文字ぐらいでVSCodeやPythonのインストールから、API経由でWebsocketを使った画像保存まで、自分のPythonコードで実装していきます。今回解説する内容は「かなり玄人向け、システム開発などに用途が限られるかも?」という印象があるかもしれませんが、アニメーションシステムへの応用や、インタラクティブな体験開発、AWSでのインスタンスから画像を保存したり、UnityやUnreal Engineなどのリアルタイム処理のアプリから画像をリクエストしたり、DiscordサーバーやDifiなどのチャットシステムのAPIエンドポイントとして使用したり……と、使用するワークフローを多様にすることで、様々な用途で使用することができるでしょう。用途は無限大なので、ぜひ活用して X@AICUai にてフィードバックをいただければ幸いです。

          1. 前提条件

          今回の記事では、以下の前提条件に基づき、APIを実行します。

          • Google ColabでComfyUIを動作させる
          • ローカルPCからPythonでComfyUIのAPIを実行する
          • ワークフローは、標準ワークフローを使用する
          • 生成画像は、ローカルPCにダウンロードして保存する

          今回使用するPythonコードは、ComfyUIの公式が提供しているwebsockets_api_example_ws_images.pyというサンプルコードを基に、Google Colabで動作するComfyUIと通信できるように改修したものになります。公式のサンプルコードは、以下のリンクより確認できます。

          https://github.com/comfyanonymous/ComfyUI/blob/master/script_examples/websockets_api_example_ws_images.py

          以下が今回使用するPythonコードのフローになります。

          画像
          1. ユーザーがプログラムを開始します。
          2. メインプログラムが「workflow_api.json」ファイルを読み込みます。
          3. プロンプトのテキストとシードが修正されます。
          4. 修正されたプロンプトがComfyUIサーバーのキューに追加されます。
          5. サーバーからprompt_idが返されます。
          6. WebSocket接続が確立され、状態更新の待機が始まります。
          7. サーバーが状態更新を送信し、キューが空になるまで続きます。
          8. 画像データが送信されます。
          9. プログラムが次の画像番号をファイルシステムから取得します。
          10. 生成された画像がファイルシステムに保存されます。
          11. ユーザーに完了が通知されます。

          2. ComfyUIのAPIについて

          ComfyUIは、起動と同時にAPIとして利用することが可能になっています。これは、Prompt Serverで実現されています。Prompt Serverは、API を通じてフロントエンドと連携し、ユーザーが複雑なワークフローを構築し、画像生成プロセスを制御することを可能にします。

          旧来のRESTfulなAPIや、FastAPIやAutomatic1111とも異なる設計のようです
          RESTfulならステートレス性(Stateless)が必要ですが、今回の例ではWebsocketを使って画像を転送します。HTTPをベースにしたステートレスなクライアント/サーバプロトコルではないですが、セッション等の状態管理をして、リアルタイム性や高速転送を実現しているように読み取れます。

          WebSocketによる状態把握

          Prompt Serverは、WebSocketを利用し、フロントエンドとの双方向通信を実現しています。これにより、キューの状態変化、ノードの実行状況、モデルのダウンロード進捗など、リアルタイムな更新をフロントエンドに通知することができます。本稿を執筆した2024年9月29日時点での実装ベースで分析した主な WebSocket イベントは以下になります。

          • status: キューの状態 (実行中のタスク数、待機中のタスク数など) を更新します。
          • executing: 現在実行中のノードの情報を提供します。
          • progress: KSamplerなどのサンプリング処理の進捗状況を通知します。
          • execution_success: ワークフローの実行が完了したことを通知します。

          エンドポイント

          • /: ComfyUI のフロントエンド (index.html) を提供します。
          • /embeddings: 使用可能な埋め込みのリストを取得します。
          • /models/{folder}: 指定されたフォルダ内のモデルのリストを取得します。
          • /extensions: 使用可能な拡張機能のリストを取得します。
          • /upload/image: 画像をアップロードします。
          • /upload/mask: マスク画像をアップロードします。
          • /view: 画像を表示またはダウンロードします。
          • /view_metadata/{folder_name}: safetensors ファイルのメタデータを取得します。
          • /system_stats: システムの統計情報を取得します。
          • /prompt: プロンプトをキューに追加します (POST) またはキューの状態を取得します (GET)。
          • /queue: キューを操作 (クリア、プロンプトの削除など) します。
          • /interrupt: 実行中の処理を中断します。
          • /free: メモリを解放します。
          • /history: プロンプトの履歴を取得または操作 (クリア、履歴の削除など) します。
          • /internal/models/download: 指定された URL からモデルをダウンロードします。
          • /object_info: 全てのノードまたは特定のノードクラスの情報を取得します。

          3. Pythonコード実行環境の準備

          今回は初のPythonコード実行環境の準備になります。WindowsやMac環境で共通の解説を行っていきます。一見難しそうですが、初心者向けに丁寧に解説していきますので、ぜひついてきてください!


          画像生成AI「ComfyUI」マスターPlan

          画像生成AI「Stable Diffusion」特に「ComfyUI」を中心としたプロ向け映像制作・次世代の画像生成を学びたい方に向けたプランです。最新・実用的な記事を優先して、ゼロから学ぶ「ComfyUI」マガジンからまとめて購読できます。 メンバーシップ掲示板を使った質問も歓迎です。

          • メンバー限定の会員証が発行されます
          • 活動期間に応じたバッジを表示
          • メンバー限定掲示板を閲覧できます
          • メンバー特典記事を閲覧できます
          • メンバー特典マガジンを閲覧できます
          • 動画資料やworkflowといった資料への優先アクセスも予定

          ゼロから学ぶ「ComfyUI」マガジン

          https://note.com/aicu/m/md2f2e57c0f3c

          マガジン単体の販売は1件あたり500円を予定しております。
          2件以上読むのであればメンバーシップ参加のほうがお得です!というのもメンバーシップ参加者にはもれなく「AICU Creator Union」へのDiscordリンクをお伝えし、メンバーオンリー掲示板の利用が可能になります。

          https://note.com/aicu/membership/boards/61ab0aa9374e/posts/db2f06cd3487?from=self

          もちろん、初月は無料でお試しいただけます!
          毎日新鮮で確かな情報が配信されるAICUメンバーシップ。
          退会率はとても低く、みなさまにご満足いただいております。
          ✨️オトクなメンバーシップについての詳細はこちら


          この記事の続きはこちらから https://note.com/aicu/n/n1d717357047f

          Originally published at https://note.com on Sept 29, 2024.

        3. 東京ゲームショウ2024でみつけたエンタメxAI技術!融合型モーションキャプチャー

          東京ゲームショウ2024でみつけたエンタメxAI技術、前回のスイス発・感情リストバンドとクラウド分析「OVOMIND」に引き続き紹介するのは中国のモーションキャプチャーの機材メーカー「NOKOV」(ノコフ)です。

          東京ゲームショウ2024「AIテクノロジーパビリオン」というゾーンでは、AI技術に注目したソリューションをもつ技術企業が数社か出展していました。AI技術が未来のゲームや映像制作を変えていくのかが注目を集めています。30年以上前から製品化が続けられているプロ向けのモーションキャプチャー分野ですが、ちょっと新しいアプローチで興味深い特に印象に残ったのが、中国のモーションキャプチャー機材メーカー「NOKOV」です。

          「融合型」モーションキャプチャー技術

          NOKOVは、中国の北京・上海・深セン市を拠点とする企業で、今回の展示で披露されたのは、彼らの「融合型」ともいえるモーションキャプチャーシステムです。特筆すべきは、上に8台、前後に3台ずつ配置されたカメラのシステムで、体全体の動きに加えて、手に持たれた剣の動きも正確にキャプチャーできるという点です。上の8台のカメラは赤外線マーカー技術が使用されており、正面の3台のカメラにはRGBカメラによってリアルタイム処理されています。

          注目すべきは、このアクター(剣を持ったおじさん)にはマーカーが付いていないという点です。
          ★見えないけれど、足にマーカーが付いているのかもしれません(確認中)

          ビジョンベースとマーカーベースの融合技術

          興味深かったのは、NOKOVがビジョンベースとマーカーベースの両技術を採用している点です。ビジョンベースではカメラの映像解析で動きを捉え、マーカーベースでは人体に装着したマーカーを使って細かな動きを精密に計測します。この組み合わせにより、映像制作においてより多彩な表現が可能になっているのです。

          一般の方には「これのどこがAI技術なの?」と、わからない可能性がありますが、これはまさにAI技術の融合ですね。
          コンピュータビジョンによる姿勢推定はさまざまなアルゴリズムが提案されていますが、モーションキャプチャーの拘束な多点マーカー技術とビジョンベースのRGBカメラによる融合型のソリューションは、以下のような利点があります。

          ・特別なモーションキャプチャースーツを着なくてもいい
          ・オクルージョン(隠れ)や多人数に強い
          ・高価なカメラを増やさずに拡張できる
          などなど…

          Unreal Engine や Unity との連携

          NOKOVのシステムは、業界でも人気の高い「Unreal Engine」や「Unity」と完全に連携しており、リアルタイムでの動作キャプチャーや、録画機能を活用しての編集作業が可能です。これにより、キャラクターの動きがより滑らかに再現され、映像やゲームの世界にリアリティが加わります。

          多言語対応のユーザーインターフェース

          さらに、ユーザーインターフェースは中国語が標準となっていますが、日本語を含む他言語にも対応しているため、日本のクリエイターにも使いやすい環境を構築できる可能性があります。

          東京ゲームショウ2024で発見した「NOKOV」は、今後のエンタメ業界を大きく変える可能性を秘めています。AI技術と組み合わせたモーションキャプチャーの進化は、ゲームや映画、さらには新たな表現の可能性を広げるツールとして、これからの未来に期待が高まりますね!

          Originally published at https://note.com on Sept 28, 2024.