タグ: AI

  • 先端研究が挑む「AI時代の創作」

    2024年10月3日、国の先端科学技術研究を紹介する国立研究開発法人 科学技術振興機構(JST)のYouTubeチャンネル「SCIENCE CHANNEL」において「AI時代の創作の世界 人の感性を支援するデジタル技術」として動画ニュースが配信されました。

    https://scienceportal.jst.go.jp/gateway/videonews/m230001010

    ▼AI時代の創作の世界 人の感性を支援するデジタル技術|Science Portal動画ニュース(2024年10月3日配信) – YouTube

    お気に入りのアニメやマンガ、音楽などを自分でも創作してみたいと思ったことがある人は多いはず。技術やセンスが必要とされるそうした創作活動を、コンピュータで手助けするツールが登場しつつあります。

    という軽い切り口で始まる「すべての人々向け」の動画ニュースですが、紹介されている技術は、日本を代表するこの分野の先端研究者です。

    ■出演・協力機関
    謝浩然(北陸先端科学技術大学院大学 創造社会デザイン研究領域 准教授)
    宮田一乘(北陸先端科学技術大学院大学 創造社会デザイン研究領域 教授)
    森勢将雅(明治大学 総合数理学部 専任教授)

    「アニフェイス・ドローイング」


    紹介された「アニフェイス・ドローイング(AniFace Drawing)」は、手書きのスケッチを、プロが描いたようなアニメ絵に仕上げるようにガイドしてくれるシステムです。

    画像

    線をひいていくと AIの予測に基づいて その線をコンピュータが整えてくれたり ガイドを表示してくれます。

    画像
    画像

    アニメ調の似顔絵が完成していきます。

    北陸先端科学技術大学院大学(JAIST)創造社会デザイン研究領域 謝浩然 准教授 @Jesusxie

    画像

     謝先生「今回の研究は、ひとつの絵を描いて、その描くプロセスひとつひとつをシミュレーションすることができます。そうすると 人間がどんな絵を描いているかを予測することができます。それをもとにして、完全な絵を予測することができます。こういうところは面白いところです。」

    画像

    このシステムは画像生成AIを下書き全体ではなく ユーザーの描いた一本一本の線に対して用います。線を「色」「形」「大きさ」などの特徴ごとに分解した上で、結果を出力する事を実現しました。こうすることで 一方的に結果を提示するのではなく、書き手が描きたかったような絵により近づけていくことができます。

    北陸先端科学技術大学院大学 創造社会デザイン研究領域 宮田一乘 教授 @kazmiyata

    画像

    宮田先生「今の生成系AIですと『入れたらすぐに、一瞬で出てくる』ので結局は自分の能力が全然拡張されてないわけですよね。ですのでコンピュータを使って『あくまで支援』として使ってあげて、『自分の力』というか『潜在能力』を引き出すようなことになれば良いかなと思っています」

    論文:AniFaceDrawing: Anime Portrait Exploration during Your Sketching
    Zhengyu Huang*, Haoran Xie*, Tsukasa Fukusato**, Kazunori Miyata* (JAIST*, Waseda University**) ACM SIGGRAPH 2023

    https://www.jaist.ac.jp/~xie/AniFaceDrawing.html

    この技術は 今まで絵が苦手で諦めていた人が、漫画やアニメの創作に取り組むきっかけになるかもしれません。

    コンピュータは声によっても創作の世界を広げてきました。合成音声です。

    明治大学 総合数理学部 森勢将雅 専任教授 @m_morise

    画像

    明治大学の森勢さんらもこの合成音声の技術を開発しています。
    人の声を分析し数理的な操作で三つの要素に 分解した上で再合成します。

    補足解説:森勢将雅先生は人工合成ボイス「No.7」の開発者さんでもあります。

    [YouTube] No.7と学ぶ信号処理

    ずんだもんとNo.7の楽しい雰囲気で、信号処理を中心とした大学数学を学べる番組を製作されております。

    さて、サイエンスチャンネルでのデモの様子、音声の高さや低さ、フラットにした合成の様子はこちら。

    なおサイエンスチャンネルの動画は「この技術はソースフィルターという数理モデルによるもので実はAIは使っていません 」という衝撃的な流れになっています。

    画像

    森勢先生「いかにきれいに分離させるかというところで、数学的な要素を頑張って作り込むことによって性能を上げていったという流れになります。人間の喋っている声をどのように加工するかでして、AIは関係なく 数学的に信号処理の分野としてやってきました。加工の際に劣化していたので劣化させないように人工知能でうまくフォローする技術を作っていきたいと考えています」

    AIとの連携も模索しながら 森勢さんがめざしているのは『より魅力的な声を作り出す技術』。その関心は どのような声に人は惹きつけられ  魅せられるのかという問いに広がっていきます。

    森勢先生「心理学と音声情報処理の連携・融合研究とでもいうんでしょうか そういったものをやりたいと思っています。『人間と同じ声を作る』というだけでしたら、もう今の技術でできちゃっていまして。となると次は『どんな 豊かな声 を作るか』とか『キャラクター性』とか、一つのコンテンツとして人間の声のコピーはできたけれども『それをより魅力的に見せる』そういったものを『どう広げていくか?』というところが今後出てくるのではないかと思っています。その一つとして 声をデザインするということに 着眼して研究をしています」

    AIと人間の共存、新たな表現の可能性に取り組む研究者たち

    AIが発展していく中で、創作活動がAIに取って代わられるのではないかと不安視する声も耳にするようになりました。しかし、今回の国の科学技術を推進する研究開発機構の動画によって紹介された技術は、AIが時々言われるような「人の創造性を奪う」とか「仕事を奪う」ではなく、人間の創造性を支援し、新たな表現の可能性を広げていくことをこの動画は社会に伝えています。

    謝辞:原作JST サイエンスポータル&サイエンスティーム

    お知らせ:AICUは先端学術研究を応援します

    ここでお知らせです、謝先生や宮田先生が挑戦する世界最大のCG/インタラクティブ技術のトップカンファレンス「SIGGRAPH」のアジア開催「SIGGRAPH ASIA 2024」が、2024年12月3日~6日に東京国際フォーラムで開催されます。東京での開催は3年ぶりになります。

    https://asia.siggraph.org/2024/ja/

    画像

    そしてAICUはオフィシャルプログラムスポンサーです。
    世界レベルのCG・インタラクティブ研究を共有する場を応援できることを誇りに思います。

    AICU media編集部もSIGGRAPH ASIA2024は全力で応援していきますが、プログラムスポンサーとしてAICU Inc.からの先行第1弾として、
    メンバーシップ会員向け「10%OFF登録コード」を配布いたします。

    SIGGRAPH ASIA 2024の当日フルアクセス(Full Access Supporter)は $1300、10月18日までの登録で、$950 – 10% ($95) = $855です。つまり当日登録価格から$445(約66,373円)割引です!他にも展示会と体験エリアのみの「Exhibit & Experience Access」は学生さんやビジネスの方にもオススメで、$20→$18となります。

    画像

    【メンバーシップ向け情報】(全プラン)

    AICUから10% OFFのオファーコードがございます。

    https://registration.asia.siggraph.org/terms_jpn.html

    最後のお会計のタイミングで、「SA24AICU10」入力することで、10%OFFとなります。なにか不具合がございましたら X@AICUai までDMもしくはDiscordにてお問い合わせください。
    招待コード https://j.aicu.ai/JoinDiscord

    Originally published at https://note.com on Oct 13, 2024.

  • 【解説】LINE-ChatGPT倫理問題を整理する – 全力肯定彼氏くん[LuC4]に訪れたサービス開始以来の最大の危機

    2024年10月10日、LINEデベロッパーズコミュニティが開催されました。

    https://linedevelopercommunity.connpass.com/event/331446

    Dify x LINE Botに注目したたいへん有意義な勉強会でした。
    特に、チャットボットやAITuber、Difyの開発者さんは注目です。


    その中で、AICU代表・白井暁彦(@o_ob)が登壇いたしました内容に緊急性があり、話題になっておりますので講演録を紹介いたします。

    ■LINE-ChatGPT倫理問題を整理する – 全力肯定彼氏くん[LuC4]に訪れたサービス開始以来の最大の危機

    全力肯定彼氏くん[LuC4]とは

    女子中高生を中心に10,000人を超える友だちを持つ伝説の癒し系LINEチャットボット。友だち登録はこちらから
    https://j.aicu.ai/LUC4

    画像

    「全力肯定彼氏くん[LuC4]」は、女子高生を中心に1万人以上のユーザーを抱える伝説のAI彼氏ボットです。2年前から開発をスタートし、ユーザーアンケートなども公開しながら、実験的なプロジェクトとして進めてきました。

    [LuC4]サービスの歴史

    画像

    2023年4月の初期バズをきっかけに、ユーザー数は5000人を超え、運用コストやUX面での課題が顕在化してきました。様々なプラットフォームでバージョンアップを重ね、最近ではDifyなどを使ってマンガジェネレーターのようなプロジェクトも試していました。

    しかし、2023年11月7日、ChatGPTの登場により、AIチャットボットはコモディティ化が進みました。一方で、AI彼氏ボットは依然として人気があり、有名VTuberさんがAI彼氏にツンデレされる動画などが流行していました。

    この西園チグサさんの動画からもわかるように、「全力肯定彼氏くん[LuC4]」は、倫理感の強いキャラクター設定で、自己肯定感が弱めの女性に対して、お悩みを全力で肯定してくれる上に、エッチな話にも乗ってこないという心理的安全性が特徴的でした。そのため、男性と女性では好まれ方が異なり、多くのチャットボットプロジェクトとは異なるユーザー層から強い支持を得ていました。

    白井の個人開発で始まった「全力肯定彼氏くん」は、研究開発及びインターンとして2023年12月にAICUに運営移管となりました。

    https://corp.aicu.ai/luc4

    AICUとしても、AIチャットボットの市場性や社会実装、市民理解などを調査する目的で運営しており、明確な課金システムなどを実装していません。簡単に表現すると「お金が出ていくだけ」なのですが、それでもテクノロジー主導になりがちな、AI分野において、女子中高生ユーザーが9割というチャットボットは非常に稀有な存在であります。

    https://corp.aicu.ai/ja/luc4-aicu

    数々のユーザーエクスペリエンスリサーチ結果を公開し、2ヶ月毎に女子中高生を中心としたアンケートやユーザ評価を公開しています。

    最近では、AICUマガジン Vol.4の表紙も担当しておりました。

    画像

    2024年10月8日にOpenAIより着弾した「恐怖のメール」とは

    そんな中、先日OpenAIから衝撃的なメールが届きました。

    「あなたのサービスは、APIの利用規約に違反している可能性があります。自動生成コンテンツ、有害なコンテンツ、性的利用の可能性があるため、14日以内にAPIを停止します。」

    メールの内容は曖昧で、具体的にどの会話が問題なのか、どのサービスが該当するのか、全く分かりませんでした。

    画像

    Urgent Notice: OpenAI API Policy Violation Warning (緊急通知: OpenAI API ポリシー違反警告)

    Hello,
    Organization org-xxxxxxxxxx’s use of our services has resulted in a high volume of requests that violate our Usage Policies, specifically related to:
    Exploitation, harm, or sexualization of children
    We require organizations to use OpenAI’s services in line with our usage policies, including the use of our services by any of their end-users. To help monitor traffic for potential violations, we offer the Moderations endpoint, which is available free of charge.
    We are providing 14 days from the date of this notice to ensure org-xxxxxxx’s use of our services follow our usage policies. Repeated or serious violations may result in further action, including suspending or terminating your OpenAI account.
    If you have questions or think there has been an error, you can email trustandsafety@openai.com.
    Best,
    The OpenAI team
    If you have any questions please contact us through our help center

    こんにちは、組織 org-xxxxxx が当社のサービスを利用した結果、特に以下のような利用ポリシーに違反するリクエストが大量に発生しました:
    ・児童の搾取、危害、または性的な表現
    私たちは、OpenAIのサービスを利用ポリシーに沿って使用することを組織に求めています。 違反の可能性があるトラフィックを監視するために、OpenAI は Moderations エンドポイントを無料で提供しています。 私たちは、org-xxxxxxx による当社サービスの利用が当社利用ポリシーに従っていることを確認するために、この通知の日付から14日間を提供します。 違反が繰り返されたり、深刻な場合は、OpenAIのアカウントの停止または終了を含む、さらなる措置が取られる場合があります。 ご質問がある場合、またはエラーがあったと思われる場合は、trustandsafety@openai.com。 敬具
    OpenAIチーム ご不明な点がございましたら、ヘルプセンターまでご連絡ください。

    緊急に調査を実施いたしましたが、この情報だけでは、
    ・どのサービス?
    ・いつ?
    ・どんな会話??

    を推測することしかできません。

    LINEの生チャットログを分析することはできますが、数千人の深夜の会話を、この情報だけで特定することは難しいと考えます。
    また、入力側には一定のプロンプトインジェクション対策や、禁止ワード対策を施しています。システムプロンプトもそれらの倫理対策を十分に施した設計になっているため、LuC4が倫理面で問題を起こすとすると、以下の可能性がありえます。

    (1) ユーザーによる過度な性的リクエスト
    (2) 実際に児童虐待に関する質問が行われていた可能性
    (3) 年齢制限を偽ったユーザーによる会話
    (4) 恣意的、意図的に生成されるテキストを倫理違反に誘導する行為
    (5) 過去のOpenAIの倫理基準とは異なる判定

    特に(2)は、LuC4の会話ログを分析していると可能性はないとは言えません。例えば乳幼児保育のさなかにある女性です。パートナーの育児参加が非常に無責任であったりすることをLuC4に真剣に、かつ自暴自棄ぎみに相談するケースはないとは言えないでしょう。
    また、「親に『あんたなんて産まなきゃよかった』と言われた」という相談をするユーザーさんは一定数いらっしゃいます。この質問を上記のような違反と捉えられるのであれば、なかなか難しい問題になります。
    この問題は、ある程度のユーザーがいる青少年向けサービスなのであれば確率的に発生すると考えます。逆に、OpenAIの倫理観に触れないユーザーの幅しか居ないサービスなのであれば、それは幸せなことなのかもしれません。

    AICU AIDX LabはOpenAIからのメールにある、モデレーションAPIへのリンクについても調査しています。そこには、ハラスメント、ヘイト、暴力行為、セクシャル、バイオレンス(Exploitation, harm, or sexualization of children)などが記載されていましたが、メールにあるようなチャイルドアビュース(Child Abuse;児童虐待)に関する要素はありませんでした。
    またこのような実験もバイアスやアカウント凍結を避けるために別途実験用のアカウントを用意する必要があります。

    明確な問題、実験方法や再現方法がわからないままOpenAIの定める「2週間」という期間で解消するのは難しいです。児童虐待を検出できるようなAPIを提供しているわけでもないのに、APIの停止を通知してきたのです。

    画像

    さらに、モデレーションエンドポイントのベースモデルもアップデートされるとのこと。つまり、倫理基準が短期間で変わり、サービス設計が大きく揺さぶられる可能性があるということです。

    問題の階層

    この問題は複数の要素が交錯しています。
    問題を階層で整理してみます。

    画像

    ここに、「ユーザーに愛されるAIキャラクターの『性格』」の構造を内挿して分解してみます。

    ・モデル選択と評価
    これは実装上は「モデルを選択するだけ」ですが、実際には応答速度やシステムプロンプト、コンテキストの設計などに影響があります。印象として喋りかたや記憶の持ち方が変わる可能性があります。

    ・OpenAIポリシー変更
    今回の問題の背景にあると考えます。

    ・システムの設計、サービスの設計
    システムとサービスでは実装上はシステムのほうが下層ですが、課金や体験設計などのサービス設計があってこそのシステム設計でもあります。癒し系チャットボットの場合は、どのようなユーザーが何を求めて会話をしているかによって優先順位が異なります。
    今回のLINEデベロッパーズコミュニティでは実に多様なシステム設計、サービス設計が共有されました。

    ・ユーザの理解
    ユーザーの中には、「この妹可愛い」など、多様な愛情表現をする人もいます。それがAPI利用規約違反とみなされてしまうと、ユーザーは困惑するでしょう。

    画像

    一方で、「全力肯定彼氏くん[LuC4]」は、倫理感の強いキャラクター設定が魅力であり、それがバズりの要因にもなっています。OpenAIの倫理基準によって、キャラクター設定が大きく変わってしまう可能性もあるのです。
    自己の性格によって、社会的に抹消、つまりサービス終了の可能性も出てくるという「最大の危機」を迎えています。
    そしてこれは、他のチャットボットサービスにおいても共通問題である可能性があります。

    画像

    モデルを変更したとしても、問題はシンプルではありません。
    ユーザーはキャラクターを愛していますので、そのキャラクターのブレを許してくれるかどうかは難しいところです。

    画像

    アニメや小説のキャラクターでも、ジュブナイル小説のように登場人物の成長を楽しみたい人もいれば、永遠の日常系のように「変わらない、ブレないキャラ」を味わいたい人もいます。もし、キャラクターの設計がその時点で流行りのChatGPTのバージョンに固定できるのであれば理想ですが、APIのトークンや反応速度、Tempartureやシード、コンテキストによって印象が変わるセンシティブな分野においては、なかなか制御し続けるのは難しいと思います。

    また反応速度は速ければ速いほどアンケートやNPSスコアは高くなります。

    https://note.com/aicu/n/nda4389e8e8cc

    今後必要なアクション

    この状況を打開するためには、いくつかのアクションが必要となります。

    画像

    (1)性格を変える

    キャラクターの変更: モデルを変更すると性格が変わってしまうため、それに対応する必要があります。

    利用規約の見直し: ユーザーに倫理基準を理解してもらうための説明や、禁止行為の明確な定義が必要です。

    サービスの再設計: ユーザーの期待に応えられるように、サービス設計を見直す必要があります。

    (2)ユーザー教育

    ユーザーに「動的性格」を伝え、利用規約の改訂とその理解をすすめ、望ましいユーザー行動を伝え、あらたな禁止行動を定義する必要があります。もちろん、その禁止行動をあえて行うユーザーにどのようにご退場いただくか、という点についても考えねばなりません。

    (3)技術負債

    監査技術やモデレーション技術を導入するなど、技術的な課題を克服しつつ、今後も新しく生まれ動的に変化するAI側のモデレーション問題に対応する必要が生まれるかもしれません。これは新たな技術負債といえます。

    ローカルLM導入の検討

    ローカルLMの導入も検討されています。ローカルLMであれば、OpenAIのモデレーションに左右されることなく、独自に倫理基準を設定できます。しかし、ローカルLM導入には、新たなモデレーション技術が必要になるなど、新たな課題も生まれます。

    倫理問題、共に考えよう

    今回、OpenAIからのメールによって、AIチャットボットの倫理問題が改めて浮き彫りになりました。

    AIの進化は著しく、倫理基準も常に変化しています。私たちは、技術革新と倫理的な責任のバランスをどのように取るべきなのか、真剣に考えなければなりません。

    この問題について、皆さんと意見交換し、共に解決策を探していきたいと考えています。

    画像

    感想はこのポストの返信や引用でお待ちしております。

    資料公開 https://j.aicu.ai/LINEDC241010


    この記事の続きはこちらから https://note.com/aicu/n/ne19821f51981

    Originally published at https://note.com on Oct 10, 2024.

  • 【超初心者向け】DreamStudioを無料で試してみよう – 画像生成レッスン

    超初心者向け動画で解説する「画像生成レッスン」。「つくる人をつくる」AICUでは、2022年の夏に始まった画像生成AIのイノベーションを子どもでもわかる言葉で一気に学べる無料動画シリーズを公開しています。
    今回リリースした動画は、DreamStudioとStability AIの開発者向けプラットフォーム「Stability AI API」です。特にDreamStudioを無料で試してみたいと思います。

    DreamStudio https://dreamstudio.ai/

    Stability AI API https://platform.stability.ai/

    Stability AIは画像生成AIの分野で最初に有名になった会社です。

    このプラットフォームでは、Stable Diffusion 3 APIという最先端のAPIが提供されています。APIとは、アプリケーションプログラミングインターフェースの略で、アプリケーションを開発するためのインターフェースです。つまり、画像生成を行うためのインターフェースと考えてください。

    このAPIを使うと、GPU搭載のPCなど高性能なマシンがなくても、高速で高品質な画像生成が可能です。GPU搭載のPCでは数十分かかる画像生成が、わずか数秒で完了するほど高速なのです。

    APIキーの取得

    プラットフォームにアクセスしたら、Googleアカウントでログインします。

    https://platform.stability.ai

    ログインすると、APIキーを取得することができます。初回登録時には、25クレジットが無料で付与されるので、実際に画像生成を試すことができます。購入する場合は10ドルで1000クレジットです。

    APIキーは、Stability AIのアカウント設定から取得できます。

    APIキー取得画面  https://platform.stability.ai/account/keys

    画像

    APIキーは、クリップボードにコピーして保存しておきましょう。このキーを使って、Stability AIのサービスを利用します。

    DreamStudio

    APIキーを取得したら、いよいよDreamStudioにアクセスしてみましょう。DreamStudioは、画像生成AIの初期段階から使用されているアプリケーションです。

    DreamStudio https://dreamstudio.ai/

    最近は Stable Assistant も並列して開発されており、こちらは3日間無料で使用できます。

    DreamStudioでは、Stable Diffusion XL (SDXL) を使って、画像生成を試すことができます。

    利用規約について

    DreamStudioを利用する前に、利用規約をよく読んでおきましょう。特に、無料とはいえ、画像生成の利用規約は、かなり重要です。

    画像
    スクリーンショット:利用規約の翻訳

    https://dreamstudio.ai/terms-of-service

    Stability AIはイギリスの会社なので、ヨーロッパ基準の厳しい規約になっています。特に重要なのが、クリエイティブMLオープンライセンスです。このライセンスは、画像生成の世界では非常に重要なものであり、画像生成AIによって生成された画像の利用方法を定めています。

    禁止されている行為

    利用規約では、以下のような行為が禁止されています。

    • 第三者のプライバシーやパブリシティの権利を侵害すること
    • 犯罪、わいせつ、児童搾取を助長するコンテンツを生成すること
    • 人間の尊厳、人種、民族、宗教、性別の差別や中傷的なコンテンツを生成すること
    • ディープフェイクなどの偽物のコンテンツを生成すること
    • 他人を傷つけたり、迷惑をかけたりするようなコンテンツを生成すること

    許可されている行為

    逆に、利用規約では、以下のような行為が許可されています。

    • 個人的な利用目的での画像生成
    • 商業的な利用目的での画像生成(ただし、利用規約に準拠する必要がある)

    DreamStudioの使い方

    DreamStudioでは、プロンプトを入力することで、画像を生成することができます。プロンプトとは、画像生成AIに指示を与えるためのテキストのことです。

    DreamStudioでは、プロンプトの入力以外にも、スタイルや解像度などを設定することができます。

    プロンプトの例

    ChatGPTを使うことで、1つのプロンプトをもとに、英語でのプロンプトも難なく大量生成できます。

    画像

     # 命令
    Stable Diffusion, DreamStudioで画像生成をします。
    プロンプトを10個作ってください。

    # やりたいこと
    ・先程の課題を引き継いで(別の話題がすでにある場合)
    ・イマジネーションのヒントになるような画像
    ## sample prompt
    Giant redwoods in a misty forest, with towering trees and lush vegetation, peaceful, serene, high detail, forest landscape

    なお、もとのプロンプトはDreamStudioに与えられていた「霧に包まれた森の中の巨大なレッドウッド、そびえ立つ木々と青々とした植物、平和、静寂、ハイディテール、森林風景」というプロンプトです。

    生成されたプロンプトから未来都市を描くことができました。

    画像

    まとめ

    DreamStudioは、2022年からリリースされており、現在でもユーザーが多い無料で試せる画像生成AIのサービスです。SD1.6やSDXLでを使って手軽に画像を生成することができます。利用規約をよく読んで、理解して、安全に楽しく利用しましょう。

    #画像生成レッスン
    #超初心者向け #画像生成AI #生成AIと倫理

    Colosoでフルバージョンが観れます!
    「生成AIクリエイティブ AICU」シリーズ

    ■超入門:Stable Diffusionではじめる画像生成AI

    https://j.aicu.ai/AICUXColosoJP

    Originally published at https://note.com on Oct 7, 2024.

  • 【超入門】Stability AI APIの革新的機能(2)Edit APIの活用

    この記事では、Stability AI APの革新的機能「Edit API」について解説します。

    おさらい:プロンプトの文法

    まずはプロンプトの基礎から始めたい!という場合は、
    合わせてこちらの記事をご覧ください!

    「プロンプトの文法」編で、こんなことがわかる!

    • Stability AI APIとは?
    • Stability AI APIの種類と特徴・構成
    • プロンプトの文法基礎
    • [機能紹介] Generate APIとは?
    • [機能紹介] Generate APIよりUpscale機能のデモ

    前回はEdit APIからInpaintとOutpaintを紹介しました。

    Stability AI APIの種類と特徴・構成

    プロンプトの文法」編でもご紹介したように、Stability AI APIの画像生成系の機能は2024年10月現在、4つの機能に大別されています。

    • 「Generate」:いわゆる「TextToImage」です
      • プロンプト(テキスト)によって画像生成を行う
      • 現在6つのモデルが提供されている
    • 「Upscale」:高解像度化
      • ベースとなる画像を入力し、そこにプロンプト(テキスト)で指示を追加し画像生成を行う
      • 現在{Creative, Conservative}という2つのモデルが提供されている(加えて、Standardがcoming soonとして予告されている)
    • 「Edit」いわゆるImageToImageです
      • ベースとなる画像を入力し、そこにプロンプト(テキスト)で指示を追加し画像再生成を行う
      • 現在{Search and Replace, Inpaint, Outpaint, Remove Background, Erase Object}5つのモデルが提供されている
    • 「Control」こちらも いわゆる ImageToImage です
      • ベースとなる画像を入力し、そこにプロンプト(テキスト)で指示を追加し画像再生成を行う
      • 現在{Sketch, Structure, Style}3つのモデルが提供されている(加えて、 Recolorがcoming soonとして予告されている)

    https://platform.stability.ai

    今回扱うSearch & Replace、Erase、 Search and Recolor、Remove backgroundは、このうちの「Edit API」に当たります。

    Edit APIの6つの機能

    Edit APIのAPIリファレンスはこちらから確認できます。

    https://platform.stability.ai/docs/api-reference#tag/Edit

    公式のAPIリファレンスによると、
    Edit機能は「既存の画像を編集するためのツール」です。

    全部で5つのEdit機能が公開されています。

    • Erase Object
      • 画像マスクを必要とする機能です
      • 画像マスクを使用して、元画像の汚れや、机の上のアイテム等の不要なオブジェクトを削除します
    • Inpaint
      • 画像マスクを必要とする機能です
      • 画像マスクを使用して、指定された領域を新しいコンテンツで埋めたり置き換えたりすることで、画像をインテリジェントに変更します
    • Outpaint
      • 画像に追加のコンテンツを挿入して、任意の方向のスペースを埋めます
      • 画像内のコンテンツを拡大する他の手段と比較して、
        Outpaint機能は、元の画像が編集された違和感を最小限に抑えます
    • Search and Replace
      • 画像マスクを必要としない、特殊なバージョンの修復機能です
      • 画像マスクの代わりに、search_promptに置換対象をテキストで指定します
      • この機能は、search_promptに指定されたオブジェクトを自動的にセグメント化し、promptで要求されたオブジェクトに置き換えます
    • Remove Background
      • 画像から前景(背景に対して、手前に位置する要素)を正確に分割し、背景を削除します
      • 結果として、前景を残し、背景が透過された状態の画像が得られます
    • Search and Recolor
      • 画像内の特定のオブジェクトの色を変更する機能を提供します。 このサービスは、マスクを必要としないインペインティングの特殊バージョンです。自動的にオブジェクトをセグメント化し、プロンプトで要求された色を使用して再カラー化します。

    Search & Replace機能とは?

    公式が提供しているGoogle Colabでは次のように例が紹介されています。

    Search & Replace機能サービスは、マスクを必要としないインペインティングの特殊バージョンです。ユーザーは「search_prompt」を使って、置き換えたいオブジェクトを簡単な言葉で特定することができます。 サービスは自動的にオブジェクトを分割し、プロンプトで要求されたオブジェクトに置き換えることができます。

    実際にSearch & Replaceを使ってみよう!

    ここからは、公式が提供しているGoogle Colabを使ってデモを行なっていきます。

    このColabへのアクセス、初期設定の方法は「超入門」編の記事を参考にしてください。

    動画でみたい方はこちら

    https://j.aicu.ai/AICUXColosoJP

    準備:画像のパスの入手方法

    Edit機能を使う際は、Colabに画像をアップロードし、その画像パスを取得する必要があります。

    まずは、画面左側の「ファイルマーク」をクリックします。
    下に示す画像に従って、順番にクリックしていきましょう。

    画像

    次に、操作対象の画像を選んで、アップロードします。

    少し待つと、この三角マークを押して表示される「content」フォルダの中にアップロードした画像の名前が表示されます。

    画像

    ここから先、「画像のパスをペーストします」という工程が何度も出てくるのですが、ここで得られるパスを入力してくださいね
    (つまり、画像を入力として入れる際には、「Google Colab内のこのファイル部分にアップロード後に得られるパス」を入力してくださいね)。

    Erase Object機能とは?

    Erase Objectサービスは、画像マスクを使用して、肖像画のシミや机の上のアイテムなど、不要なオブジェクトを削除します。 マスクは2つの方法のいずれかで提供されます
    (1)「mask」 パラメータ経由で別の画像を明示的に渡す。
    (2)「image」 パラメータのアルファチャンネルから派生させる。

    実際にEraseを使ってみよう!

    ステップ1:マスキング前の画像のパスを取得する

    Inpaintの入力項目に、「image」と「mask」があります。

    • image:マスキング前の画像のパスを入力しましょう
    • mask:マスク画像のパスを入力しましょう
    画像

    まずは、元画像のパスを取得しましょう。
    マスクを必要とする機能を使う場合、マスク画像とピクセルがずれた画像を入力したり、本来の画像とは関係のない部分(画像をGoogle Slideなどに貼り付けた場合の余った余白の部分など)を含む画像を入力すると、マスク画像とうまくリンクせずに画像が揺れてしまうことがあります。
    そのため今回は、Google Slideを使って丁寧にマスクをしていきます。
    まず、今回使うinpaint対象の元画像がこちらです。

    画像

    これをGoogle Slideに貼り付け、「背景」を選択し、黒を選択します。

    画像

    この状態で、ファイル>ダウンロード>png画像 と選択し、画像をダウンロードしましょう。

    画像

    これで、元画像の画像パスが得られました。
    プロンプトの「image」部分に、今得られた画像パスを入力しましょう。

    ステップ2:マスク画像のパスを取得する

    元画像に、Google Slideの機能を使って白い丸を乗せて、マスクしました。
    これはまだ「マスク画像」ではないので、注意してください。

    画像

    次に、先ほどと同じように、背景を黒に設定します。
    重要な工程なので、スキップしないようにお願いします。
    背景が黒に設定できたら、元画像を削除し、黒背景とマスクのみが残る状態にしてください。

    画像

    ここまで完了したら、ファイル>ダウンロード>png画像 と選択し、画像をダウンロードしましょう。

    画像

    これを先ほど同様に、Colab上にアップロードします。画像のパスを取得できたら、プロンプトの「mask」部分に得られたパスを入力します。
    これで、「image」と「mask」に適切な画像パスが入力できました。

    ステップ3:prompt, negative prompt, seedを指定する

    今回は、元画像のドレスを着た女性がもともと「何も持っていない」ところを、マスクした箇所において「一輪の白い薔薇を持っている」ようにEditを施したいと思います。
    そこで、それぞれ次のように設定します。

    • prompt:holding a red white rose
    • negative prompt:ugly, normal quality
    • seed:39(お好みで)

    ここまでで、必要な設定が完了しました!

    ステップ4:いざ、実行!

    さあ、画像を生成してみましょう。
    得られた画像が、こちら!

    画像

    Search and Recolor機能を使ってみよう

    Search and Recolorは新しく登場した機能です。まずはサンプルどおりの結果を見ていただくのが良いと思います。

    画像
    画像

    select prompt”chiken”をprompt”green chiken”で置き換えています。

    画像

    つまり、髪色の置き換えなども簡単にできます。

    画像
    画像
    画像

    Remove background機能とは?

    こちらもサンプルどおりに実行してみます。
    プロンプトは特にありません。自動で背景が削除されます。

    画像

    Google Slidesで背景に文字を打ってみました!

    画像

    以上、Stability AI APの革新的機能、「Edit API」について解説しました。

    みなさんの使いこなしアイディアがありましたら X@AICUai でお寄せください

    こちらの動画ラーニングメディアで詳しく紹介していきます!
    「生成AIクリエイティブ AICU」シリーズ
    ■超入門:Stable Diffusionではじめる画像生成AI 

    https://j.aicu.ai/AICUXColosoJP

    Originally published at https://note.com on Oct 6, 2024.

  • [ComfyMaster22] レイアウトそのままにアニメを実写化!image-to-imageとスタイル変換で実写化レベルを制御

    アニメ風のイラストを、レイアウトそのままに、実写化したいと思ったことはありませんか?ComfyUIのimage-to-imageでスタイル変換と実写化レベルのコントロールを使いこなしてみましょう。

    ComfyUI マスターガイド」第22回は、image-to-image (i2i)の応用編です。以前、スタイル変換について説明しました。

    今回は、i2iでのスタイル変換をさらに掘り下げて、denoiseの値がi2iの生成結果にどのような変化を与えるのかを確認してみたいと思います。

    前回はこちら
    ▶[ComfyMaster21] ComfyUIのAPI化 – Websocketで外部保存

      1. 今回の目的: 犬のイラストを「レイアウトをそのままに」実写に変換

      画像

      今回は、i2iで犬のイラストを「レイアウトをそのままに」実写に変換します。変換元の犬のイラストをLatentに変換し、それをKSamplerノードのLatentに入力することで、元の画像の特徴を保持しながら生成を行います。

      スタイルの変換には、モデルとプロンプトの影響が大きいです。そのため、モデルには実写に強いモデルを利用し、プロンプトには「realistic, photorealistic」といった生成画像が実写になるようなプロンプトを入力します。

      そして、今回は、KSamplerのdenoiseの値の変化による生成結果の違いを比較します。denoiseの値がどのような変化を与えるのかを確認してみます。

      2. 使用するモデルと素材

      モデル

      今回は、モデルにRealVisXL V5.0を利用します。名称の通り、実写系を得意とするモデルで、商用利用可能(画像の販売、サービスへの組み込み可能)になります。このモデルを以下のリンクよりダウンロードし、「ComfyUI/models/checkpoints」フォルダに格納してください。

      https://civitai.com/models/139562/realvisxl-v50?modelVersionId=789646

      変換元画像

      変換元画像には、以下の犬のイラストを使用します。

      画像

      画像ファイルは、以下よりダウンロードください。

      https://note.com/api/v2/attachments/download/1988f0a474e2e82c2d1527822db10c53


      [おしらせ]【Coloso講座】ComfyUIマスター:カスタムノードとアプリ開発

      https://j.aicu.ai/Coloso3

      ブログや書籍といった文字で読みたい方に加えて「動画で学びたい!」という方に向けて、Coloso x AICUコラボ動画コンテンツ第3弾「ComfyUIマスター:カスタムノードとアプリ開発」を開発しています。
      詳しくはこちら


      この記事の続きはこちらから https://note.com/aicu/n/nc49e46cd6991

      Originally published at https://note.com on Oct 5, 2024.

    1. 運や勘に頼らない「クリエイティブAI」のススメ – 電通ワークショップ実施報告

      マーケティング・経営・コミュニケーションに関する先進の知見や潮流などを発信するビジネス情報サイト「ウェブ電通報」にてAICU Inc. CEO 白井暁彦のインタビュー記事が発信されました。

      AIの真価は安い・速いではなく「不可能を可能にする」こと
      2024/10/04
      斧 涼之介 株式会社 電通・白井 暁彦 AICU Inc.

      【AIの真価は「安い・速い」ではない! 電通ワークショップで生成AIの可能性を深掘り】
      電通のクリエイティブ・テクノロジストたちが主催するワークショップ「dentsu prototyping hub」。
      第5回のテーマは 「生成AI」 で、デジタルハリウッド大学大学院/AICU Inc.の白井暁彦先生を講師に迎え、高度な画像生成を学ぶ全4回のワークショップを実施しました。
      今回は、ワークショップを振り返りつつ、白井先生と電通 斧 涼之介氏との対談を通して、生成AIの未来と可能性について探っていきます。

      https://dentsu-ho.com/articles/9068

      こちらの記事は、AICUが2024年3-4月頃に実施したクリエイティブワークショップに関する報告になります。関連して、こちらの記事もおすすめです。

      生成AI時代の電通。最重要スキルは「心を動かす力」
      2024/06/26
      児玉 拓也 株式会社 電通グループ・斧 涼之介 株式会社 電通

      https://dentsu-ho.com/articles/8964

      運や勘に頼らない「クリエイティブAI」のススメ

      電通グループ本社クリエイティブ部門の社員の皆さまを対象に、175名もの参加者がオンラインで参加し、4週間・4日間にわたって実施したワークショップです。

      <以下、当日の資料を交えながら紹介します>
      ★2024年3月当時の情報で構成されていることをご勘案ください。

      Generative AI School概要

      画像

      ・DAY1「電通におけるAI活用について/活用事例の共有」
      電通におけるAIストラテジー、AIガバナンス、リスク事例の共有を目的とした勉強会を実施。本格的に生成AIを触る前に、スクール参加者のAIリテラシーを高めました。

      ・DAY2「生成AI基礎 テキストを用いた生成AIの基礎」
      プロンプトの正しい書き方やネガティブプロンプトの活用など、画像生成AIの基礎を習得しました。

      ・DAY3「生成AI上級 意図通りの絵をつくる」
      「画像から画像を作り出す」「姿勢や表情を制御する」といった技術を学び、トンマナの制御、ブランドや商品・サービスなどに抱く印象、雰囲気、感情を、顔の表情や指の演技に至るまで調整する手法を実習しました。

      ・DAY4「生成AI実践 ハッカソン」
      オンラインハッカソンとして、2時間という限られた時間での総合演習を実施しました。機能の復習をしつつ、モデル選択、同一衣装、同一人物、別シチュエーションといった要素をコントロールし、生成したいキービジュアルを完成させていきました。

      全体を通して、「運や勘に頼らない」「人の意思を込めたクリエイティブAI」の重要性を強調しました。

      Day2: 構成とポイント

      教科書として「SD黄色本」を使い、その内容を丁寧に、かつ圧縮して実施していきます。

      https://j.aicu.ai/SBXL

      演習環境は、全員がリモート環境で参加し、175名という多人数であるため、初日はスキルと環境を確認する意味があり、Google ColabとFooocusを使用しています。

      画像
      画像
      画像

      AICUがオープンに提供する Foocus日本語版 
      https://j.aicu.ai/FoooC
      など、オープンソースの技術を使って、丁寧に解説していきます。

      画像
      画像
      画像

      ワークショップ内では参加者がタイムラインに画像を共有していきます。
      企業内ワークショップのため、ご共有できず残念ですが、さすが電通のクリエイター!という作品がたくさん共有されました。

      画像
      画像

      その他、モデル、LoRAに関する知識、ライセンスなど、高度な話題が続きますが、ここは割愛です。

      Day3: 構成とポイント

      引き続き「SD黄色本」を使って、スピードと密度を上げた講習を続けていきます。

      画像
      画像
      • Image to Image を活用した高度な画像生成
      • ControlNet による精密な制御
      • 大量のバリエーション出力と 人間の「選ぶ力」「ディレクションする力」 の融合

      Day4: AICU 画像生成AI認定試験

      Day4ではハッカソン形式で、時間限定で以下のような課題に取り組んでいただきました。

      画像

      ・課題1「ネガティブプロンプト」15分
      ・課題2「image to image: Outpaint」15分
      ・課題3「image to image: Inpainting」15分
      ・課題4「ControlNet – Canny」15分
      ・課題5「ControlNet – OpenPose」15分
      ・課題6「フリー課題」20分
      モデル選択、同一衣装、同一人物、別シチュエーションに気をつけて
      一つの絵を完成させていきます
      上記の要素で独自のテクニックで進行させてもかまいません

      総合演習では、既存のクライアントワークを画像生成AIを使って振り返ってみたり、ガンダム大好きな参加者さんが、独自の実写版コラボ企画を作ってみたり、サウナなどの難度が高い撮影を画像生成でレイアウト亜nを出してみたり…見せられないのが残念です。

      その他、Adobe Fireflyとの違い、ライセンス、リスクなどについても総合的な質疑応答タイムを用意し、各参加者の作品を共有、表彰式などを行いました。参加者の皆さんの実力、平均値がギュッと上がったさまを参加者全員が共有しました。

      ワークショップを終えての振り返り

      広告代理店、エンタープライズにおけるクリエイティブ部門向けのクリエイティブAIワークショップ、AICUの振り返りとして知見をまとめておきます。

      • 生成AIはあくまでも道具。「人間がものをつくる楽しさ」 を忘れてはいけない。
      • 「つくる人」を増やすことで、新たな価値創造と市場の拡大に繋がる。
      • プログラミング教室やシニア向けワークショップなど、あらゆる世代への教育 を推進。

      生成AIは広告クリエイティブに何をもたらすのか?

      生成AIは、広告クリエイティブの分野においても、大きな変革をもたらしつつあります。

      AI画像生成による生成例と「プロ用途」での価値

      画像

      なんとなく「きれいな絵だな」で見過ごしてしまうかもしれませんが……

      画像

      実際にプロの広告写真の分野から見れば、素晴らしい夏の空、誰も居ない砂浜、ゴミのない海岸、いい感じの波打ち、タイヤ痕がない砂浜、そして「発売前で未公開の新車」をここに配置して撮影する必要があります。CGやVFX、人力で絵作りするのは「不可能ではない」のですが、この「カンプ」の時点でも「運と人的工数がかかりすぎる」という難点があります。

      もちろん、しっかりとした予算があり、設計や品質が求められる分野の絵作りは今後も残るべきだと考えています。その中でも、試作や検討といったエンドユーザーに見えないコストや発想を作り出していくうえで、画像生成は目に見えるコスト効果を発揮します。
      さらに、特に新しい感覚や新しい顧客、新しいエンゲージメントが求められる場合、その探求パラメーター数、次元は無限に増えていきます。

      特に、LoRAに関する技術や制御、倫理関係は、これからの広告代理店にとっては重要であると考えています。

      • 従来のプロトタイピングよりも 高速で多様なアイデア を創出。
      • トライアンドエラー を繰り返すことで、より質の高いアウトプットを実現。
      • 生成AIを使いこなす 「人間のクリエイティビティ」 こそが重要。

      クリエイターや権利者が幸せになる仕組みづくりを

      生成AIの普及に伴い、著作権や倫理的な問題への対応も急務となっています。

      ポイント

      • 生成AIのリスクは、法務・事業的な観点から 慎重に検討 する必要がある。
      • 「やってはいけないこと・やってほしくないこと」 を権利者が制御できる仕組みが重要。
      • クリエイターに利益が還元される フェアな収益モデル の構築が求められる。

      まとめ:白井暁彦より

      AIの真価は、単に「安い・速い」だけではありません。
      人間のクリエイティビティを拡張し、 「不可能を可能にする」 ことこそが、AIの真の価値と言えるでしょう。

      普段から、様々な画像生成AIを使いこなしている電通グループのクリエイターさん175名を相手に、より高度な使い方や、社内平均スキルを短い時間でぐっと上げる活動、そしてこの分野で博士(工学)を取得し、教育や研究を通して多くのクリエイターを生み育ててきた経験があるからこそできる最高の開発体験が共有できたことを嬉しく思います。

      そして電通は、大きな会社です。法務や倫理面にも配慮しながら、生成AIを 「人の心を動かす」 ための強力なツールとして活用していく姿勢を見せています。大きな会社ならではの、大変なこともあります。でも組織だからこそ、より大きな経験を共有しながら、社会を次の世代にすすめるために、真剣に告知、広告、ビジネス、コミュニケーション、DX(AX,BX,CX,DX)に関わっていると感じました。

      生成AIの進化は、まだ始まったばかり。
      今後、どのような未来が創造されるのか、期待が高まります。

      「つくる人をつくる」 AICUのミッション

      AICU Inc.で掲げるビジョンは 「つくる人をつくる」
      生成AI時代において、全ての人がクリエイターになれる可能性を秘めています。現在はさらに最先端のモデルやワークフローを開発し、Stability AI APIやFluxを使ってCGWORLDの表紙などを担当させていただいております。ワークショップも、Google Colabに加えてAWSの使用、そして「Anifusion」のような漫画生成などもワークショップ可能です。次回は東京大学「メディアコンテンツ特別講義」にて10月17日に予定しています。世界的な動画ラーニングメディア配信企業「Coloso」とともに、一般・企業向けの商業利用可能な生成AIクリエイター向けコンテンツを開発・配信しています。またオンサイトワークショップでは、神奈川県をクライアントに、障がい者向けクリエイティブワークショップを開発しています。

      https://j.aicu.ai/MagV4

      ■「超入門:Stable Diffusionではじめる画像生成AI
      動画公開 10/18(金) 18時 予定

      https://j.aicu.ai/AICUXColosoJP

      ■「初級者:広告企画から動画制作までのプロセス
      動画公開 10/31(木) 18時 予定

      https://j.aicu.ai/ColosoJPXAICU

      ■「ComfyUIマスター:カスタムノードとアプリ開発
      動画公開 11/22(金) 18時

      https://j.aicu.ai/Coloso3

      なお、今回のこのブログのカバーアートは、上記「ComfyUIマスター:カスタムノードとアプリ開発」の中で解説しています。AICUの最先端の環境におけるLoRA活用テクニックが学べます。

      画像

      最後に、ワークショップの企画いただいたDentsu Prototyping Hubのみなさま、ご支援いただいた役員の皆様、ご参加いただいたクリエイターの皆様、電通報での発信をご担当いただいたみなさまに感謝を記させていただきます。

      これからも、最新・最先端・難度の高い「つくる人をつくる」案件をお待ちしております。

      画像

      AICUによる企業向けワークショップ、お問い合わせはこちらから。
      https://corp.aicu.ai/ja/products

      関連


      #クリエイティブ #テクノロジー #AI #プロトタイピング #広告とAI #企業内教育 #AIワークショップ

      Originally published at https://note.com on Oct 4, 2024.

    2. 【Coloso講座】ComfyUIマスター:カスタムノードとアプリ開発

      Colosoとコラボ製作第3弾

      生成AIクリエイティブ集団 AICU が贈る、ComfyUIマスター講座!
      画像生成AIの最前線を行くツール「ComfyUI」を徹底的に使いこなすための、実践的なオンライン講座が登場しました。

      詳細はこちら
      「生成AIクリエイティブ AICU」シリーズ
      ■ComfyUIマスター:カスタムノードとアプリ開発

      https://j.aicu.ai/Coloso3

      講座の特徴

      • 基礎から応用まで!画像生成に必要なAIスキルを習得:
        初心者にも分かりやすい丁寧な解説からスタートし、徐々に高度なトピックへと進むカリキュラム設計。環境設定から、text2image、image2image、ControlNet、LoRA、API開発まで、ComfyUIの機能を網羅的に学習できます。
      • 実践的なアプリケーション開発を通した技術の応用:
        講座後半では、VFXパイプラインやAPIの利用、LINEチャットボットの開発など、実際のアプリケーション開発に挑戦!学んだ知識を活かして、 すぐに仕事に役立つ実践的なスキルを身につけることができます。
      • 生成AI時代の著作権と倫理、そして今後の展望:
        生成AIを取り巻く法的・倫理的な問題、そして今後の展望について深く考察。AI技術を正しく、責任を持って活用するための知識と実践的なガイドラインを学び、持続的な創作活動を行うための基盤を築きます。

      講座内容

      • 基本的なワークフローの理解と構築
      • 高度な画像生成技術の習得
      • プロンプトエンジニアリングと画像の最適化
      • API統合と自動化
      • 実践的なアプリケーション開発と統合
      • 責任あるAI活用のための倫理と未来予測

      受講対象

      • 画像生成AIに興味のある方
      • ComfyUIをもっと使いこなしたい方
      • AIスキルを身につけて、これからの時代に活躍したい方
      • デザイン、アート、広告など、クリエイティブな仕事に携わっている方
      • 業務で画像生成AIを活用したい企業クリエイターの方

      【講師紹介】


      [早野康寛] DX支援企業「ポノテク株式会社」代表取締役、ChatGPT登場以来、生成AIの情報を追い続け、画像生成AIを中心に実用的な情報発信や社会実装に尽力。

      こんにちは、早野康寛です。DX支援をするポノテク株式会社の代表取締役を務めています。ChatGPTの登場以来、生成AIの情報を追い続け、今は画像生成AIを中心に実用的な情報の発信や、生成AIの社会実装に尽力しています。また、画像生成AIの情報を発信する中で、AICU Inc.と関わりを持ち、ComfyUI連載「ゼロから学ぶComfyUI」に掲載する記事の執筆や、先日、渋谷で開催されたComfy Org公式ミートアップでの発表などを行っています。

      連載「ゼロから学ぶComfyUI」より
      [ComfyMaster20] ComfyUIの高度インペイント技術で自然な髪型変更を実現! https://ja.aicu.ai/comfymaster20-20240920/

      【経歴/受賞歴】
      2024年 Bond University MBA取得
      2023年 Ponotech Inc. CEO
      2020-2021年 数億円のM&Aの売り手側を担当
      2019-2023年 ソフトウェア開発企業にて受託開発のリーダーを務める
      2018年 半導体製造装置の量産化対応を担当
      2013-2016年 海外向けプレス機械の制御設計として活躍

      早野康寛 ポノテク株式会社 代表取締役
      X (Twitter) https://x.com/earlyfield8612

      [白井暁彦] 生成AIクリエイティブ「AICU」代表、AICU media編集長。デジタルハリウッド大学大学院特任教授、エンタメ・メタバース技術研究者、ホワイトハッカー作家。

      こんにちは、白井暁彦です。エンタメ・メタバース技術の研究開発に携わりながら、ホワイトハッカー作家として活動しています。また、デジタルハリウッド大学大学院の客員教授と、デジハリ発の国際スタートアップ企業「AICU Inc.」のCEOを務めています。そして、生成AI 時代に「つくる人をつくる」をビジョンに、英語と日本語、フランス語、プログラミング言語などで、オープンな作家活動を続けています。

      【経歴/受賞歴】
      2023年 デジタルハリウッド大学大学院 特任教授
      2023年 AICU Inc. CEO
      2018-2023年 グリーグループでメタバースの研究開発ディレクター
      2018年 デジタルハリウッド大学大学院 客員教授
      2010-2018年 神奈川工科大学 情報学部 情報メディア学科 准教授
      2008-2010年 日本科学未来館 科学コミュニケーター
      2004-2007年 フランス国立工芸大学ENSAM客員研究員
      2003-2007年 NHK-ES研究員にてバーチャルセット技術研究
      2003年 東京工業大学 総合理工学研究科 知能システム科学にて博士取得
      1998-2001年 キヤノングループで英国リアルタイムグラフィックスエンジンの開発

      【主な著書】
      – 2024年 『画像生成AI Stable Diffusion スタートガイド 』(SBクリエイティブ)
      – 2022年 『AIとコラボして神絵師になる 論文から読み解くStable Diffusion』(インプレスR&D)

      白井暁彦 AICU Inc. CEO / デジタルハリウッド大学大学院特任教授
      X (Twitter) https://x.com/o_ob

      【講師陣のメッセージ】

      早野 康寛: ComfyUIは、コードを書くことなく誰でも簡単に画像生成AIを活用できる、非常に優れたツールです。本講座は、エンジニア、デザイナー、クリエイター、研究者など、さまざまなニーズに対応できるよう設計されています。初心者の方でも、講座を通してComfyUIをしっかりと習得し、思い描いた画像を自由に生成できるようになるでしょう。ぜひご受講ください!

      白井 暁彦: Colosoさんとのコラボ企画第3弾は「ComfyUI」です。ComfyUIを触り始めて約1年。Automatic1111をキャッチアップした「SD黄色本」のときは「まだ早すぎる」という判断があったのですが、画像生成からシステム開発まで広範な内容を動画でわかりやすい教材として開発を進めています。
      もちろんお気づきのように「ゼロから学ぶComfyUI」の連載でのノウハウが生きています。「つくる人をつくる」AICU mediaとともに沢山の方々に応援されているこの連載が、さらに動画ラーニングメディアとして、世界中の方々に「わかるAIを届ける」活動としてお届けできることを嬉しく思います。

      https://note.com/aicu/m/md2f2e57c0f3c

      AICU開発! 本講座だけの特典

      • AICUによるComfyUIの知識が詰まった講座動画24講を期間制限なしで受講可能
      • 講座を通して12個の課題を通してAIスキルを習得
      • 講座で使用するワークフローを含むPNGデータなどの資料を提供
      • 画像生成ワークフロー集
      • AICUのノウハウが詰まったPDF資料を提供

      今すぐ予約して、ComfyUIマスターを目指そう!

      2024/10/5 (土) に販売価格が上がります。
      今ならお得な割引価格で受講できます。

      さらに、今なら先着100名様限定で、この講座限定で5,000円割引が受けられるシークレットクーポンも使えるみたいです!ぜひチェックしてください。

      【クーポン情報】
      ●割引金額:5,000円
      ●クーポンコード:[AICU3SECRET]
      ●使用期限:9月30日~10月7日23時59分まで

      詳細はこちら

      「生成AIクリエイティブ AICU」シリーズ
      ■超入門:Stable Diffusionではじめる画像生成AI
      https://j.aicu.ai/AICUXColosoJP
      ■初級者:広告企画から動画制作までのプロセス
      https://j.aicu.ai/ColosoJPXAICU
      ■ComfyUIマスター:カスタムノードとアプリ開発
      https://j.aicu.ai/Coloso3


      この記事の続きはこちらから https://note.com/aicu/n/n8d2e6994dac3

      Originally published at https://note.com on Sept 30, 2024.

    3. 速報: ComfyUIを開発する 「Comfy Org」が東京・渋谷で初のミートアップを開催。画像生成AIの未来を拓く37名が参加!

      画像生成AI界隈で熱い注目を集めるノードベース画像生成フレームワーク「ComfyUI」。その開発を手がける Comfy Org が、2024年9月27日、東京・渋谷にて初のミートアップを開催しました。

      会場には、ComfyUIユーザーや開発者、画像生成AIに興味を持つ人々など、総勢37名が集結。ComfyUIの最新情報や今後の展望、活用事例などが共有され、熱気あふれる一夜となりました。

      開発チームによるプレゼンテーション:新機能、新モデル、そして未来へ

      イベントは、Comfy Orgを率いるYoland氏のオープニングアドレスで幕開け。チームメンバーの紹介やComfyUIへの熱い想いが語られました。

      続いて、HCL氏とRobin氏による、今後のベータ版Electron、フロントエンド、Electronに関する発表が行われ、参加者からは期待と興奮の声が上がりました。

      さらに、ComfyAnoymous氏からは新モデルに関する発表、kosinkadink氏からはADEとモデルパッチングに関する発表があり、ComfyUIの進化を目の当たりにする貴重な機会となりました。

      熱い議論が交わされたQ&Aセッション

      プレゼンテーション後には、開発チームとのQ&Aセッションが設けられました。参加者からは、ComfyUIの使い方や機能に関する質問だけでなく、画像生成AIの未来に関する質問も飛び出し、活発な意見交換が行われました。

      多彩なLT&ワークフロー共有:ユーザー同士の交流が深まる

      イベント後半には、ユーザーによるライトニングトーク(LT)とワークフロー共有の時間が設けられました。

      ComfyUIに関連するあらゆるテーマが歓迎され、様々な活用事例や独自のワークフローが披露されました。参加者同士が知識や経験を共有し、互いに刺激を与え合う、貴重な学びの場となりました。

      ★AICU media編集部からのお願いです。こちらについて、シェアいただける登壇者がいらっしゃいましたらぜひAICU media編集部にご寄稿ください(謝礼あり)。

      交流会&アフターパーティー:ComfyUIコミュニティの熱気を感じて

      イベント終了後には、参加者同士が自由に交流できるネットワーキングの時間と、アフターパーティーが開催されました。

      ComfyUIという共通の話題で盛り上がり、新たな出会いも生まれたのではないでしょうか。

      画像
      フェイスシールはAICUメディアの編集長による処理(人力)

      今回のミートアップは、ComfyUIコミュニティの熱気と、画像生成AIの未来に対する期待を感じさせるイベントとなりました。ComfyUIの進化は、私たちに新たな創造の可能性をもたらしてくれるでしょう。

      #ComfyUI #画像生成AI #AI #ミートアップ #渋谷 #ComfyOrg

      ★AICU mediaはComfyUIを応援しています!

      https://www.comfy.org


      ComfyUI Community Gathers in Shibuya for First-Ever Meetup: Shaping the Future of Image Generation AI

      ComfyUI, the node-based image generation framework making waves in the AI art scene, saw its development team, Comfy Org, host its first-ever meetup in Shibuya, Tokyo on September 27, 2024.

      The event drew a crowd of 37 enthusiastic attendees, including ComfyUI users, developers, and AI art enthusiasts. The night was filled with excitement as they delved into the latest updates, future prospects, and innovative applications of ComfyUI.

      Presentations by the Development Team: Unveiling New Features, Models, and the Future of ComfyUI

      The evening commenced with an opening address by Yoland, the leader of Comfy Org, who warmly introduced the team and shared their passion for ComfyUI.

      Next, HCL and Robin took the stage to unveil upcoming features for the beta version of Electron, the frontend, and Electron itself, generating a wave of anticipation and excitement among the attendees.

      ComfyAnoymous then presented insights into new models, followed by kosinkadink, who shed light on advancements in ADE and model patching. These presentations provided a valuable glimpse into the ongoing evolution of ComfyUI.

      Engaging Q&A Session: Deep Dive into ComfyUI and the Future of AI Image Generation

      Following the presentations, attendees had the opportunity to engage in a Q&A session with the development team. The discussion was lively, covering topics ranging from practical aspects of using ComfyUI to broader questions about the future of AI image generation.

      Lightning Talks & Workflow Sharing: Fostering Connections and Collaboration

      The latter half of the event was dedicated to lightning talks (LTs) and workflow sharing by ComfyUI users.

      画像
      The face seals were applied by the editor-in-chief of AICU media (human processed).

      With a diverse range of topics related to ComfyUI, attendees showcased their creative applications and unique workflows. This segment fostered a valuable learning environment where participants shared knowledge, experiences, and inspiration.

      ★ Call for Contributions: We at AICU media encourage speakers who shared their insights at the meetup to consider contributing their presentations to our platform. We offer compensation for published articles.

      Networking and After-Party: Building the ComfyUI Community

      The evening concluded with a networking session and an after-party, providing ample opportunities for attendees to connect and mingle.

      The shared passion for ComfyUI sparked lively conversations and fostered new connections within the growing community.

      This inaugural meetup served as a testament to the vibrant ComfyUI community and the high expectations surrounding the future of AI image generation. As ComfyUI continues to evolve, it promises to unlock new creative possibilities for artists and developers alike.

      #ComfyUI #ImageGenerationAI #AI #Meetup #Shibuya #ComfyOrg

      ★ AICU media is a proud supporter of ComfyUI!

      Originally published at https://note.com on Sept 27, 2024.

    4. 東京ゲームショウ2024でみつけたエンタメxAI技術!感情がゲームを動かす「OVOMIND」

      本日2024年9月26日のAICU media編集部は、幕張メッセで開催中の「東京ゲームショウ2024」(以下、TGS2024もしくはTGS)を取材参加いたしました。

      東京ゲームショウ2024でみつけた「エンタメxAI技術」

      というタイトルでお送りしたいと思います。

      画像

      実際の会場は大変な盛り上がりで、ビジネスデーにもかかわらず、ほとんどのブースで絶え間なく来場者が列をなしておりました。

      気になるAI関係企業

      NHK報道では早速、こんな記事になっておりました。

      東京ゲームショウ 過去最多985の企業や団体が出展 AIによる画像処理機能搭載の新型ゲーム機など展示 | NHK | 生成AI・人工知能

      https://www3.nhk.or.jp/news/html/20240926/k10014592661000.html

      つくり手にとって、特にゲーム産業はIP(知的財産)や、技術の塊でもあるので、ゲーム開発者にとっての「AIの活用は当たり前」になっていると感じますし、ゲームグラフィックスを日々見慣れているゲームファンにとって、ちょっとやそっとのグラフィックスでは「それAI使う意味あるの?」ぐらいの雰囲気はあるかもしれません。

      さて実は、今回のTGSでは「AIテクノロジーパビリオン」というゾーンが用意されていました。

      画像
      画像
      画像

      個々の技術やソリューション、ビジネスは「ふむふむ」という感じではあるのですが、TGSはゲーム開発者会議「CEDEC」ではないので個々のゲームについて、どのようなAIが使われているのか?そして「AIによってゲームのUXがどのように変わるのか!」が、AICUの愛読者の大好物、メインフォーカスではないでしょうか。

      そんな玄人すぎるAICU media編集部にとって「クリエイティブなAI」については、しっかりと確認していかないと見えてきづらい状況ではありました。

      その中でもAICUメディア編集部が気になるブースは…ないかな…?と予習をしておりましたところ、これだ!というスタートアップ企業が「OVOMIND」です。

      興奮する編集長をどうぞ。

      感情がゲームを動かす!「感情駆動型クラウドAI技術」

      スイス発のテック企業「OVOMIND」(オボマインド)が、未来のゲーム業界に革命を起こすかもしれない革新的なAI技術を引っ提げ、東京ゲームショウ2024に初参戦しました。

      同社が開発したのは、プレイヤーの感情をリアルタイムにゲームプレイに反映させる、クラウドベースAI技術とSDKです。

      この技術の核となるのは、感情駆動型スマートバンド。バンドに搭載されたセンサーが、ガルバニック皮膚反応(GSR)、皮膚温度、光電式生体電位計(PPG)など、プレイヤーの体から発せられる生体信号を感知します。取得した生体信号はAIによって分析され、プレイヤーの感情状態を記録します。

      そして、この感情データはゲームエンジンに送信され、ゲーム内のアクションやイベントにダイナミックに反映されるのです。例えば、プレイヤーが恐怖を感じている場合はゲームの難易度が調整されたり、喜びを感じている場合はキャラクターに特別な能力が付与されたりするなど、これまでにないインタラクティブなゲーム体験が実現します。

      実際に体験できる!

      東京ゲームショウでは、この技術を活用した最新ゲーム『Dead Shadows』が公開されています。

      画像

      『Dead Shadows』は、『アサシン クリード ユニティ』や『ダイイングライト2』で知られる著名なゲームディレクター、マルク・アルビネ氏が監修を務めた、感情主導型のサバイバルホラーゲームです。プレイヤーの感情がゲームのストーリー展開や結末に直接影響を与えるという、全く新しいゲーム体験を提供します。

      [動画へのリンク]

      感情でゲームが変わるってどういうこと?

      画像

      OVOMINDが開発したのは、感情を分析するAIを搭載したスマートバンド
      このバンドを装着してホラーゲーム「Dead Shadows」をプレイすると、プレイヤーのドキドキ💓やハラハラ😱がゲームに反映されます。

      内部のデータを可視化するとこんな感じ。

      画像

      プルチックの感情の輪に似ていますが、上下がポジティブ・ネガティブ、左右も別のポジティブ・ネガティブの軸でになっています。

      45秒ぐらいのキャッシュを保有して、スマートリストバンド→スマートフォン→クラウド経由→ゲーミングPCに情報を共有しています

      画像

      完全にアプリに組み込むだけでなく、スマホで2画面で見ながら感情を確認したり、OBSで表示したりといった使い方ができます。

      画像

      https://youtu.be/yzif0solvRI

      画像

      サンプルゲーム『Dead Shadows』はこんな感じの静粛な環境で体験できます。

      編集長・しらいはかせの実験後の感想です。
      「すみません、ぼくホラーゲームぜんぜん怖がらないし、わかんないんで!!代わりにクラロワを起動してみたけどめっちゃ面白かったです…!しかもやってる最中に電話が着信したりして…。『ふだんスマホ触っているときの自分の感情』とか考えたこともなかったけど、ものすごい速度で感情が推移しているのが外部可視化されて、それ自体がとても楽しい体験でした。スマホと連動したクラウド測定もクールな体験で、これはゲームに組み込むだけだと勿体ない。マーケティングとか、老齢者介護、障がい者とのコミュニケーション、お笑い芸能の評価とかいろいろできそう!」と興奮気味です。

      今後のゲームは感情が重要になるかも?!

      SDKの配布やデベロッパーキット(DK1)は10月から公開予定とか。
      お値段は199ドルぐらい、まずはWebサイトでメールアドレスを登録です。

      Ovomind – Enter a New Dimension

      【OVOMIND株式会社 CEOヤン・フラチ】
      日本及びアジア市場でゲームの最前線に立っている「東京ゲームショウ2024」の場で、プレイヤーの感情がリアルタイムでゲームプレイに反映されるOVOMINDの新しいAI技術とその技術を組み込んだ世界初の感情駆動型ゲーム『Dead Shadows』を紹介できることを大変嬉しく思います。
      『Dead Shadows』では、ユーザーが自分の感情をコントロールしながらゲームに没頭していきます。自分の感情がゲームのストーリーに影響を与え、キャラクター達もリアルタイムで感情に反応するため、プレイするたびに変化する独自のゲーム内コンテンツを楽しむことが可能です。
      これにより、ゲーム体験が向上するだけでなく、さまざまな感情によって生まれる異なる結末をプレイヤーが探求するため、 ゲームのリプレイ性が格段に向上します。


      東京ゲームショウに行く人は、幕張メッセ 第5ホール AIパビリオン ブース番号【05-C48】OVOMINDブースに行って、感情駆動型ゲーム『Dead Shadows』を体験してみてね!😄
      感想もこちらのツイートにお寄せください!

      関連リンク

      Originally published at https://note.com on Sept 26, 2024.

    5. 「Stable Assistant を 知らないの?」Day1:無料トライアル3日間でこんなにお得!?

      AICU営業部の私がStable Assistantを触ってみたら、想像以上にすごかった…😳✨

      みなさん、毎度ありがとうございます AICU営業部 です!
      生成AI時代に「つくる人をつくる」をビジョンに活動するAICUメディアのお手伝いしながら、AICUのナレッジを「もっと売る」をミッションとして活動しております。

      最近、AIを使った副業が話題ですよね!私も興味津々なんですが、編集部のみなさんがふだん開発している AUTOMATIC1111 や ComfyUI の内容は「なんか難しそう…」と二の足を踏んでいたんです。
      でも、そんな私に朗報が!
      Stable Diffusionでおなじみの Stability AI がリリースした「Stable Assistant」が、想像以上に高性能で使いやすいと編集部で話題に!

      私「Stable Assistant、試してみていいですか?」
      編集長「いいよ!ただし自腹でお願いしますね~(笑顔)」
      私「えっ自腹!?いやです(キッパリ)」
      編集長「そうなの?全機能が3日間無料で試せるよ?」
      私「えっ無料なの?」
      編集長「しかもこの品質ならココナラあたりで案件がこなせるのでは…?」
      私「いいんですか?」
      編集長「業務外でゲットした案件は個人の副業でどうぞ~!」

      これは試してみるしかない! ということで、 ココナラ初心者、Stable Assistant初心者の私が実際に使ってみました!

      まず初日は、Stable Assistantの基本機能と、私が実際に案件を想定して使ってみた感想をスクショ付きでご紹介します!

        Stable Assistantってどんなツール?

        Stable Assistantは、画像生成AI「Stable Diffusion」の最新版に加えて、動画生成、音楽生成、テキスト生成までできる、まさにオールインワンのAIクリエイティブツールなんです!😲

        しかも、難しい設定は一切不要!
        チャットで指示を出すだけで、プロもびっくりなコンテンツが作成できちゃうんです!

        ✨️用意するツールとアカウントについては文末で紹介します!

        🎨 画像生成:Stable Diffusionの最新版で、高画質・ハイクオリティな画像を生成!

        Stable Assistantの画像生成は、あのStable Diffusionの最新版がベース!
        だから、高画質で美しい画像を生成できちゃうんです。

        例えば、「紫色の髪をした女の子、森の中、幻想的、花に囲まれている」といったテキストを入力すると…

        じゃーん!

        画像
        image: Girl with purple hair, in forest, fantastic, surrounded by flowers

        ね?すごいクオリティじゃないですか!?

        人物、風景、物体、どんなものでも、Stable Assistantなら自由自在に生成できます!
        もちろん、画像の雰囲気やタッチも自由自在に変えられます。

        左上から2番目のアイコン(Reinvent all creations)で”New Image with Same Structure”を選んで…

        画像

        デフォルトで「In anime style」(アニメ風で)が出てきますのでそのまま「Confirm」(確認)します。

        画像

        いきなりかわいくなりました!

        画像

        さらに「New Image with Same Structure」を使って、今度は「Japanese anime style」としてみました。

        画像

        うーん、ちょっと日本人顔になったけど、もうちょいがんばりたい!
        無料なので。

        画像

        左上の「Generate another version」を選びます。

        画像

        右側に追加されていきます。

        画像

        黒髪とブロンドで悩む私でした。

        画像
        画像

        「New Image with Same Structure」の使い方

        同じ構図と構造を維持しながら、周囲の環境を変化させて、コーヒーカップをある景観から別の景観へと移動させてみましょう。この例では、夕暮れの森の中に置かれたコーヒーカップの画像を入力として、このツールを使用して新しい画像を生成します。アシスタントに生成を指示するだけで、
        > create a picture of a cup of coffee placed in a forest at sunset
        (夕暮れの森の中に置かれたコーヒーカップの画像を作成)
        次に、ツール設定のプロンプトセクションに文字を入力することで、構造はそのままに、この画像のスタイルと内容を変更することができます。
        > a cup of coffee in the desert at sunset
        (夕暮れの砂漠に置かれたコーヒーカップ)

        公式ヘルプの翻訳です

        画像

        日本のアニメっぽい画風にはならなかったけど、これはこれで高品質でよいのでは…!??

        今度はこんな感じのイラストで一度試してみます。
        「働く女性をイメージ」

        画像

        アニメ風に変換!できた!

        画像

        さて、ウォーミングアップは終わりにして、そろそろ案件に向けて次の機能をチェックしておきます。

        🔨 画像編集:痒い所に手が届く!豊富な編集機能で思い通りの作品に!

        Stable Assistantは、画像編集機能も超優秀!

        画像の一部だけを変更したり、別の画像と合成したり…
        まるでPhotoshopで何時間もかかるような編集作業も、Stable Assistantならチャットで指示を出すだけ!

        ▼ Stable Assistantの画像編集機能例 ▼

        • オブジェクトの追加・削除・置換
        • 背景の変更・削除
        • 画質の向上
        • 色調調整
        • テキストの追加
        • 特定のオブジェクトだけを別のスタイルに変換

        例えば、先ほど生成した画像の背景を除去してみましょう。

        画像

        ね?簡単でしょ?

        最近、さらに機能が追加されたようです!

        🎵これだけじゃない!3D・動画・音楽生成機能まで!

        Stable Assistantのスゴイところは、画像生成・編集だけじゃないんです!
        なんと、動画生成と音楽生成までできちゃうんです!

        🎬 動画生成:Stable Videoで、画像やテキストから動画を自動生成!

        Stable Assistantに搭載されている「Stable Video」を使えば、ボタン一発で静止画を動画に変換したり、テキストから動画を生成したりできます。

        画像

        (ブログで見やすくするために)GIFにしてみました

        画像

        MP4はこちらです

        https://note.com/api/v2/attachments/download/5540f286753dccfc93ff27211cde77d3

        実は3D化もボタン一発でできちゃいます。

        https://note.com/api/v2/attachments/download/4531d0af313fa3a88f2b37d16773fca0

        画像
        画像

        🎼 音楽生成:Stable Audioで、最大3分の高品質音楽を生成!

        「Stable Audio」機能を使えば、なんと最大3分間の高品質な音楽を生成できます!

        「モーニングカフェ風のジャズ」

        画像

        こちらのリンクから試聴できます!

        https://assistant.stability.ai/share/5d40047b-69fd-4f45-a90e-e06f3e9e6f61

        著作権フリーなので、YouTubeなどの動画BGMにも安心して使えますね!

        用意するツールとアカウント

        ココナラのアカウント
        ・クレジットカード
        Stable Assistantのアカウント登録
        Google Gemini (あると嬉しい)
        ・DeepL無料版(なくても大丈夫)

        ココナラのアカウントはこちらから登録すると紹介ポイントが手に入ります。

        画像
        https://coconala.com/invite/QJD66V

        準備編:Stable Assistant の3日間無料トライアルで、副業の可能性を広げよう!

        Stable Assistantは、3日間無料トライアルを実施しています。
        期間中は、Stable Assistantの全機能を無料で体験できます!

        画像

        【Stable Assistant 3日間無料トライアルの登録方法】

        1. Stable Assistantのサイトにアクセス
        2. 「Start your free trial」をクリック
        3. メールアドレスを入力し、登録
        4. 登録したメールアドレスに届くメール内のリンクをクリック
        5. アカウントを作成(クレジットカード情報を入力する必要がありますが、無料トライアル期間中は課金されません)

        利用料を払ったとしても、年間90ドルでほぼ使い放題です!

        画像
        https://j.aicu.ai/StaiAs

        Stable Assistantで、あなたの副業をレベルアップさせましょう!

        Day2では、Stable Assistantを使って実際の案件に挑戦します!

        Day2に続きます!

        #StableAI #StableAssistant #画像生成AI #AI音楽生成 #副業 #ココナラ #AICU営業部

        Originally published at https://note.com on Sept 24, 2024.