投稿者: admin

  • 【Pro招待コードつき】渋谷GMOで「Create.xyz」CEOら来日ミートアップを開催。100人超えの超高速ハッカソンを現地レポート! #CreateTokyo

    【Pro招待コードつき】渋谷GMOで「Create.xyz」CEOら来日ミートアップを開催。100人超えの超高速ハッカソンを現地レポート! #CreateTokyo

    はじめに

    AICU media ライターのRUNOです! 

    2024年7月15日(祝日)に東京渋谷・GMO Yoursにて開催された「CREATE」(Create.xyz)のミートアップイベントに参加してきました!

    CREATEの創業者らが来日し、直接お話を聞ける貴重な機会でした。

    イベント内では、CREATE のデモに始まり、CREATE を利用したWebサイト制作のミニコンテストが行われるなど、盛りだくさんの3時間でした!

    イベント詳細はこちら↓

    create.xyz Team in Tokyo: CEO Demo & AI Meetup @ GMO Yours · Luma

    なおProプランを1か月無料で使用できる招待コードはこの記事の下に記載してあります

    CREATEとは?

    CREATEは、日本語のような自然言語を使ってサイトやツールを構築できるツールです。どんな人でも創造できるようにする、AIによる開発ツールのリーディングカンパニーです。シンプルなランディングページやエンターテイメント性の高いゲームを作ることができます。さらに野心的なプロジェクトでは、ユーザー管理、データベース、API連携を備えた完全なアプリケーションを構築することも可能です。
    引用元:https://lu.ma/5sneg9zr?tk


    今回はなんと参加者100人超え!
    さすがのGMOインターネットグループが会場です。
    そしてCREATEの創業者の方々が来日し、実際にお会いすることができました!

    わたしは運良く、後述のグループワークの時間に、CEOのドゥルヴさんに直接質問させていただくことができ、大変光栄でした…!

    meet upイベントの醍醐味ですね!

    あっという間の3時間、実施コンテンツはこんな感じ。

    1. CEOらによるCREATEのデモ実演
    2. CREATEを利用したWebサイト制作のミニコンテスト
    3. 懇親会

    様々なコンテンツがあったので、
    「とにかくCREATEを触るきっかけがほしかった人」「CEOらと直接会ってみたかった人」「AIに興味がある人たちと交流してみたかった人」
    ・・・などなど、きっと誰もが何かしら持ち帰れる体験があった、それくらい濃い3時間でした。

    それでは、ここからはコンテンツの内容を紹介します!

    ▼一連の現地ツイートはこちらから

    CEOらによる CREATE のデモ実演

    創業者のみなさま

    AIガールこと「あやは」さんの会社のwebサイトを CREATE を使って作ろう!という内容をテーマに、デモが実施されました。

    実践形式で CREATE の使い方を学べて、すぐに手元で試すことができました。

    ステップ1 pdfから一瞬でWebサイト化

    あやはさんが事前に作成したpdfファイル。
    これをスクショし、プロンプトに画像を貼り付けて、そのまま「これをサイト化して」と頼むと・・・

    あっという間に、pdfと同じ形でwebサイトになりました!

    ステップ2 テキストでWebサイトを好みのスタイルに編集

    会場の参加者にマイクが渡され、「どんな雰囲気のサイトにしたいか?」をその場でリクエスト。

    みんなの無茶ぶりに対し頑張る創業者の方々

    まるでライブをみているかのような雰囲気で、参加者のリクエストにCEOが応じる形でリアルタイムでサイトが変化していきました。

    もし今後、開発会議で CREATE が使われたなら、
    こんな風にみんなで議論しながらその場でサイトを編集して、OKならその場で公開!
    ・・・なんていう夢みたいな日が来るのもそう遠くないのかな、、なんて思いながら見ていました。夢が広がりますね。

    ステップ3 理想のイメージのサイトを貼り付けて同じ雰囲気に


    Appleのページは、いつ見てもスタイリッシュできれいですよね。

    というわけで、AppleのページのURLをコピー。

    「こんな感じにして」とお願いすると・・・

    先ほどのpdfと比べると、雰囲気がAppleっぽくなっている!

    画面右上に「Publish」という青いボタンがあるのですが、
    こちらを押下し、会社のドメインを紐づければ、簡単に公開までできるそうです。

    圧巻の体験に、会場では歓声が上がりました。

    みなさんもぜひ CREATE を試して、感動を体験してみてください!!!

    CREATE を利用したWebサイト制作のミニコンテスト


    なんとたった15分で、Webサイトを作成しよう!という無茶振りコンテスト!笑

    これがとっても楽しかった!

    初対面の4-5人のチームで、その場でお題が与えられ、「どんなサイトにする?」という話し合いからスタートする完全な白紙からのスタート。

    そこから CREATE のパワーでたった15分で、20チームを超える全てのチームが無事Webサイトを提出しました。

    提出された作品は、「#CreateTokyo」のハッシュタグ検索で、誰でも見ることができます!

    さて、そんな今回のWeb制作テーマはこちら!
    「東京に1週間滞在する CREATE メンバーが、より東京滞在を楽しめるようなWebサイト」を15分で作成せよ!

    作品紹介1:山手線すごろく

    我らがAICU主宰、しらいはかせのチームの作品です。

    「山手線を一周する体験」をすごろくの仕掛けによってゲーム感覚で楽しめる!
    アイデアを形にするまでたった15分。早すぎる。

    https://yamanote-sugoroku.created.app

    こちらの作品はしらいはかせのNoteで詳しく紹介されているので、ぜひこちらも合わせてご覧ください!

    https://note.com/embed/notes/n2fc9c059a8d5

    作品紹介2:お寿司の名前当てゲーム

    こちらは、お寿司の日本語名を画像と合わせてクイズ形式で覚えていくアプリです。
    日本と海外だとお寿司屋さんのメニューも大きく違いますよね。日本のメニューは生魚のシンプルなメニューが多く、日本人でもたまに知らないネタがあるくらいですよね。笑

    https://sushi-game.created.app

    このアプリで馴染んだあとでお寿司屋さんに行けば、「あ!これアプリで見たネタだ!」とさらに美味しい体験になりそうですね!

    確認ですが、こちらもたった15分で作成されています。だから早すぎるって。

    アイデアさえあれば、こんなに簡単にWebサイトやゲームが作れてしまうんですね!
    CREATEのパワー、恐るべし。

    表彰式:

    CEOらが自ら、それぞれひとつずつ気に入った作品をピックアップし、表彰式が行われました。

    Googleマップを埋め込んだサイトや、ゲーム性が評価されたものなど、幅広い作品が表彰されました!

    ドゥルヴ賞:マウス置くと絵が変わる

    マーカス賞:地図

    パトリック賞:寿司ゲーム

    ゾベアー賞:Create.XYZマスターガイド

    優秀作品賞を受賞された方々、おめでとうございます!

    懇親会

    最後の1時間は懇親会。
    みなさんそれぞれ創業者の方々と写真を撮られたり、最近の取り組みや CREATE の改善点を直接ディスカッションしたり、思い思いの時間を過ごされておりました。

    記念にパシャリ。運営の皆様、CREATE の皆様、ありがとうございました!

    主催の ymmd JUNさんのサイトで「CREATE WEEK」中間レポート公開されております

    https://ymmd-ai.co.jp/archives/4986

    勉強会にも熱が入っておりますね!

    【Pro招待コードをいただきました!】

    CREATETOKYO
    こちらを使うと1ヶ月無料でProが使えるそうです。

    終わりに

    この記事に「いいね!」と思ったら、いいねとフォロー、おすすめをお願いします!

    AICU media|note   X(Twitter)@AICUai

    このようなイベントのレポートに興味がある方はこちらもオススメ

    イベント情報 アーカイブ

    この記事に「いいね!」と思ったら、いいねとフォロー、おすすめをお願いします!

  • 賞金総額1億円!?未来のゲーム開発現場に潜入!バンダイナムコスタジオ「GYAAR Studio」見学レポート

    賞金総額1億円!?未来のゲーム開発現場に潜入!バンダイナムコスタジオ「GYAAR Studio」見学レポート

    こんにちわ、AICU media編集部 の はねごろうです。
    2024年6月某日、バンダイナムコ深川スタジオにて「GYAARCon試遊会」が開催されました。

    このイベントは、GYAAR Studio インディーゲームコンテストの受賞者や多くのゲストの方々が参加していました。
    現地より交流の様子をお伝えします。


    バンダイナムコスタジオ「GYAAR Studio」とは?

    GYAAR Studio株式会社バンダイナムコスタジオの内部にあるスタジオです。

    バンダイナムコスタジオでは、「ワールドワイドメジャータイトルの創出」を基本戦略の一つに掲げて、タイトル開発に取り組んでいます。"ワールドワイドメジャータイトル"とは具体的に『鉄拳』シリーズ、『テイルズ オブ』シリーズ、『エースコンバット』シリーズなど、日本国内に限らず世界で愛され、熱狂的なファンコミュニティが存在するタイトルを位置づけており、
    『GYAAR Studio』はそんなワールドワイドメジャータイトルを創出する"トップクリエイター"を育成するためのレーベルとして2021年に誕生いたしました。

    https://www.bandainamcostudios.com/gyaarstudio/

    https://www.bandainamcostudios.com/gyaarstudio/ より

    さらにGYAAR Studioでは約1年に1度、インディーゲームコンテストを開催しており

    受賞者には様々な特典が与えられます。

    総額最大1億円の支援金!? GYAAR Studioインディーゲームコンテストとは?

    第2回GYAAR Studioインディーゲームコンテスト開催時の概要より

    (引用:【第2回 GYAAR Studioインディーゲームコンテスト】応募受付開始しました!

    応募要件

    ・Steam(PC)での販売が可能であること

    ・動作するデモまたはプロトタイプがあること(「企画書のみ」は不可)

    ・言語は日本語か英語であること

     ※ゲームジャンルは不問となります。

    ▼受賞一覧

    【プラチナ賞】(最大1作品)

     支援金最大総額3,000万円

    【入賞】(最大6作品)  支援金最大総額1,000万円

    【佳作】(最大10作品)  賞金100万円

    支援総額1億円!これだけの資金があれば、数名のチームでゲーム開発だけに集中した生活が送れるかもしれませんね!

    支援金に加えて、受賞者には以下サポートを予定しています

    『すべての受賞者が対象』

     ・開発拠点「GYAAR Studio Base」のフリー利用権

    『【プラチナ賞】【入賞】 作品が対象』

     ・開発支援およびパブリッシュを支援

     ・タイトルのIP展開をバンダイナムコグループで支援

    つまり、この「GYAAR Studio」を拠点にゲーム開発ができるということになります。

    https://note.com/gyaarcon/n/n2abf23257286

    試遊会の様子

    見学をした6月某日。GYAAR Studio Baseではちょうど、月に一度の「GYAARCon試遊会」が開催されていました。GYAAR Studioインディーゲームコンテストの採択プロジェクトがブラッシュアップしたプロジェクトを展示する機会です。

    AICU media編集部では特別に参加させて頂く機会をいただきましたので、実際に試遊会の様子をレポートしていきます。

    これらの作品は2024年7月19日(金)から7月21日(日)に京都で開催される「BitSummit Drift」に出展される予定だそうです。是非足を運んでみてはいかがでしょうか?

    気になったゲーム①「LITTLE CHEESE WORKS」

    とても可愛いネズミのゲームです。

    「眠っている猫に見つからないようにチーズを自宅まで運ぶ」というコンセプトで

    可愛らしいステージと少し怖い猫、というルックで、丁寧に作りこまれたアクションゲームでした。

    複数プレイが可能となっていて、今回は4人でプレイを行うことができました。

    「猫にいかに見つからないように仲間と協力して進むか」、というシンプルなタスクですが、暗いステージではランタンを投げるなど、アイテムを使いながら進むものもありました。

    4人で和気あいあいに楽しむことが出来るので、パーティーゲームとしても、とても良い作品だと思いました。

    2枚目は、背景モデラーさんへの指示書

    ネズミのモデル制作画面となっています。

    開発者さん(後方)と、試遊会に参加しているバンダイナムコスタジオの社員さんたちです。

    4人同時プレイのおかげもあってすぐに仲良くなってしまいました……(ありがとうございます)!

    このような制作現場を見れるのはとてもレアなのでは!?

    「LITTLE CHEESE WORKS」はSteamにてデモ版が入手可能です

    https://store.steampowered.com/app/2527940/Little_Cheese_Works/?l=japanese

    気になったゲーム②「豆腐になれ。」 

    弾みながら敵を倒したり障害物をさけたりしながら、ゴールではみそ汁の具になる。

    という、アクションゲームになっています。

    面白かった点は、豆腐の柔らかさで難易度が変わるという着眼点でした。

    そして、これは実際にご欄いただきたい…という特別な演出があったのも魅力的です。

    スゴイツヨイトウフ : とうふのアクション【超試食版】

    https://store.steampowered.com/app/2408680/_/?l=japanese

    他にも様々なゲームが試遊できました。

    「METAL SUITS」

    海外の開発チームによるメトロイドヴァニア(英語: Metroidvania)と呼ばれるタイプの2Dアクションゲームです。ドット絵での表現の中に多様なスーツアクションがあり、個性的な魅力があります。

    難易度もなかなかで真剣にプレイするしらいはかせ。

    METAL SUITS (Demo)

    https://store.steampowered.com/app/2093800/METAL_SUITS

    「VALKYRIE SQUAD」はシューティングサバイバルゲーム。

    「ワルキューレスクワッド:突破せよ」

    https://store.steampowered.com/app/2692030/_

    「ウンコテクニカ」

    ウンコを便器に導くゲームです。1ステージほんの数秒でプレイできます。

    ウンコテクニカ(無料版)

    https://www.freem.ne.jp/win/game/24562

    「Depth:Origin 」

    体感リズムシューティングゲーム

    https://indie.bandainamcostudios.com/titles/28

    「Algolemeth」(アルゴレメス)

    全自動ダンジョンRPG。AI(戦闘ロジック)を搭載したゴーレムを迷宮に送り出し、全自動で攻略を行うダンジョンRPGです。AIを強化し、トライ・アンド・エラーを繰り返して、迷宮の踏破を目指しましょう!

    Algolemeth

    https://store.steampowered.com/app/2731030/Algolemeth/?l=japanese

    会場ではお菓子などもふるまわれ終始和やかなムード

    終始和やかな雰囲気で行われた試遊会では、お菓子などの軽食もふるまわれました。

    ギャー君がお菓子をふるまってくれました

    以上、駆け足で開発中のゲームを紹介させていただきましたが、これらのタイトルは2024年7年19日(金)から7月21日(日)に京都・みやこめっせ(京都市勧業館)で開催の「BitSummit Drift」で出展される予定です。

    是非足を運んでみてはいかがでしょうか?

    https://bitsummit.org

    https://bitsummit.org/en

    まとめ

    以上、「つくる人をつくる」をビジョンとするAICUにジョインをした はねごろう がお伝えしました。

    今回、このような素敵なイベントにお招きくださいました、バンダイナムコスタジオ様には大変感謝しております。

    普段接することの少ないゲームの開発を間近で感じることができ、とても貴重な経験をいただけました。

    AICUでは今後も読者の皆様にむけて、「つくる人をつくる」を応援するディープなイベント取材を実施していきたいと思います!

    この記事に「いいね!」と思ったら、いいねとフォロー、おすすめをお願いします!

    https://note.com/aicu/   X(Twitter)@AICUai


  • 【初心者向け!】Runway Gen-3 Alphaでプロンプト自動生成して簡単動画制作

    【初心者向け!】Runway Gen-3 Alphaでプロンプト自動生成して簡単動画制作

    AICU mediaライター・ AIクリエイターのぽんず(@ponzponz15)です!
    今回紹介する記事は『プロンプトジェネレーター』というものを使用して、私が約一時間で作成したビデオ です

    最新の動画生成AIの『RunwayGen-3 Alpha』『プロンプトジェネレーター』を使用すれば、誰でも簡単に、映画のようなハイクオリティ動画を制作すことができます
    本来であれば、一ヶ月近くかけてクレジットを消費しながら動画生成のコツを掴むものですが、これがあればわずか数日で、初心者でもつかいこなすことができます。

    画像
    Runway Gen-3 でめっちゃ動画を作りまくっているイメージ

    [AICUが開発]初級者:広告企画から動画制作までのプロセス

    1. プロ級の映像表現が誰でも簡単に

    私ぽんずは、Runway Gen-3がリリースされたその日に95ドルを課金して、毎日200回以上動画生成している動画生成オタクですので、十分なご説明ができます。お任せください。
    最近は、このGen-3に夢中で新しい動画を沢山生成しています。そんな私が自信を持っておすすめするのが、今回のテーマである「プロンプト自動生成ジェネレーター」です。初心者の方はGPTsを使うことをお勧めしますが、そんなの知らないよって方でもこれを使用すれば問題ありません。

    2. 完全初心者でも大丈夫!準備するもの

    あなたも今日から映像クリエイターの仲間入りです。
    必要なのは以下の3つだけです。

    1. Runway Gen-3 Alphaアカウント: https://www.runwayml.com/ からアカウントを作成できます。課金が必要です。
    2. ChatGPTなどのAIサービス: https://chat.openai.com/ など、無料で使えるAIサービスを利用しましょう。(GeminiClaudeなど)
    3. ちょっとの勇気: 難しいことは何もありません。あとは、この記事を参考にしていただき、どんどんチャレンジしていくだけです!

    3. プロンプトって? – 映像表現のためのプロンプトとは

    プロンプトとは、AIへの指示のこと。例えば、これまでの画像生成AIでは「美しい女性」や「犬」と書くだけで、クオリティの高い画像が生成できましたよね。

    しかし、Runway Gen-3 Alphaでは、5秒から10秒間の動画が生成されるため、それだけでは不十分になります。それは動画が始まってからの1秒にもみたない部分の指示でしかありません。もちろん、それだけでも十分すごいのですが、使いこなすためには「カメラの動き」や「雰囲気」といった映像表現を伝えるための指示が必要になってきます。

    例えば、「夕焼けの海」というプロンプトだけでは、ただ夕焼けの海が映っているだけの動画になってしまいます。

    ①夕焼けの海 (AからBに移行)

    「夕焼けの海に沈む太陽をすごい速さですすむカメラで捉え、海の中にもぐっていく」といったように、具体的な指示が必要になります。

    4. なぜプロンプトジェネレーターが必要なの? – 動画のためのプロンプトは難しい

    動画のためのプロンプトには、カメラワークや専門用語など、少し難しい知識が必要になります。

    例えば、公式ガイドに記載されているのがこちらです。
    [camera movement]: [establishing scene]. [additional details]
    こういった構造でプロンプトを書くことが推奨されています。

    「カメラワーク」や「専門用語」は、最初は戸惑ってしまうかもしれません。

    でも、大丈夫。
    専門知識がなくても、誰でも簡単に、効果的なプロンプトを作成できます。

    画像

    Runwayの公式ガイドで学ぶのが最適です。

    https://help.runwayml.com/hc/en-us/articles/30586818553107-Gen-3-Alpha-Prompting-Guide

    このジェネレーターは、Runway公式が推奨するプロンプト構造や、カメラワークなどの知識を組み込んでいます。このジェネレーターは、あなたの動画生成の補助輪のようなもの。

    補助輪を付けて、自転車に乗る練習をするように、このジェネレーターを使って、動画生成AIに必要な用語を徐々に覚えていきましょう。
    ゆくゆくは覚えた方がいいこともありますしね。

    本来であれば1ヶ月近くかけてクレジットを消費しながら動画生成のコツを掴むものですが、これがあればわずか数日でつかいこなすようになります。

    画像

    [AICU] クリスマス動画コンテスト実施中

    5. プロンプトジェネレーターの使い方 – ステップバイステップ解説

    ステップ1:AIサービスにアクセス

    画像

    Google AI Studio

    https://ai.google.dev/aistudio?hl=ja

    ChatGPTやGeminiなどのAIサービスを開きましょう。まだアカウントをお持ちでない場合は、無料で作成することができます。

    ステップ2:プロンプトジェネレーターのソースコードをコピー

    このブログ最下部のソースコードをコピーします。

    ステップ3:ChatGPTやGeminiに貼り付けて実行

    コピーしたソースコードをChatGPTやGeminiに貼り付け、実行ボタンをおします。

    ステップ4:希望する動画の内容を入力

    その後、あなたが生成したい動画のプロンプトを作成します。日本語でも問題ありませんが、英語の方が精度が高いかもしれません。
    プロンプトには、カメラワーク、シーン設定、追加の詳細など、細かく項目が分かれていますので、迷わずに入力できます。現状、Gen-3 Alphaには500字しか入力できませんので、全部は入れられないかもしれませんが、あまり気にせず問題ありません。

    ステップ5:完成したプロンプトをGen-3 Alphaに入力

    画像

    生成されたプロンプトをコピーし、Runway Gen-3 Alphaに入力して、動画を生成しましょう。5秒か10秒を選択しGenerateボタンを押せば生成が始まります。

    その際、秒数によってそれぞれ消費するクレジットが違いますのでご注意ください。

    https://ja.aicu.ai/runway-gen-3-alpha

    6. 実際に作られた動画例

    例1:サーフィン
    入力例『サーフィンからシームレスにスケボーしてる感じにして』

    ④サーフィン (シームレスにAからBに)

    例2:黒い玉
    入力例『荒野の黒い球をシームレスに別の形態に変化させて』

    Gen-3 Alphaを使いたいけど迷っている人はこの『比較動画』見て頂くと良いかもしれません。
    画像のプロンプトと違って、動きや変化を指示しないと全然動かないので課金前に知っておいたらクレジット節約になります。もう使ってる方も1000回以上生成してわかったコツをnote等に纏めていれば「バズる」ためのヒントになるはずです👌

    https://ja.aicu.ai/alpaca-making

    例3:ゴッホの世界
    『ゴッホの空の街をFPVで進んでいって』
    まるでゴッホが描いたパリの街並みがあったら、行ってみたいと思いませんか?
    Gen-3 Alphaが描いたゴッホの筆使いが息づく世界を探索しましょう〜🍽️

     例4:タイタニック風
    『沈んだ船の外観、船内に入ったら当時の豪華絢爛な風景が広がっている』

    これまでの動画生成AIとは次元が違うのがGen-3 Alphaが特別な技術や才能がなくとも、自分のアイデアを映画級に仕上げることができるためです。

    必要なのは、あなたの想像力。

    7. まとめ

    プロンプトジェネレーターを使えば、動画制作の知識がなくても、AIと会話しながら誰でも簡単に高品質な動画を制作できます。そして、これを使いながら映像技術に関わる知識を学び、さらに素晴らしい動画を生成していくことができます。ぜひ活用して、あなたの創造力を爆発させてください!

    プロンプトは(みんなが無料で使えてしまうとオリジナリティが薄れてしまうので)メンバーシップ向け有料配布といたしますが、こちらのポストをシェアしていただければ無償で提供いたします!

    素敵な作品ができたらメンバーシップ掲示板で共有してくださいね!

    https://note.com/aicu/membership/boards/61ab0aa9374e/posts/1aa202bf314a

    作例:プロンプトジェネレーターのソースコード

    続きはこちらです

    https://note.com/aicu/n/n304ded1ec059

  • Stability Matrixで Automatic1111が起動しない…そんなときに試してほしいノウハウ #SD黄色本

    Stability Matrixで Automatic1111が起動しない…そんなときに試してほしいノウハウ #SD黄色本

    大好評の「画像生成AI Stable Diffusionスタートガイド」(通称 #SD黄色本 )ですが、GitHubでのソースコード公開に加えて、discordでのサポート、noteメンバーシップ向け掲示板でのサポートがあります。

    画像生成AI Stable Diffusion スタートガイド (Generative AI イラストレーション)

    Amazon.co.jpで購入する

    AICU: AI Creators Union|AICU media


    今回はStability Matrixを使ったローカルGPU、Windows11/Mac(Apple Silicon)環境を中心に discord AICUサーバー「SD黄色本サポート」チャンネルに寄せられたトラブルシューティングノウハウをお送りします。

    ❏書籍「画像生成AI Stable Diffusionスタートガイド」の詳細についてはこちら

    書籍[画像生成AI Stable Diffusionスタートガイド]

    ❏Google ColabでのAUTOMATIC1111 xformers関連の不具合と解決方法について (2024/5/22)

    Google ColabでのAUTOMATIC1111 xformers関連の不具合と解決方法について(2024/5/22)

    ❏Fooocus v2.4.0リリース & AICUによるColab無料版で動く日本語UI版も継続メンテナンス実施

    Fooocus v2.4.0リリース & AICUによるColab無料版で動く日本語UI版も継続メンテナンス実施


    過去の #SD黄色本 記事についてはこちらをご参照ください

    SD黄色本 アーカイブ

    Checkpointの切り替えに失敗する

    M3 MacBook Pro で報告されたケースですが、画像生成AIのモデル、つまり SD1.5やSDXL、もしくは bluePencilXL と言ったモデルの切り替えに失敗することがあります。
    エラーメッセージの例

    changing setting sd_model_checkpoint to bluePencilXL_v600.safetensors [83f960c769]: AttributeError

    Stability Matrixにはこのようなログが表示されます。

    Python 3.10.11 (main, May  7 2023, 17:32:05) [Clang 16.0.3 ]
    Version: v1.9.4
    Commit hash: feee37d75f1b168768014e4634dcb156ee649c05
    ControlNet init warning: Unable to install insightface automatically. Please try run `pip install insightface` manually.
    Launching Web UI with arguments: --medvram-sdxl --api --skip-torch-cuda-test --skip-python-version-check --no-half --gradio-allowed-path /Users/username/apps/StabilityMatrix/Images
    no module 'xformers'. Processing without...
    no module 'xformers'. Processing without...
    No module 'xformers'. Proceeding without it.
    Warning: caught exception 'Torch not compiled with CUDA enabled', memory monitor disabled
    ControlNet preprocessor location: /Users/username/apps/StabilityMatrix/Packages/Stable-Diffusion-WebUI/extensions/sd-webui-controlnet/annotator/downloads
    2024-06-11 08:11:57,602 - ControlNet - INFO - ControlNet v1.1.449
    Loading weights [1449e5b0b9] from /Users/username/apps/StabilityMatrix/Packages/Stable-Diffusion-WebUI/models/Stable-diffusion/animagineXLV31_v30.safetensors
    2024-06-11 08:11:57,929 - ControlNet - INFO - ControlNet UI callback registered.
    Running on local URL:  http://127.0.0.1:7860
    
    To create a public link, set `share=True` in `launch()`.
    Creating model from config: /Users/username/apps/StabilityMatrix/Packages/Stable-Diffusion-WebUI/repositories/generative-models/configs/inference/sd_xl_base.yaml
    /Users/username/apps/StabilityMatrix/Packages/Stable-Diffusion-WebUI/venv/lib/python3.10/site-packages/huggingface_hub/file_download.py:1132: FutureWarning: `resume_download` is deprecated and will be removed in version 1.0.0. Downloads always resume when possible. If you want to force a new download, use `force_download=True`.
      warnings.warn(
    Startup time: 8.8s (prepare environment: 0.4s, import torch: 3.3s, import gradio: 0.8s, setup paths: 1.1s, initialize shared: 0.2s, other imports: 0.9s, load scripts: 0.8s, create ui: 0.5s, gradio launch: 0.4s, add APIs: 0.5s).
    changing setting sd_model_checkpoint to bluePencilXL_v600.safetensors [83f960c769]: AttributeError
    Traceback (most recent call last):
      File "/Users/username/apps/StabilityMatrix/Packages/Stable-Diffusion-WebUI/modules/options.py", line 165, in set
        option.onchange()
      File "/Users/username/apps/StabilityMatrix/Packages/Stable-Diffusion-WebUI/modules/call_queue.py", line 13, in f
        res = func(*args, **kwargs)
      File "/Users/username/apps/StabilityMatrix/Packages/Stable-Diffusion-WebUI/modules/initialize_util.py", line 181, in <lambda>
        shared.opts.onchange("sd_model_checkpoint", wrap_queued_call(lambda: sd_models.reload_model_weights()), call=False)
      File "/Users/username/apps/StabilityMatrix/Packages/Stable-Diffusion-WebUI/modules/sd_models.py", line 860, in reload_model_weights
        sd_model = reuse_model_from_already_loaded(sd_model, checkpoint_info, timer)
      File "/Users/username/apps/StabilityMatrix/Packages/Stable-Diffusion-WebUI/modules/sd_models.py", line 793, in reuse_model_from_already_loaded
        send_model_to_cpu(sd_model)
      File "/Users/username/apps/StabilityMatrix/Packages/Stable-Diffusion-WebUI/modules/sd_models.py", line 662, in send_model_to_cpu
        if m.lowvram:
    AttributeError: 'NoneType' object has no attribute 'lowvram'
    
    Loading VAE weights specified in settings: /Users/username/apps/StabilityMatrix/Packages/Stable-Diffusion-WebUI/models/VAE/sdxl_vae.safetensors
    Applying attention optimization: sub-quadratic... done.
    Model loaded in 28.7s (load weights from disk: 0.8s, create model: 1.3s, apply weights to model: 10.7s, apply float(): 8.3s, load VAE: 2.0s, load weights from state dict: 0.1s, hijack: 0.6s, load textual inversion embeddings: 0.7s, calculate empty prompt: 3.9s).

    基本的にはこのようなログをChatGPTやClaude、Gemini、Perplexityなどに貼り付けていただけると解決する事も多いですのでぜひやってみてください。

    以下はChatGPT-4oでの上記のログの回答例です。

    AttributeError:

    • AttributeError: ‘NoneType’ object has no attribute ‘lowvram’: このエラーはsd_modelがNoneであることを示しています。つまり、モデルが正しくロードされていない可能性があります。この問題は、モデルのロードプロセスで何かが失敗しているか、チェックポイントファイルが正しくないか、または欠落しているために発生することがあります。

    ひとえに「メモリが足りない」という原因が多かったりします。もちろん、動作中に多くのコマンドや操作を投げることは避けたほうがいいです。多くのケースではケースでは起動しているChromeなどのWebブラウザ、不要なタブを閉じて再起動したり、再度選択を試してみたらできた、という事もよくあります。

    ロードするモデルはSDXL系ですと4-6GBのファイルサイズがあり、VRAMやメインメモリにそれをロードするだけの容量がなければエラーになります。起動時オプションで「lowvram」というオプションがありますので、8GB以下のVRAMであればチェックオンしておくと動作の不安定を回避することができるかもしれません。

    よくある他の事例としては
    ・checkpointが正しい場所にあるか
    →modelsフォルダ、その下の「Stable Diffusion」です
    StabilityMatrix-win-x64\Data\Models\StableDiffusion

    ・ダウンロードの途中で終わってしまっている(ファイルが壊れている)
    →削除してやり直し

    といったケースがあります。いずれにしてもモデルの切り替えに失敗しているときはStability MatrixのコンソールやAutomatic1111右下に表示されていますのでエラーログを確認しましょう。
    コツは「あきらめないこと」です!特にMac版。

    ModuleNotFoundError: No module named ‘jsonmerge’

    2024/7/12にご報告いただいたケース
    (新品のWindows11)
    > Stable Diffusion Web UI v1.9.4をパッケージに追加して、Launchを押すと、いろいろ文字が出て、最後に

    File “C:\Data\Packages\stable-diffusion-webui\repositories\k-diffusion\k_diffusion\config.py”, line 6, in <module>
    from jsonmerge import merge
    ModuleNotFoundError: No module named ‘jsonmerge’

    と表示されて止まってしまいます。

    まず、基本的なところで、Stability Matrixを利用すると、個別にPythonをインストールする必要はなくなります。
    つまり、想像するに、ローカルで既にインストールされたPython環境とぶつかっている可能性があります。

    もしWindows + R →「cmd」でコマンドプロンプトを起動して、 python -V と打って Enter ボタンを押して、上記のように Python 3.10.6 と出るか、もしくは「コマンドが見つかりません」というエラーが出れば問題なしですが、他のバージョンのPythonが出てくるようですと、まずはいったん、Pythonをアンインストールしたほうがいいと思います。

    ・Stability MatrixのAutomatic1111を更新する
    →Packageでで確認できます

    ・Stability MatrixのAutomatic1111を削除してインストールし直す
    →生成済みの画像も削除される可能性がありますので一旦退避しましょう。

    ・Stability Matrixをアンインストールして入れ直す

    ・[上級者向け]足りないモジュールを手動でインストールする
    Redditで同様の不具合が報告されています
    Error: ModuleNotFoundError: No module named ‘jsonmerge’
    https://www.reddit.com/r/StableDiffusion/comments/13e6srs/error_modulenotfounderror_no_module_named/

    ・[非常に簡単な方法]Windows11に新ユーザをつくる
    設定→アカウント→その他のユーザー→「アカウントの追加」で解決することが多いです。
    これは「demo」というユーザを作成している例です。

    画像

    解決策:Google Colabを並列にする

    Stability Matrixは手元のGPUで使えて嬉しいのですが、本格的に画像生成をしたりオリジナルのLoRAを学習させたりといった複数の作業を行うときは、1台のPCでも辛くなってきます。
    Google Colab Proの環境は有料ではありますが、Proのライセンスであればクリーンなインストール環境、高速なGPU、高速な回線であり、特に困ることは少なくなります。
    ローカルのGPUをメインで使う場合も問題分析がしやすくなります。

    本書ではGoogle Colabでの環境構築やColabで動くノートブックも並列で解説・メンテナンスしていますので、ぜひとも使ってみてくださいね!

    画像

    以上、「画像生成AI Stable Diffusionスタートガイド」のトラブルシューティング情報でした!

    画像生成AI Stable Diffusion スタートガイド (Generative AI イラストレーション)

    Amazon.co.jpで購入する

    書籍のサポートリポジトリやAICU Inc. discord サーバー「SD本サポート」チャンネル ⁠はこちら(有料)

    https://note.com/aicu/n/n08c33f7102ab

  • Text to AppなAI開発ツール「CREATE.xyz」首脳陣が渋谷でミートアップを開催 #CreateTokyo

    Text to AppなAI開発ツール「CREATE.xyz」首脳陣が渋谷でミートアップを開催 #CreateTokyo

    話題の「Text to App」なAI開発ツール「CREATE.xyz」首脳陣が日本にやってきます! CEOのドゥルブ氏をはじめとする少数精鋭チームが、2024年7月15日(月・海の日)、渋谷のGMO Yours・フクラスに集結しミートアップ(交流会)を開催します!

    ウェブサイト作成からアプリ開発まで、まるで魔法のように簡単に実現してしまうAIツール「CREATE.xyz」。
    その最新技術を、CREATE.xyzチームから直接学べるチャンスです!

    こんな方にオススメ

    • 最新のAI技術に触れてみたい方
    • ホームページやアプリ開発に興味がある方
    • ビジネスにAIを取り入れたいと考えている方
    • グローバルな環境で活躍するスタートアップ企業の熱気を感じたい方

    イベントで得られること

    • AI開発の未来を体感できるデモを間近で見学
    • AI業界のエキスパートによるトークセッション
    • CREATE.xyzチームとの質疑応答
    • 参加者同士のネットワーキング

    CREATE.xyzとは?

    日本語でチャットするだけで、ウェブサイトやアプリが開発できるAIツールです。
    https://www.create.xyz/

    • プログラミング知識は一切不要!
    • 簡単なランディングページ(LP)制作から、ゲーム、データベース構築まで幅広く対応
    • 開発者向けにコード編集機能も搭載

    AICU関連記事:AIと作るWeb体験「Create.XYZ」 今すぐ始めるインタラクティブなサイト開発

    AIと作るWeb体験「Create.XYZ」 今すぐ始めるインタラクティブなサイト開発 プロンプトからサイトが作れる!?話題の「Create.xyz」を使ってみた! さいきん話題の「Create.xyz」という ja.aicu.ai

    イベント詳細

    日時: 2024年7月15日(月) 15:30-19:00(開場15:00)
    場所: GMO Yours・フクラス (東京都渋谷区道玄坂1丁目2番3号 渋谷フクラス 16階)
    参加費: 無料(事前登録制)
    参加方法: 下記リンクより事前登録をお願いします。

    create.xyz Team in Tokyo: CEO Demo & AI Meetup @ GMO Yours · Luma 「CREATE.xyz」が日本に初上陸しました!CREATE.xyzは、サンフランシスコを拠点とするスタートアップで、日本 lu.ma

    イベントスケジュール

    • 15:30-15:40 開会の挨拶と紹介
    • 15:40-16:00 Createデモ – はじめに
    • 16:00-16:30 CEO × AIMトーク – AIツールの未来
    • 16:30-17:00 Createデモ – 応用編
    • 17:00-17:30 専門家トーク – サプライズゲスト
    • 17:30-18:00 Q&A – 深く掘り下げる
    • 18:00-19:00 ネットワーキング

    *スケジュールは変更になる可能性があります

    無料で試す: create.xyzDiscord: create.xyz/discord
    X: x.com/create_xyz

    一緒に未来を創造しましょう!

    共催:AIM
    協力:GMO教えてAI株式会社

    事前登録制となっております。満員になることが予想されますので、お早めにご登録ください。

    ​共催:AIM
    協力:GMO教えてAI株式会社

    ​事前登録制となっております。満員になることが予想されますので、お早めにご登録ください。

    開催場所
    Shibuya FUKURAS
    1-chōme-2-3 Dōgenzaka, Shibuya City, Tokyo 150-0043, Japan
    東京都渋谷区道玄坂1丁目2番3号 渋谷フクラス 16階  GMOインターネットグループ グループ第2本社 GMO Yours・フクラス

    CREATE×AIM in TOKYO CREATE.xyz チームが日本上陸! AI時代を牽引する対話型AI開発ツール「CREATE.xyz」がチームメンバー ymmd-ai.co.jp https://note.com/embed/notes/n3c44e9beb59d https://note.com/embed/notes/n241a0e076e96

  • 日本語で使える!「パープレ」最安課金で忖度なしのガチレビュー!! #Perplexity

    日本語で使える!「パープレ」最安課金で忖度なしのガチレビュー!! #Perplexity

    2024年7月12日、Perplexity Japanの公式Xアカウント X@perplexity_jp が公開されました。
    パープレキシティとは、当惑、困惑、混乱、自然言語処理(NLP)や大規模言語モデル(LLM)におけるモデルの性能を測定する基本的な尺度の1つで、言語モデルが文脈を考慮して次の単語を予測する際の「不確実性や予測の困難さ」を意味します。……とはいえ舌噛みそうですよね。
    せっかくなので「パープレ」と相性込めて呼んでみました。

    公式に返事をいただきました!(ミーハー心)

    Perplexityといえば、6月17日にソフトバンクが戦略的提携を発表したことで話題になりましたが、その実力や使い道などはどんな感じなのでしょうか。
    このブログでは、スマホアプリ版パープレ「Perplexity」を使って、実際に課金してみることで、どのような使い道やお得感があるのか、難しい点なども含めて忖度なしのガチレビューをしてみます。

    ダウンロードはこちらから

    https://www.perplexity.ai/iphone

    画像

    https://www.perplexity.ai/android

    画像

    なお、スマホ以外にWebでも共通アカウントで利用することができます。さらにこのリンクからご登録いただけると$10の割引があるそうです!
    https://perplexity.ai/pro?referral_code=QYWHS4AX

    画像

    全部日本語化されている!

    画像

    ログインは簡単、メールアドレスのみ。

    Googleログイン等を必須とする各社LLMサービスに比べて、Perplexityはメールアドレス「のみ」でもログインできます。パスワードは不要です。メールアドレスを入れるとサインインへのリンクが送付されるマジックリンク形式のログインができます。

    画像

    アドレス帳を共有することでお友達を招待できますがコチラについてはまた後ほど…

    画像

    日本語化されています!

    画像

    左上が「設定」、左下が🔍️検索(ホーム)、真ん中が「発見」、右下が「ライブラリ」と「コレクション」です。ライブラリはいままでの検索履歴と考えて良さそうです。コレクションはライブラリの上部「スレッド」から追加することができます。バインダーにファイリングするように、調査結果を保存できます。
    まずはこのレビューでは設定関係やモデル切り替え関係を中心に紹介していきます。

    Proアカウントに課金、最もオトクなのは?

    画像

    プロ版にはどんな機能があるの?

    月額20ドルのプロ版になると、Perplexity の全機能をアンロックすることができます。
    ・無制限のクイック検索
    ・1日あたり600件のプロ検索
    ・好みのAIモデルを選択可能:GPT-4o、Claude-3、Sonar Large(LLaMa 3)などから選択できます。
    ・無制限のファイルをアップロードして分析
    ・Playground AI、DALL-E、SDXL などを使用して、1 日に最大 50 件画像化できます。
    ・月額5ドルのAPIクレジットを獲得

    解約に関する情報はこちらです。
    https://www.perplexity.ai/ja/hub/faq/billing-and-subscription

    「ソフトバンクユーザは1年間ゼロ円で利用できる!」というキャンペーンが実施されています。期限は2025年6月18日までなのでソフトバンクユーザはまずはこちらをおすすめします。

    画像

    年間29,500円相当が1年間ゼロ円です。申込方法はソフトバンクのログインから専用フォームで申請します(詳細はこちら)。

    画像

    次にオトクなのは iOS/AndroidのApple Pay/Google Payによるサブスクリプションです。
    $20.00=3,182円 (159.1JPY)なので1ドルが150円以下にならなければ、円で3,000円で支払ったほうがお安くなります。

    最後に、最も高価になるのが Web版での契約になります。
    ……ですが、こちらのリンクからご登録いただけると$10の割引があるそうです!
    https://perplexity.ai/pro?referral_code=QYWHS4AX

    決済システムはStripeです。

    メールアドレスで登録した場合、スマホ版とWeb版のアカウントを共通で利用することができました。

    画像

    AIモデルの切り替えってどうやるの?

    Proアカウントになると「設定」でAIモデルを切り替えることができるようになります。
    https://www.perplexity.ai/settings/account

    画像

    デフォルトモデルと Claude 3.5 Sonnetを使って「全力肯定彼氏くんって何?」を検索してみました。
    たしかに、最新の講演まで調べ上げてくるモデルがあります。

    画像

    モデルとPro検索の組み合わせなどで使い勝手は変わりそうですが、最新(2024/7/4)のアンケート結果なども抽出しています。

    画像

    ちなみに Claude Proが $20、GPT-4oが利用できる ChatGPT Plusも $20です。それぞれのサービスを個別に契約することにくらべてお得感があります。
    オープンなモデルとして Sonar Large 32Kがあります。
    APIとして利用できるモデルにはmixtral-8x7b-instructなどもあります。

    https://docs.perplexity.ai/docs/model-cards

    画像

    実は検索機能が便利

    PerplexityのUI/UXが他のLLMサービスと大きく異なる点は「多様な検索機能」にあるといえます。

    フォーカス機能

    画像

    デフォルトではフォーカスが「全て」になっていますが、学術、数学、ビデオ、ソーシャル、作成…というフォーカスがあります。実際の中身は以下のようになっているようです。

    ・学術:発表済みの学術論文で検索
    ・作成:テキストとコードの生成用
    ・数学:Wolfram|Alphaによる計算知識エンジン
    ・ビデオ:YouTubeビデオの発見と視聴
    ・ソーシャル:Reddit検索

    作成モード

    AICU編集部でのLLMテストで最近流行りの高難度な課題で実験してみます。

    「お前友達少ないだろ」っていう人を全力肯定論破して

    ❏各AIに訊いてみた!「お前友達少ないだろ」を言われたらどう返す?

    [Perplexity – Claude 3.5 Sonnetを選択]

    はい、「お前友達少ないだろ」という発言に対して、全力で肯定的に論破する方法をいくつか提案させていただきます。

    質を重視する姿勢を強調

    「その通りです!私は友達の数よりも質を重視しているんです。少数精鋭の深い絆を大切にしています。」

    自己成長の機会として捉える

    「おっしゃる通りです。だからこそ、一人一人の友人との関係を大切にし、自己成長の機会として捉えています。少ない友達だからこそ、より深い関係を築けるんですよ。」

    時間の有効活用を主張

    「その通りです!だからこそ、無駄な付き合いに時間を取られず、自分の趣味や仕事に集中できるんです。効率的な時間の使い方ができていると自負しています。」

    インターネット時代の新しい友人関係を提示

    「確かに現実世界では少ないかもしれません。でも、オンライン上では世界中に友人がいるんですよ。現代ならではの友人関係の広がりを楽しんでいます。」

    独立心と自立性をアピール

    「そうなんです!それだけ独立心が強く、自立した人間だということですよね。一人でも充実した生活を送れる能力は、現代社会では大切なスキルだと思います。」

    選択と集中の戦略を説明

    「おっしゃる通りです。私は友人関係においても”選択と集中”の戦略を取っているんです。少数の本当に大切な人との関係に集中することで、より深い絆を築けています。」これらの返答は、相手の発言を肯定しつつ、その状況を積極的に捉え直すことで論破する方法です。自信を持って前向きに答えることで、相手の意図を逆手に取り、自分の強みとして主張することができます。

    [Perplexity – Claude 3.5 Sonnetを選択]

    さすがに「Claude 3.5 Sonnet」を選択しているだけあって、6要素+セリフ生成がしっかりできています。

    デフォルトのモデルではいかがでしょうか。

    Perplexityデフォルトモデル

    はい、その発言に対して全力で肯定的に論破する方法をご紹介します。以下のような返答を考えてみました:「そうだね、友達は少ないかもしれない。でも、それって素晴らしいことなんだ!」

    友達が少ないことのメリット
    質の高い人間関係
    少数精鋭の友人関係を築けるんだ。深い絆と信頼関係が生まれるよ。
    時間の有効活用
    友達付き合いに時間を取られすぎず、自己成長や趣味に集中できるんだ。
    ストレス軽減
    人間関係のトラブルが少なくて済むから、メンタルヘルスにも良いんだよ。
    個性的な生き方
    周りに流されず、自分らしい生き方ができるんだ。これって素敵じゃない?
    深い自己理解
    一人の時間が多いから、自分自身をよく知ることができるんだ。


    結論

    友達の数が少ないことは、決して悪いことじゃない。むしろ、豊かな人生を送るチャンスなんだ。質の高い関係性、自己成長の機会、そして心の平穏。これらは友達が少ないからこそ得られる宝物なんだよ。だから、「友達が少ない」って言われたら、「ありがとう、そのおかげで充実した人生を送れてるんだ」って胸を張って答えられるんだ。

    Perplexityデフォルトモデル

    Perplexityデフォルトモデルでも5要素+セリフ生成ができています。なかなかの日本語性能です。

    画像生成ができる

    現在のスマホ版ではサポートされていないようですが、Web版の右側で画像生成ができます。カスタムプロンプトの右側の🔧からスタイルと主題を日本語で指定できます。

    画像
    画像

    内部的にはPlaygroundというサービスを使っているようです。他のDALL-EやSDXLを選択できるという触れ込みなのですが、どこで選択できるのか…アカウント設定にありました!

    https://www.perplexity.ai/settings/account

    画像

    あらためて同じプロンプトで比較生成してみます

    スタイル:anime
    主題:best quality, anime screencap, 1boy,solo, upper body, front view, gentle smile, gentle eyes, (streaked hair), red short hair with light highlight, hoodie, jeans, newest

    SDXL

    画像

    DALL-E3

    画像

    Playground

    画像

    ずいぶんと個性に違いがあります。
    これは各ユーザでお好みのモデルを選択していきたいところですね!

    細かい設定によるパーソナライズ化

    プロフィールを設定することでより細かいパーソナライズ設定ができます
    https://www.perplexity.ai/settings/profile

    「場所」を「日本」、優先対応言語を「日本語」にすることでさらに質問が出てきます。

    画像

    質問に回答すると…

    画像

    更に細かい質問をしてきます。

    画像

    セキュリティ設定

    気になるひとはAIデータ保持をOFFにしておきましょう

    画像

    残念なところ

    ・Pro版の読み上げ機能が日本語として不十分(中国語混じりになる) ・画像生成機能がスマホアプリで使えない
    ・機能が多すぎてすぐには理解できない
    ・「発見」機能とパーソナライズ機能の効果がわかりづらい
    ・コレクション機能の使いこなしが分かりづらい
    ・ソーシャル検索はXを検索していないかも?

    今後の改善に期待です!

    良いところ

    ・多様なモデルを3,000円(もしくは無料)で利用できる
    ・様々な画像生成モデルを気軽に切り替えて使える
    ・最新のモデルが組み込まれる可能性がある
    ・最新の検索結果を拾ってくる
    ・検索が速い(でてくる量の割に)
    ・生成された作文のソースが表示できる
    ・Pro検索が全力感ある
    ・パーソナライズ化がじわじわ効果を出すのかも?

    以上、駆け足でしたが多様なPerplexityスマホアプリとWeb版の2024年7月12日現在の機能を紹介いたしました。

    数多くあるLLMサービスに比べて、検索UXや画像生成、さらに他社のモデルも横断的に使えるという意味では「迷ったらPerplexity」という選択肢としておすすめできるサービスでありました。

    さらにリファラルコードがあるのが珍しいですね!
    こちらのリンクからPro登録して見ていただけますと幸いです。
    https://perplexity.ai/pro?referral_code=QYWHS4AX

    ✨️本記事はAICU media編集部が独自に(自腹で)調査したガチレビューになります✨️

    ☺️生成AIサービスのレビュー依頼、広告PR等のお問い合わせは X@AICUai までDMでいただけますと幸いです。

  • 「Omost」で画像生成を細かく制御しよう

    「Omost」で画像生成を細かく制御しよう

    Omost(オモスト)とは?

    Omost(オモスト)とは、ControlNetやStable Diffusion WebUI Forge、Foocusの開発者として著名なlllyasviel氏が開始した、新しいオープンソースプロジェクトです。

    https://github.com/lllyasviel/Omost

    Omostは、LLMを利用して、画像生成AIが生成する画像のコーディングをしようという試みで、簡単に言ってしまえば「Omostを使うことで、Stable Diffusionにレイアウト指定をほとんど制御できる」――「ほとんどできる」から、AlmostでOmost…という洒落のようです。

    ご存じの通り、画像生成AIというのは、どんなに厳密なプロンプトを組んだり、ComifyUIを使って緻密なノードを組んだとしても、完全に制御できるものではありません。それはこのOmostを使っても同じことです。そこには「生成AIに共通する入力に対する出力のゆらぎ」のようなものがあります。

    それでもOmostを使うと、それまで偶然に頼ることが多かったtxt2Imgでの画像生成に対して、かなり再現性の高いレイアウトを指定することができるようです。

    lllyasviel氏の過去作「Fooocus」でも多くの内部最適化と品質改善がGPT-2をベースに組み込まれています。

    https://github.com/lllyasviel/Fooocus

    Fooocusで使われている技術詳細はこちら

    https://github.com/lllyasviel/Fooocus?tab=readme-ov-file#tech_list

    書籍「画像生成AI Stable Diffusionスタートガイド」でも、最初の段階でこちらの日本語版を扱っています。

    書籍[画像生成AI Stable Diffusionスタートガイド]

    https://j.aicu.ai/FoooC

    Book-StartGuideSDXL/Fooocus_onColab.ipynb at main · aicuai/Book-StartGuideSDXL

    さて、今回紹介する「Omost」は、より上を目指す、ちょっとマニアックなツールになりますが、幸いなことにHuggingFace Spaceで試すことができます。さっそく使用感を見ていきましょう。

    上手に使えると、こんな高度なポージングをした画像が再現性高く生成できます。

    画像

    Omostを準備する

    Spaceを使う場合

    一番お手軽に使う方法はHuggingFaceのSpaceを利用することです。下のURLからアクセスできます。

    Omost – a Hugging Face Space by lllyasviel

    使ってみた印象では、ちょっと試すぐらいならSpaceを使うとよいと思います。スピードはローカルと変わらないぐらい速いです。

    ローカル環境にインストールする場合

    Omostは、お使いのWindows PCが8GB以上のVRAMを搭載しているNVIDIA製のビデオボードを搭載していれば、ローカル環境で動かすことができます。

    ローカル環境で動かすためのインストールの方法は、Omostのリポジトリより Get Started(https://github.com/lllyasviel/Omost#get-started)より確認してください。
    Omostをインストールする前に、事前に以下の環境が整っていることが必要です。

    • Git for Windows
    • AnacondaのWindowsローカル環境(Python 3.10)
    • CUDA 11.8 もしくは 12.5
    • インストールしたCUDAに対応したPyTorch

    これらがコマンドプロンプトから動作するように、適切にWindowsの環境変数が設定されていることも必要です。

    もし頑張ってインストールする場合には、ChatGPTなどに相談しながらやるとよいでしょう。
    ここではOmostのインストールは終わっているものとして、進めます。

    Omostを使ってみる

    Omostのメイン画面は以下のようなものです。

    レイアウトを指示する

    画像

    画面右下の「Submit」ボタンの横にチャットウィンドウがあります。そこに、欲しいイラストの内容を指定します。この指定は日本語でもいけます。LLMのおかげですね!

    せっかくですので、以下のような面倒くさいイラストを指定してみましょう。

    白い髪のバニーガールの少女が、異次元空間に浮かんでいる開いたドアの中をのぞき込み、ドアの中から光の珠(素晴らしい未来の象徴)を取り出そうとしている。
    少女の表情は好奇心に溢れていつつも、心持ち不安げ。不安げなのは、未来に何が待っているのかまだわからないから。
    異次元空間は真っ暗で、ドアが沢山浮かんでいる。
    少女の表情と仕草をイラストの中心として、ダイナミックな構図で表現すること。
    異次元空間なので、少女が立つ地平線は斜めに傾いている。
    16:9の横長のコンポジションで作画すること。

    画像

    イラストは16:9で指定しているので、左側にある Omostの「Image Diffusion Model」内の Image Width を「1920」と Image Hight も「1080」になるように指定をしておくと、後ほどチェックするのに便利です。

    画像
    画像

    ここまで終わったら、「Submit」ボタンを押して実行します。
    するとその上の「Omost」というウィンドウ内に、延々とCanvasと呼ばれるオブジェクトが書かれていきます。これがOmostが生成AIに与えるイラストのレイアウト指示になっています。

    画像

    画像を生成する

    ここでCanvasの生成が終わったら、左側に「Render the Image!」というボタンが追加されます。このボタンを押すと、今Canvasに設定された画像が続いて生成されます。

    画像
    画像
    画像
    画像

    いくつかサイズも変えて生成してみたところ、大体、白髪のウサギ少女、ドア、オーブが配置されたイラストになります。2枚目が典型的ですね。

    皆さんはうまく生成できましたか?
    生成されたキャンバスの説明の生成も興味深いです。

    AICUではOmostに関してさらなる活用方法を調査中です。
    続報をお楽しみに!

    この記事が面白かったらフォローやいいねをお願いします!

  • 【まだ間に合う!!】賞金400万円超えのAI映像コンテストに投稿してみた #projectOdyssey

    【まだ間に合う!!】賞金400万円超えのAI映像コンテストに投稿してみた #projectOdyssey

    こんにちは!AIクリエイターの ぽんず(@ponzponz15)です。

    AICU media編集部さんに教わったのですが、実はいま世界では、賞金総額28,000ドル(約437万円!)もかけて行われているAI映像制作コンテスト「PROJECT ODYSSEY(プロジェクト・オデッセイ)」が開催されているので投稿した実録です。みなさんも投稿頑張ってみてください!

    https://www.projectodyssey.ai

    参考記事:国際AI映像制作コンペ「オデッセイ」開催 #projectodyssey

    https://note.com/aicu/n/n53b3aab4879b

    CivitaiThinkDiffusionElevenLabsRealdreamsといった、AI業界の人なら誰でも知ってるような企業が主催している、まさに世界規模のコンテスト。

    作品提出締め切りは 2024年7月17日 PM3:59 (July 16th at 11:59PM PT)とあります。まだ間に合います。

    それでは「PROJECT ODYSSEY(プロジェクト・オデッセイ)」に応募していきましょう。自分は投稿が終わったので、これから一人でも多くの方に知ってもらおうと思い、この記事を作成しました。

    私自身、使用したことのないサイト(CivitAI)だったので応募に少し苦労しました。皆様がアカウント登録から応募までスムーズに進めるように画像付きで解説しましたので、ぜひ最後まで読んでみてください。

    世界のAI映像界を牽引する企業が注目!

    まず、「PROJECT ODYSSEY」ですが、AI映像業界を牽引するmorph、F3F、LensGo、DomoAI、DeepMakeなど、そうそうたる企業が協賛しています。

    3Dアニメーション、ミュージックビデオ、技術紹介などAIを使った映像表現の可能性を追求する作品を募集中です。

    コンテストの詳細はこちら
    公式X(Twitter)アカウント

    私も滑り込みで応募しました

    以前、AICU様の記事でご紹介した「アルパカおにぎり」の動画を応募しました。SNSを見ていてもこういった不思議な表現はあまり見かけなかったので、もしかしたらチャンスがあるかも?作品の詳細はこちらの記事をご覧ください!

    https://note.com/embed/notes/n7ebe0ac1afb3

    一般の投票期間もありますので、よければ応援よろしくお願いします。

    【簡単】「PROJECT ODYSSEY」応募方法解説

    1. アカウント登録

    まずは「PROJECT ODYSSEY」の公式ウェブサイトにアクセスして、アカウントを作成しましょう。 https://www.projectodyssey.ai/

    画面右上の”Sign Up”ボタンをクリックし、必要情報を入力して登録を進めてください。

    メールアドレスや主要なSNSリンクなどを入力します。その後、上記のHow to Submitから応募に入ります。

    Go to Collectionを選択すると Project Odysseyのページへ移動します。

    こちらの画面、右上の➕ボタンを押して 応募を開始しましょう。

    2. 作品をアップロード

    アカウント登録が完了したら、いよいよ作品のアップロードです。

    “作品をアップロード”ボタンをクリックし、アップロード。さらに以下の情報を入力します。

    作品情報に加えて、いくつかの情報を記入する必要があります。

    • タイトル
    • 説明文
    • 使用したAIツール
    • タグ
    • カテゴリー選択

    これらの質問への回答は、審査員が作品を評価する上で重要な参考資料となります。

    3. 公開

    すべての入力が終わったら、内容を確認し、右上の”submit”ボタンをクリック!

    こちらの画面が出れば応募完了です。

    私も応募したよ! 一緒にAI映像コンテストで世界に飛び出そう

    Project Odyssey AI Film Competitionの締め切りは7月17日午後3時59分(日本時間)となります。
    賞金総額28,000ドル(約437万円!)、応募すれば可能性はあります!

    AIを活用した映像制作は、日進月歩で進化を続けています。
    このコンテストは、作り手にとって自身の作品を世界に発信し、評価を受ける貴重な機会になります。
    この経験が、これからの創作活動の糧になると感じています。

    そして、この記事を読んでいるあなたも、ぜひ「Project Odyssey」に挑戦してみてください!応募するだけでドキドキします。


    締め切りが迫っているので、少しでも気になった方は、ぜひ応募ページを見てみてくださいね!

    https://www.projectodyssey.ai

    みんなでAI映像制作の世界を盛り上げていきましょう!

    生成AIクリエイティブのご相談は AICU Visual Communication事業部までどうぞ

    https://corp.aicu.ai/visual

    書籍「画像生成AI Stable Diffusionスタートガイド」も人気です

    この記事に「いいね!」と思ったら、いいねとフォロー、おすすめをお願いします!

    https://note.com/aicu/   X(Twitter)@AICUai

  • 「おにぎり×アルパカ×AI」奇跡の組み合わせが生んだ革命的CMのメイキングを大公開

    「おにぎり×アルパカ×AI」奇跡の組み合わせが生んだ革命的CMのメイキングを大公開

    はじめまして、AIクリエイターの ぽんず(@ponzponz15)です。

    このたび、AICU mediaの依頼で、こちらの作品「アルパカおにぎり 水谷園」のCM動画のメイキングを紹介します。

    ▶︎動画生成Runwayより「Gen-3 Alpha」リリース!月額15ドルで試用してみた

    使用ツールと各工程

    まず、大まかな流れとしては

    (1) プリプロセス アルパカおにぎり誕生秘話

    (2) MidJourneyを使ったキービジュアルの作成

    (3) SunoAI による楽曲制作

    (4) Runway Gen-3 Alpha と Pika による動画カットの作成

    (5) 編集作業:AI動画のランダム性を活かす

    という流れになります。

    総制作時間は1時間ぐらいです。

    早速はじめていきましょう。

    (1) プリプロセス:AI動画制作 アルパカおにぎりの誕生秘話

    今回の動画制作は、おにぎり劇場さんの「アルパカができるまで」という動画を見かけたことがきっかけでした。

    おにぎり劇場さんによるメイキング

    可愛らしいアルパカ姿のおにぎりが作られていく様子を見て、

    「この素敵なコンセプトをAI動画で再現し音楽とナレーションを加えれば、CM風メイキング動画が作れるのでは?」

    と思ったのがきっかけでした。

    Googleで「アルパカおにぎり」を検索してみると・・・

    日本ハムさんによるレシピ

    Cookpadでの「キャラ弁」

    https://cookpad.com/recipe/3430176

    https://cookpad.com/recipe/1793144

    実際に人気のレシピとして存在するようです。

    このような「知られざる人気」をすばやくとらえて「AIでしかできない、不可能な絵作り」を可能にしていきます。

    (2) MidJourneyを使ったキービジュアルの作成

    早速、「Midjourney 」と 「Runway Gen-3 Alpha に「アルパカの姿をしたおにぎり」といったシンプルなプロンプトを入力してみました。

    すると、それぞれのAIが個性的な画像や動画を生成してくれました。

    Midjourney Prompt:

    phone photo of Alpaca-shaped rice balls ,posted to reddit 2010 –stylize 0 –ar 16:9

    Midjourney では、スマホで撮影したような手作り感のあるおにぎりの画像を生成。Runway Gen-3 では、アルパカおにぎりのマスコットがキッチンで踊る動画を生成しました。

    これらの素材を組み合わせれば、クオリティの高い作品になると思い今回のCM風動画制作がスタートしました。

    (3) SunoAIによる楽曲制作

    CMに最適なBGMを制作するために、AI作曲ツール「SunoAIを採用しました。SunoAIは、入力した歌詞と音楽スタイルに基づき、AIが自動で作曲を行うサービスです。

    AI作曲の大きな特徴は、短時間で質の高い楽曲を多数生成できる点にあります。
    SunoAIでは、1回の作曲で2~4分程度の楽曲が生成されますが、現状ではAI音楽は部分的な微調整が難しいという側面もあります。
    そこで今回は、生成された楽曲の中から特に優れた約22秒の部分を抜粋し、動画のBGMとして採用しました。
    AIが生成する楽曲の中から特に優れた部分を見出し、部分的、効果的に活用することで、AIを使ったクオリティの高い動画制作を実現できます。なお、SunoAIに入力する歌詞は、リズムを意識して作成するとAIが独自に優れた楽曲を生成します。

    歌詞:
    アルパカアルパカアルパカおにぎり
    にぎってにぎって ぱっかぱっかぱっか(パカッ)
    アルパカアルパカアルパカおにぎり
    ぎゅってぎゅって おいしいね(ぎゅっ)

    (4) Runway Gen-3 Alpha と Pika による動画カットの作成

    「アルパカおにぎり」を映像化するにあたって、今回は最新のAI動画生成ツールであるRunway Gen-3 AlphaPikaを活用しました。

    Runway Gen-3 Alphaは、テキストから高画質の動画を生成できるAIツールです。
    「アルパカ姿のおにぎりが踊っている(Dancing Alpaca-shaped rice ball)」といった指示でも、イメージに近い動画を生成してくれ、これまで表現が難しかったイメージも容易に映像化することが可能になりました。

    ですが、現状は画像を動画化することができません。

    そこで、今回は動画生成AIのPikaを併用しました。
    Pikaは、画像を動画にすることができるAIツールです。

    Runway Gen-3の一貫性のある優れた動きに合わせて、足りない部分をMidjouneyとPikaで作った動画で補うことで『静と動』のバランスをとりました。これで全ての素材が揃いました。

    (5) 編集作業:AI動画のランダム性を活かす

    AI動画は、同じプロンプトを入力しても同じものが生成されるとは限りませんし、望み通りに動くとも限りません。そのため、制作工程では、まずAIに多数の動画を生成させ、その中から使えそうな部分を抽出して編集作業を行うという流れになります。足りない場合は再度生成して補うこともありますので。生成作業の段階では多めに長めに作っておくと、編集をスムーズに行うことができます(※AIではどのような生成が行われるかランダム性が高く、この編集段階で最適な表現を探ることも多くなります。予定していたよりクオリティの高い動画ができればそれを中心に組み直すことも、逆も然りです)。
    今回は、5秒や10秒の動画素材の中から、特に質の高い2~3秒程度のシーンを厳選し、それらを音楽に合わせて繋ぎ合わせることで、約22秒の動画ができました。最後にナレーションと簡易なキャプションを加えてCM風動画の完成です。

    いかがでしたでしょうか。

    以上、全工程で1時間程度でした。

    こちらの動画の公開から1週間現在でのX上でのインプレッションは3万件です。

    実際に地上波等のテレビCMでキャッチーな楽曲やCGを使ったコマーシャルフィルムの製作ですが、

    参考資料:テレビ朝日さん https://www.tv-asahi.co.jp/ex/sales/column/cm-cost/

    今後は、生成AIのプロの広告代理店や、動画制作者、マーケティング企画担当者が直接、AIツールを学んだり、生成AIツールによるプロのクリエイティブの作り手ととともに、より一層クオリティを高めた作品を制作する時代がやってくるかもしれませんね。

    「アルパカおにぎり」のような「知られざる人気」をすばやくとらえて、「AIでしかできない、不可能な絵作り」を可能にしつつ、今回のようなキャッチーで楽しい楽曲のベースを作りつつ、実際にアーティストさんに歌ってもらった方がいいところや、CGで作った方がいいダンスシーンなどの効果を見積もりながら、作っていけるところが利点になりそうです。

    生成AIクリエイティブのご相談は AICU Visual Communication事業部までどうぞ
    https://corp.aicu.ai/visual

    書籍「画像生成AI Stable Diffusionスタートガイド」も人気です

    この記事に「いいね!」と思ったら、いいねとフォロー、おすすめをお願いします!

    https://note.com/aicu/   X(Twitter)@AICUai

  • AICUが生成AI時代のクリエイターを募集します(2024年7月)

    AICUが生成AI時代のクリエイターを募集します(2024年7月)

    AICUでは2024年7月現在、業務拡大に伴い生成AI時代のクリエイター(パートタイマー社員/業務委託)を募集しています。月間10万PVを超える・世界で活躍する生成AIエンタメメディアを作りませんか?

    以下のいずれかの募集にご興味ある方のご応募をお待ちしております。

    【テクニカルライター/クリエイター】

    AICUでは実際に手を動かしたクリエイターやコミュニティに寄り添う良質な記事を発信しています。以下のご経験がある方/自分で探求したい方のご参加を歓迎します。
    ・ComfyUIでのイラストレーション/実写系動画
    ・Create XYZなどのWebフロントエンドツール
    ・広告/マーケティング系でのAI活用
    ・漫画制作、キャラクターデザイン

    業務内容
    ・技術面もしくはビジュアル面での調査
    ・AICU mediaや書籍、動画メディアでのコンテンツ開発
    (読み物メディアのライティング、ビジュアル提供)
    ・完全リモート、副業可能
    ・週に1本程度から参加可能(業務委託)

    過去に執筆したブログやX(Twitter)/YouTube等で公開した動画・静止画等の作品をお持ちの方を歓迎します。

    【編集補助スタッフ】

    AICU media編集部の補助スタッフを募集します

    業務内容
    ・AICU media編集部における編集補助作業
    ・完全リモート、副業、長期希望者歓迎
    ・週に2日程度から参加可能(パートタイマー:9時〜17時がコアタイム)
    ・教育研修制度あり

    【応募方法】
    X@AICUai までDMにてご相談ください。
    応募は随時、オンライン面接は随時実施しています。
    会社情報 https://corp.aicu.ai/

    https://speakerdeck.com/player/294ff44676684820ba23ddcb4f5b60ba