月: 2024年7月

  • Sakana AIより「日本の美を学んだAI」が公開

    2024年7月22日、日本の経済産業省(METI)傘下のNEDOやNTTドコモ・ベンチャーズ(NDV)、KDDIが出資し、推定45億円を調達している AI研究開発スタートアップの「Sakana AI(サカナAI)」(東京都港区)が、「日本の美を学んだAI」を公開しました。

    https://sakana.ai/evo-ukiyoe/

    https://note.com/aicu/n/na02326d588bf

    Sakana AIは、日本の美を学んだAIとして、浮世絵風画像生成モデルEvo-Ukiyoeと、浮世絵カラー化モデルEvo-Nishikieを公開します。Sakana AIが進化的モデルマージによって構築した日本語対応画像生成モデルEvo-SDXL-JPを基盤とし、浮世絵画像を大規模に学習することで、日本語に対応し、かつ浮世絵の特徴を学んだ画像生成モデルができました。

    https://sakana.ai/evo-ukiyoe

    このリリースの要点は以下の通りです。

    • Evo-Ukiyoeは、日本語のプロンプトを入力すると浮世絵風の画像を生成します。風景や着物姿の人々など、浮世絵によく取り上げられる題材については、実物の浮世絵に近い品質で生成できます。
    • Evo-Nishikieは、単色摺の浮世絵(墨摺絵等)を入力すると、多色摺の浮世絵(錦絵)風の画像を生成します。墨一色で印刷された江戸時代の本(古典籍)の挿絵をカラー化したり、多色摺の錦絵を別の色に変換して出力したりする目的にも利用できます。
    • Evo-UkiyoeとEvo-Nishikieの学習データセットには、立命館大学アート・リサーチセンター(ARC)所蔵浮世絵作品のデジタル画像24,038枚を利用しました。
    • Evo-UkiyoeとEvo-Nishikieが、日本の伝統文化の魅力を世界に広めるとともに、教育などへの活用や古典籍の新しい楽しみ方など、多くの人々に活用されることを期待しています。

    HuggingFace Spacesでのデモとモデル

    今回公開するモデルは、プロンプトから画像を生成するEvo-Ukiyoeと、古典籍の挿絵をカラー化するEvo-Nishikieモデルです。これらのモデルが、歴史や文化を学ぶための新たなコンテンツ作成に利用され、浮世絵に関する興味を増すことにつながり、日本や世界の人々が浮世絵や日本文化に興味を持つきっかけを生み出すことを期待しています。

    残念ながらHuggingFace SpacesでのデモはGPUが取得できないため、AICU media編集部での十分な動作確認できていませんが、 Evo-Ukiyoeは、入力した日本語プロンプトに沿った浮世絵風の画像を生成することができ、Evo-Nishikieは入力した単色摺の浮世絵(墨摺絵等)を日本語プロンプトに沿って多色摺の浮世絵(錦絵)風に変換した画像を生成することができるようです。

    画像

    編集部での実験例

    画像

    先行して公開されている日本特化の高速な画像生成モデル「EvoSDXL JP」は動作しています。非常に高速です。

    https://huggingface.co/spaces/SakanaAI/EvoSDXL-JP

    浴衣の男女が川岸で花火を見ています

    与えたプロンプト

    画像

    担当した研究者の方々

    開発者
    カラーヌワット・タリン(Sakana AI)
    シーン誠(Sakana AI)
    今宿祐希(Sakana AI)
    協力者
    赤間亮(立命館大学アート・リサーチセンター)
    北本朝展(ROIS-DS人文学オープンデータ共同利用センター/国立情報学研究所)

    Evo-UkiyoeはText-to-Imageモデルであり、画像データとキャプションのペアを学習データセットとします。そこで、浮世絵画像の内容を説明するキャプションを付与するために、大規模マルチモーダルモデルを用いて、Few-shot promptingによりキャプションを生成しました。そして、キャプションの間違い(人物の性別など)を人手で修正するとともに、Evo-SDXL-JPの最大プロンプト長(77トークン)に合わせて、キャプションを短くする、明確な特徴のみを加える、鳥籠模様や梅花模様などの複雑な専門用語を削除する、などの調整を行いました。
    この学習データセットを用いて、Evo-SDXL-JPをベースモデルとして、LoRAによるファインチューニングを行いました。

    生成時には、プロンプトを入力して画像を生成します。ただし、浮世絵により近い画像を生成するには、桜、富士山、着物、鳥など、浮世絵でよく取り上げられる要素をプロンプトに含めると効果的です。一方、江戸時代に存在しないもの(パソコンやハンバーガーなど)も生成はできますが、学習データセットに存在しないものを浮世絵風に生成することは難しく、全体として浮世絵らしくない画像が生成されることがあります。

    「日本古典籍の挿絵をカラー化」として、大学共同利用機関法人 情報・システム研究機構(ROIS: Research Organization of Information Systems)により、「絵本玉かつら Evo-Nishikieカラー化」が公開されています。

    http://codh.rois.ac.jp/tsukushi/evo-nishikie/200013861/

    オリジナル画像

    画像

    Evo-Nishikieカラー化画像

    画像

    テキストから画像への拡散モデルに対する技術としては「DPO-SDXL」と呼ばれる技術が使われているようです。直接嗜好最適化 (Direct Preference Optimization: DPO) は、人間の比較データを直接最適化することで、拡散モデルをテキストの人間の嗜好に合わせる方法です。2023年11月に「Diffusion Model Alignment Using Direct Preference Optimization(直接嗜好最適化を使用した拡散モデルの調整)」として論文化された技法です。

    https://huggingface.co/mhdang/dpo-sdxl-text2image-v1

    https://huggingface.co/RunDiffusion/Juggernaut-XL-v9

    興味深い Sakana AI の HuggingFace

    学術・文化的な古典日本文化の貢献の横で、HuggingFaceには「Magicoder」といった小サイズのLLMも公開されています。

    https://huggingface.co/SakanaAI/Meta-Llama-3-8B-Instruct-Magicoder-185k-lr_2e-5-minlr_4e-6_GB_64_1epoch-iter_0002912/tree/main

    今後も様々な先端技術の公開が発信されると想像します。

    Originally published at https://note.com on July 22, 2024.

  • Stability AI、オープンウェイトなテキスト楽曲生成「Stable Audio Open」公開。Google Colabで無料で体験!

    2024年7月22日、Stability AI が「Stable Audio Open」の研究論文をリリースしました。
    「Stable Audio Open」というタイトルで 論文プレプリントサイト arXiV に 7月19日付けで投稿された論文は、

    オープンな生成モデルはコミュニティにとって非常に重要であり、ファインチューニングを可能にし、新しいモデルを提示する際のベースラインとして役立ちます。しかし、現在のほとんどのテキスト音声生成モデルは非公開であり、アーティストや研究者がその上に構築することはできません。ここでは、クリエイティブ・コモンズのデータで学習させた新しいオープンウェイトのテキスト音声モデルのアーキテクチャと学習プロセスについて説明します。我々の評価では、このモデルの性能は様々なメトリクスにおいて最先端のものと遜色ないことが示されています。特に、報告されたFDopenl3の結果(世代のリアリズムを測定)は、44.1kHzでの高品質なステレオサウンド合成の可能性を示しています。

    https://arxiv.org/abs/2407.14358
    Translated
     by AICU

    この研究論文では、Creative Commons データを使用してトレーニングされた Stability AI の新しい”オープンウェイトなテキストオーディオ”(open-weights text-to-audio)モデルのアーキテクチャとトレーニングプロセスについて解説しています。
    このオープンなモデルは Hugging Faceで公開されています。このモデルは Stability AI Community Licenseに基づいてリリースされており、年間収益(annual revenue)が 100 万ドル以下の個人または組織による非商用および商用利用が可能です(エンタープライズ ライセンスについては問い合わせ)。

    ・このモデルは、テキスト プロンプトから 44.1kHz の高品質ステレオ オーディオを生成でき、リアルなサウンドやフィールド録音を合成するために使用可能。

    ・Stable Audio Open はコンシューマーグレードの GPU 上で実行されるため、学術目的や芸術的なユースケースに利用可能。

    アーキテクチャ

    Stable Audio Openは、3つの主要コンポーネントを備えたテキスト音声モデルを導入しています:
    ・管理可能なシーケンス長に波形を圧縮するオートエンコーダ
    ・テキスト調整のためのT5ベースのテキスト埋め込み
    ・オートエンコーダの潜在空間で動作するトランスフォーマベースの拡散モデル(DiT)。

    このモデルは44.1kHz、最大47秒の可変長ステレオ音声を生成します。オートエンコーダは21.5Hzという低い潜在レートを達成し、音楽やオーディオに対応できます。Stable Audio Openは(2024年4月3日に公開された)Stable Audio 2.0の亜種ですが、異なるデータセット(Creative Commonsデータ)で学習されています。このアーキテクチャは似ていますが、CLAPの代わりにT5テキストコンディショニングを使用しています。

    学習データ

    Stable Audio Openは、CC-0、CC-BY、またはCC-Sampling+でライセンスされた約50万件の録音を使用してトレーニングされました。このデータセットは、Freesoundの472,618件とFree Music Archive (FMA)の13,874件から構成されています。

    著作権で保護された素材が含まれていないことを確認するため、このコンテンツは、PANNs audio taggerを使用してFreesoundの音楽サンプルを特定することにより、慎重にキュレーションされました。特定されたサンプルはAudible Magicのコンテンツ検出会社に送られ、データセットから著作権で保護されている可能性のある音楽を確実に削除しました。

    ユースケース

    Stable Audio Openは、生成されるコンテンツの長さを調整したり、様々な業界やクリエイティブなプロジェクトの正確なニーズを満たすなど、音声生成をカスタマイズするために微調整することができます。ユーザーは、A6000 GPUを使ってローカルでモデルをトレーニングできます。プロンプトの作成については、Stable Audio 2.0のヒントをご覧ください。

    ここでは、このモデルをすぐに使用したり、微調整したり、ワークフローに統合したりするためのアプリケーションの例をいくつか紹介します

    🎧️ぜひとも公式サイトで音源をきいてみてください📢
    https://stability.ai/news/stable-audio-open-research-paper

    サウンドデザイン

    サウンドエフェクトとフォーリーエフェクト(音効)

    足音、ドアのきしみ音、環境音など、映画、テレビ、ビデオゲーム、ゲーム開発に使用できる効果音を生成します。

    アンビエントサウンド


    シーンのムードや雰囲気に合ったサウンドスケープや背景テクスチャを作成できます。

    サンプル作成

    音楽トラックを制作するためのドラムループと音楽サンプルを生成します。

    商用およびマーケティング用途


    オーディオブランディング

    広告用のサウンドエフェクトを作成したり、オーディオロゴやブランドサウンドを開発し、カスタムオーディオエレメントを通じてブランドの認知度やアイデンティティを高めます。

    教育と研究

    学術プロジェクト

     オーディオ合成、機械学習、音楽学の研究にこのモデルを使用し、生成されたオーディオの実験と分析を行います。

    このデモでは、より多くの例と、Stable Audio Openのパフォーマンスが他のモデルとどのように比較されるかを見ることができます。

    Google Colabでの実験

    まず Stability AI の非商用/コミュニティライセンスを取得します。

    https://stability.ai/community-license

    画像

    続いて、 Hugging Face 上のStable Audio Open の公開ページでライセンスを取得します。

    https://huggingface.co/stabilityai/stable-audio-open-1.0

    画像

    ご注意:商用利用の場合は、https://stability.ai/license をご参照ください。 sai@aicu.ai でもご相談をお受けいたします。

    公式サンプルをGoogle Colab環境で動作確認したAICU版のコードをこちらで公開しています。

    https://j.aicu.ai/StableAudioOpen

    次に Hugging Face のトークンを取得します。
    https://huggingface.co/settings/tokens
    Google Colabのシークレットに設定します。

    画像

    あとは実行するだけ!長さや冒頭の空白も設定できます。

    # Set up text and timing conditioning
    conditioning = [{
        “prompt”: “128 BPM tech house drum loop”,
        “seconds_start”: 0,
        “seconds_total”: 30
    }]

    サンプルコードのデフォルトプロンプト

    output.wav として生成されているので、ダウンロードして聴いてみましょう。

    画像

    以下は実際に生成した例です。
    “128 BPM NES, 8 bit action game BGM”

    https://note.com/api/v2/attachments/download/b514ac0f4d7a059a04bf6e632f0b73c5

    “128 BPM techno pop” 

    https://note.com/api/v2/attachments/download/7b6626ad5756ddc578dd2d64e096afcd

    “sound of the rain hitting the roof”

    https://note.com/api/v2/attachments/download/4de4c04ba8f4de31f955b71b64fb60a2

    “blackbird song in a forest”

    https://note.com/api/v2/attachments/download/6d912ec9ae69b5622d5d0e9a80a81478

    “chorus lalala…”

    https://note.com/api/v2/attachments/download/e9e21ea17beeb981eaa9cf1a70679a98

    最長生成秒数は47秒のようです。GPU消費は16GB以下です。

    画像

    学習元が Creative Commons であるということを考えて生成するとよいのかもしれません。それにしても「何回生成しても無料」というのはすごいですね。

    まとめ

    Stable Audio Openのリリースは、オープンソースのオーディオ生成AIにおける重要な一歩になると考えます。44.1kHzで高品質のステレオサウンドを生成し、コンシューマー規模のGPUで動作し、データの透明性に重点を置いています。このモデルの使いやすさとパフォーマンスにより、研究者とアーティストの両方にとって価値あるツールとなり、オープンなオーディオAIで可能性と限界を押し広げると考えます。

    この記事がよかったら、シェアとフォローよろしくお願いいたします!

    https://note.com/aicu/m/m6000f560d1db

    Originally published at https://note.com on July 22, 2024.

  • Omostで画像生成を細かく制御しよう(2) GPT-4o でCanvasを Stable Diffusion 向けに最適化する

    Omost」は大規模言語モデル(LLM)のコーディング能力を画像生成に変換するオープンソースプロジェクトです。ControlNetやStable Diffusion WebUI Forge、Foocusの開発者として著名なlllyasviel氏が中心に開発しています。
    そもそも「Omostって何」という方は前回の記事をご参照ください。

    ✨️本記事は Nobuyuki Kobayashi @nyaa_toraneko さんにご寄稿いただいた記事をベースに編集部でリライトしております。

    Omostが生成するCanvasとは

    Canvasは生成される画像に描かれるべき要素やモチーフを定義したオブジェクトです。
    その構造は、大きく分けて2つのブロックから構成されています。

    1.グローバル描写

    まずは、シーン全体のテーマや雰囲気を設定するブロックです。これをグローバル描写と呼びます。グローバル描写では、以下の情報を設定します

    • description: シーン全体の簡単な説明です。例えば、「魔法の生き物が住む鮮やかなファンタジーの世界」などです。
    • detailed_descriptions: シーンに関するもう少し詳細な説明をリストで提供します。例えば、「明るくカラフルな環境」、「空気中に漂う神秘的な輝き」などです。
    • tags: シーンに関連するキーワードを指定します。例えば、「ファンタジー」、「魔法」、「自然」などです。
    • HTML_web_color_name: シーンの主な色をHTMLカラー名で指定します。例えば、「スカイブルー」などです。

    2.ローカル描写

    次に、キャンバス上の特定の部分について詳細を設定するブロックです。これをローカル描写と呼びます。ローカル描写では、以下の情報を設定します

    • location: 描写される部分の位置です。例えば、「中央」などです。
    • offset: オフセットの有無です。例えば、「オフセットなし」などです。
    • area: 描写される部分の面積です。例えば、「大きな四角いエリア」などです。
    • distance_to_viewer: 視聴者からの距離です。例えば、「1.0ユニット」などです。
    • description: 描写される部分の簡単な説明です。例えば、「流れるようなローブをまとった威厳のある魔法使い」などです。
    • detailed_descriptions: 描写される部分に関するもう少し詳細な説明をリストで提供します。例えば、「星柄のマントを着ている」、「光る杖を持っている」、「長い白髭」などです。
    • tags: 描写される部分に関連するキーワードを指定します。例えば、「魔法使い」、「魔法」、「キャラクター」などです。
    • atmosphere: 描写される部分の雰囲気です。例えば、「神秘的」などです。
    • style: 描写される部分のスタイルです。例えば、「ファンタジー」などです。
    • quality_meta: 描写の品質に関するメタデータです。例えば、「高詳細」などです。
    • HTML_web_color_name: 描写される部分の主な色をHTMLカラー名で指定します。例えば、「紫」などです。

    例えば、実際にCanvasを用いてStable Diffusionで生成したあるイラストでは、以下のようにCanvasにローカル描写が指定がされています。

    画像

    このように、イラスト全体の相対的な位置におおよそどんなモチーフが配置されるか指定することによって、イラスト全体のレイアウトができあがるということです。

    ただ生成されたCanvasですが、読みやすく詳細な指定なのはいいのですが、とにかく長い。これをそのまま Stable Diffusion のポジティブプロンプトにコピペして、絵を出すこともできますが、ちょっとこのままでは扱いにくいのも事実です。

    そこでCanvasの要素をなるべく残しながら、指定を最適化していきましょう。
    筆者の場合、ここからはOpenAI社の GPT-4o上 でMy GPTsを設計し、「Omost Converter」というチャットボットを作りました。

    画像

    Stable Diffusion向けにCanvasの最適化をChatGPT 4oで行う

    ここでは、Canvasの最適化の手順を紹介します。
    興味がある方は、自分自身でもOmost Converterを作ってみるといいでしょう。

    1. Canvasの記述よりフルプロンプトを作成する

    まず、Canvasの情報を元に、グローバル描写と各ローカル描写を収集したフルプロンプトを作成します。以下のようなフォーマットで作成します。

    # グローバル描写
    “{description} with elements of {detailed_descriptions}. The scene has a {tags} feel, colored primarily in {HTML_web_color_name}.”

    # 各ローカル描写
    “In the {location}, there is a {description}. It is {offset} and occupies {area}. It is {distance_to_viewer} units away from the viewer. Detailed features include {detailed_descriptions}. The atmosphere is {atmosphere}, and the style is {style}, colored in {HTML_web_color_name}.”

    この段階でCanvasの情報は相当圧縮されますので、ChatGPT 4oでしたら、DALL-E 3で絵を生成することも可能ですが、まだまだ無駄が多いようですのでさらに最適化を進めましょう。

    2. フルプロンプトを最適化する

    続いてフルプロンプトを最適化します。最適化の目的は、プロンプトを短く、わかりやすくすることで、Stable Diffusionが生成する画像の品質を向上させることです。以下のステップに従って、プロンプトを最適化しましょう。

    手順 1: 不要な情報を削除

    プロンプトから冗長な情報や重複した情報を削除します。例えば、同じ意味の説明が繰り返されている場合、それを一度だけ記述するようにします。

    手順 2: 簡潔な言葉を選ぶ

    長いフレーズや文を、同じ意味を持つより短い言葉やフレーズに置き換えます。たとえば、「長い白髭を持つ魔法使い」ではなく、「白髭の魔法使い」といった具合です。

    手順 3: 主要なキーワードを強調

    プロンプトの主要なキーワードやフレーズを強調し、重要でない詳細を省略します。これにより、AIが重要な要素に焦点を合わせやすくなります。

    手順 4: 一貫したスタイルとトーンを維持

    プロンプト全体で一貫したスタイルとトーンを維持します。これは、読者がプロンプトを理解しやすくし、AIが意図を正確に把握するのに役立ちます。

    手順 5: 最適化されたプロンプトの例

    ここで、具体的な例を使って、最適化されたプロンプトを作成します。

    元のフルプロンプト

    # Global Description
    “魔法の生き物が住む鮮やかなファンタジーの世界 with elements of 明るくカラフルな環境, 空気中に漂う神秘的な輝き, 幻想的な雰囲気. The scene has a ファンタジー, 魔法, 自然 feel, colored primarily in skyblue.”

    # Local Descriptions
    “In the 中央, there is a 流れるようなローブをまとった威厳のある魔法使い. It is オフセットなし and occupies 大きな四角いエリア. It is 1.0 units away from the viewer. Detailed features include 星柄のマントを着ている, 光る杖を持っている, 長い白髭. The atmosphere is 神秘的, and the style is ファンタジー, colored in purple.”

    最適化されたプロンプト

    # Global Description
    “カラフルな魔法の世界, 明るい環境, 空気中に神秘的な輝き, 幻想的な雰囲気. ファンタジー, 魔法, 自然, スカイブルー.”

    # Local Descriptions
    “中央に星柄のマントと光る杖を持つ白髭の魔法使い. オフセットなし, 大きなエリア, 1.0ユニット距離. 神秘的な雰囲気, ファンタジースタイル, 紫色.”

    手順 6: トークンの数を確認

    最適化された各プロンプトが約75トークン以内であることを確認します。これは、AIがプロンプトを効果的に処理できるようにするためです。

    最適化されたプロンプトは、元のプロンプトに比べて短く、明確で、重要な情報に焦点を当てています。これにより、Stable Diffusionがより正確で魅力的な画像を生成できるようになります。

    またこの段階で、DALL-E 3に最適化されたプロンプトを試しに描かせてみてもよいでしょう。先にOmostで生成した画像と同様のモチーフの画像が生成されていれば成功です。

    これらの最適化を実行することで、生成したいイラストのプロンプトは以下のようになりました。

    A curious yet anxious girl with white hair floats in a dark, surreal alternate dimension, reaching out to a glowing orb through an open door. She is dressed as a bunny girl, with her white hair flowing around her, adding motion and wonder. Her expression mixes curiosity and anxiety, reflecting uncertainty about the future. The central focus is on her dynamic posture. The dimension features a tilted horizon and floating doors, creating a chaotic and disordered feel. The open door, made of otherworldly material, emits light that contrasts sharply with the dark space, enhancing the mystery. The glowing orb, symbolizing a wonderful future, emits radiant light, creating hope and anticipation. The scene is designed in a 16:9 aspect ratio, with detailed textures and light effects. The atmosphere is a mix of curiosity, anxiety, wonder, and trepidation, rendered in high-quality with a focus on detailed expressions and flowing hair.

    好奇心旺盛でありながら不安げな白い髪の少女が、暗く超現実的な異次元に浮かび、開いたドアから光り輝くオーブに手を伸ばしています。彼女はバニーガールの格好をしており、白い髪が周りに流れ、動きと驚きを加えています。彼女の表情は好奇心と不安が入り混じり、未来への不安を反映しています。中心は彼女のダイナミックな姿勢。次元は、傾いた地平線と浮遊するドアが特徴で、混沌とした無秩序な雰囲気を醸し出しています。別世界のような素材でできた開いた扉は光を放ち、暗い空間とのコントラストを際立たせ、神秘性を高めています。素晴らしい未来を象徴する光り輝くオーブは、希望と期待を生み出します。このシーンは16:9のアスペクト比でデザインされ、詳細なテクスチャと光のエフェクトが施されています。好奇心、不安、驚き、怯えが入り混じった雰囲気を、細かい表情や流れる髪を中心にハイクオリティで表現しています。

    このプロンプトをDALL-E 3で出力させてやると、以下のようになりました。なかなかいいですね。

    画像
    画像

    スタイルは違いますが、Omostで生成した画像と要素も一致しています。
    加えて今回は、空間に浮いているドアもバッチリです。ただドアを沢山画面内に配置すると、当然キャラも小さくなってしまうのが難しいところですね。こういうところは検討材料にしておきましょう。

    Stable Diffusionで最適化されたプロンプトを実行する

    最適化されたプロンプトからどんな絵が出るか、DALL-E 3で確認できたので、次はStable Diffusionでテストしてみましょう。

    Stable Diffusionでは、様々なCheckpoint(モデル)が選べますが、どちらかと言えば文章で構成されているプロンプトから画像を生成するには、SDXL系のモデルを使うことをお薦めします。今回は、AnimagineXL v3.1を使用しました。

    まずポジティブプロンプトに最適化されたプロンプトをペーストし、ネガティブプロンプトには、皆さんがよく使うようなものを入れて、生成しましょう。

    画像

    今回は1回目から、かなり近いテーマの絵が生成されました。これでOmostのプロンプトがStable Diffusionでも使えることがわかったと思います。

    何回か試してみると、キャラが大きく表示されるシードが見つかりました。
    これでシード次第で、キャラを大きく表現できることがわかります。

    画像

    ここからは、プロンプトに自由に魔改造を施していきましょう。


    この記事の続きはこちらから https://note.com/aicu/n/naee344ef0c53

    Originally published at https://note.com on July 20, 2024.

  • 【豪華賞品あり】夏を彩るアートコンテスト開催!あなたの作品がAICUの顔に【AICU創立1周年ファン感謝祭】

    【豪華賞品あり】夏を彩るアートコンテスト開催!あなたの作品がAICUの顔に【AICU創立1周年ファン感謝祭】

    AIクリエイターのみなさん、こんにちは!
    あなたの個性あふれるAIアート作品で、「AICU media」の表紙を飾りませんか?

    生成AI時代に「つくる人をつくる」をビジョンに「AIクリエイターユニオン」として活動してきた AICU Inc. は、2024年7月24日で創立1周年を迎えます!クリエイティブAI分野で毎日「つくる人」を応援するブログを作り続けてきた note での情報発信「AICU media」も開始から9ヶ月で 700フォロワー 30万PVを超えています。書籍「画像生成AI Stable Diffusionスタートガイド」の出版(重版出来!!)、Kindle「AICUマガジン」、公式ワークショップの開催など、日本におけるクリエイティブAI分野のみなさまの成長と拡大に支えられる日々であり、社員・編集部一同 大感謝の気持ちでこの日を迎えております。

    画像
    開始から9ヶ月で 700フォロワー 30万PVを超えています!!

    さて、このたび AICU media 編集部ではAICU創立1周年を記念して夏のアートコンテスト「AICU Summer Art Contest 2024」を開催いたします。選ばれた作品は、AICU media」「AICUマガジン」「公式X@AICUai」のカバーアートに堂々と掲載されるだけでなく、様々な部門における優秀作品にはAmazonギフト券10,000円をはじめ豪華な賞が贈呈されるほか、公式SNSでの作品紹介など、魅力的な特典もご用意しています。あなたの名前と共にAICUマガジン公式SNSでも作品が紹介されるので、多くの人に作品をアピールする絶好のチャンスです!

    応募部門は3つ

     キャラクターイラスト部門 #AICU_art

    キャラクターイラスト全般を扱う部門です。
    ✨️当初「AICUキャラクター部門」としてリリースいたしましたが名称変更しております

    AICUにも「Koto」「全力肯定彼氏くん LuC4」「AI確定申告さん 茶托税子」「ちびデルタ」など、個性豊かなAIキャラクターがいます。これらのキャラクターを題材にしたイラスト作品、漫画、あるいは二次創作も大歓迎です!

    画像
    画像

    #SD黄色本 部門

    フリースタイル部門です。書籍「画像生成AI Stable Diffusionスタートガイド」(通称:#SD黄色本)で学んだテクニックを駆使して作品を制作してください!制限なく自由な表現を探求しましょう。

    画像
    https://ja.aicu.ai/sbxl/

    https://note.com/aicu/n/n8d4575bcf026

    #StableDiffusionAPI  部門

    次世代の画像生成技術、世界最高峰・最上位の画像生成AI「Stable Diffusion 3」をはじめとする以下のAPIを使った作品を募集します。

    • Stable Image Ultra
    • Stable Image Core
    • Stable Diffusion 3 Large
    • Stable Diffusion 3 Large Turbo
    • Stable Diffusion 3 Medium

    https://corp.aicu.ai/ja/siuorigami

    イラストレーションももちろん強いのですが、広告や映像制作で使えるセミリアルな作品を作れる次世代のクリエイターの作品も期待します。
    サンプル画像例 Google Photo https://j.aicu.ai/SD3GP

    https://j.aicu.ai/SD3GP

    過去のユーザさんたちの作品もご参考まで!
    ▼全世界最高峰・最上位の画像生成AI (Stable Diffusion 3 8B+) が凄すぎた件

    ▼2024年6月現在、世界最高峰の画像生成AI「Stable Diffusion 3 8B+」を試す


    応募方法

    1. 「夏」をテーマにしたオリジナルAIアートを作成する
      • 海、花火、夕焼け、夏祭りなど、あなたのイメージを自由に表現しましょう。
      • 応募部門は「キャラクターイラスト部門」「SD黄色本」 「StableDiffusionAPI」 部門があります。
      • 作品自体には動画、漫画等を交えても構いません(ビジュアルとしての採用は静止画を対象とします)
      • 解像度やレイアウトについて、詳しくは募集要項をご確認ください。
    2. 作品をX(Twitter)に投稿する
      • 必須ハッシュタグ: #AICU 必ずつけてください
      • 部門ハッシュタグ: #AICU_art #SD黄色本 #StableDiffusionAPI いずれかをつけてください
      • コンテストへの応募であることを明記し、AICU公式Xアカウント @AICUai をフォローしてください。
    3. 応募フォームでエントリー完了!

    受賞作品の発表および賞金について

    受賞作品は「AICUマガジン Vol.3」にて発表予定です。
    採用された作品には、Amazonギフト券による謝礼をお送りします!

    • 優秀作品: 10,000円
    • 部門賞: 5,000円
    • 入選: 3000円

    さらに、入選作品でメイキング記事などをご寄稿いただける方には、AICUパートナークリエイターとして所定の原稿料を謝礼としてお贈りします。

    応募に関するQ&A

    Q・自分のオリジナルキャラクターは投稿できますか?
     キャラクターイラスト部門をはじめ、全部門で応募できます。

    Q・実写系、セミリアルはどの部門がおすすめですか?
     Stability AI Platform APIを使った場合は「#StableDiffusionAPI 部門」、Automatic1111など、多様なStable Diffusionを使った場合は「#SD黄色本」部門がおすすめです。

    Q・Photoshopなどで加工・加筆したものを投稿できますか?
     →できます。AI生成のみで生成した画像も、加筆したものも、AIを使ったアートも全て可能です。

    Q・推奨の縦横比・画像サイズを教えてください
     AICU media / AICU noteカバー:推奨 1920 × 1006 px
     AICUマガジン:縦長の推奨サイズは2000x3200pixels です

    Q:にじジャーニーや、Midjourneyは使えますか?
     キャラクターイラスト部門のみ、使用可能です。なお応募に関しては、各サービスの商用利用可能ライセンスを取得してください。

    Q・著作権の扱いは?
     X(Twitter)を経由したイベントのため、X利用規約および著作権に関するポリシーに従い「ユーザーは、ポストまたは共有する自身のコンテンツに対する所有権と権利を留保するとともに、自分のコンテンツを世界中で利用できるようにしたり、他のユーザーがポストまたは共有できるようにしたりするための非独占的ライセンスを当社に提供するものとします。」となります。他人の著作権を侵害しないこと、エントリーフォームからのエントリーによってエントリーの意思を表明していただき、AICU独自メディアでの掲載において、謝礼をお送りする形で非独占ライセンスを提供頂く形です。

    Q・どんな作品が期待されますか?

    「AICUマガジン」は、AIイラスト、AIアートに関する最新情報や、クリエイターのインタビューなどを掲載している、注目のデジタルマガジンです。 あなたの作品が掲載されれば、幅広い多くのAIアート愛好家の目に触れることができます。

    画像
    はねごろうさんからの note メンバーシップ掲示板への投稿

    過去の読者の広場では、こんな個性的な作品が選ばれました!

    画像
    「感謝のきもち」@nyaa_toraneko さんからの note メンバーシップ掲示板への投稿

    あなたの作品が掲載されるのは、こんな表紙です!

    画像

    編集部から、応募のヒントを大公開!

    「どんな作品を描けばいいの?」と悩んでいるあなたへ、編集部からヒントをいくつかご紹介します。

    🎨 AICUのキャラクターを活用しよう!

    AICUには「Koto」「全力肯定彼氏くん LuC4」「AI確定申告さん 茶托税子」「ちびデルタ」など、個性豊かなAIキャラクターがいます。これらのキャラクターを題材にした作品、あるいは二次創作も大歓迎です!

    画像

    🎨 二次創作もOK!

    AICUでは、二次創作に関するガイドラインも公開しています。詳しくは AICU公式ウェブサイト をご覧ください。

    🎨 プロンプトも公開中!

    プロンプトに悩んでいる方は、AICU公式ウェブサイトで公開されているプロンプトを参考に、自分だけのオリジナル作品を生み出しましょう。

    🎨 SD黄色本で学んだテクニックを駆使しよう!

    https://note.com/aicu/n/n02de834e3d5c

    🎨 実写系やセミリアルも大歓迎!

    AIイラストは、アニメ調だけでなく、実写系やセミリアルな作品も魅力的です。あなたの得意な表現方法で、夏らしい作品に挑戦してみてください。

    今後市場の拡大が期待される、広告や動画、映像制作のクリエイターの参加を期待します!

    https://ja.aicu.ai/alpaca-making/

    🎨 「季節感」が重要!

    夏のカバーアートということで、「季節感」を意識することが大切です。 例えば、夏の風物詩である花火大会や、海辺の風景、夏の食べ物など、夏らしいモチーフを取り入れてみましょう。

    🎨縦長・横長のレイアウトを意識!

    ・「AICU media」では横長のレイアウトで使用されます。解像度は1920x1080pixels(16:9)よりもさらに横長で1920×1006pixels、縦1/3の中央あたりがメインに表示されることを想定して、作品を制作しましょう。詳細はnoteのフォーマットをご参照ください。
    ・「AICUマガジン」の表紙では縦長のレイアウトが採用されます。縦長の推奨サイズは2000x3200pixelsです。
    ・「AICUマガジン」の「読者投稿コーナー」では、原寸で作品が掲載されます。最大解像度は3000x3000pixels です。

    マガジンの表紙を狙うか、AICU mediaを狙うか、みなさん次第です!

    🎨 露出に配慮しましょう!

    「AICU media」および「AICUマガジン」は、幅広い年齢層の方や性別・属性の方々に愛読されています。NSFWには特に配慮があります。夏がテーマではありますが、肌の露出や性的表現が強い作品については注意が必要です。

    🎨 親しみやすく、楽しい作品を!

    「クリエイティブなAIいいな!」と見ている人が楽しくなるような、親しみやすい作品を心がけましょう。そして、あなたが画像生成AIを使って作品作りを楽しんでいることが伝わってくるような作品の発信を目指しましょう!

    【審査について】

    編集部では、独創性、技術力、倫理観そして「AICUマガジン」「AICU media」のテーマに合致しているかを重視して選考します。

    作品の応募においては 画像生成AIクリエイター仕草(v.1.0) をご参照いただき、モラルに沿った生成AIのご使用をお願いいたします。

    あなたのAIアートで「つくる人をつくる」の夏を盛り上げてください!

    🔖本記事は随時更新されます!シェア、ブックマークをおすすめします

    Originally published at https://note.com/ on July 19, 2024.

  • 【Pro招待コードつき】渋谷GMOで「Create.xyz」CEOら来日ミートアップを開催。100人超えの超高速ハッカソンを現地レポート! #CreateTokyo

    【Pro招待コードつき】渋谷GMOで「Create.xyz」CEOら来日ミートアップを開催。100人超えの超高速ハッカソンを現地レポート! #CreateTokyo

    はじめに

    AICU media ライターのRUNOです! 

    2024年7月15日(祝日)に東京渋谷・GMO Yoursにて開催された「CREATE」(Create.xyz)のミートアップイベントに参加してきました!

    CREATEの創業者らが来日し、直接お話を聞ける貴重な機会でした。

    イベント内では、CREATE のデモに始まり、CREATE を利用したWebサイト制作のミニコンテストが行われるなど、盛りだくさんの3時間でした!

    イベント詳細はこちら↓

    create.xyz Team in Tokyo: CEO Demo & AI Meetup @ GMO Yours · Luma

    なおProプランを1か月無料で使用できる招待コードはこの記事の下に記載してあります

    CREATEとは?

    CREATEは、日本語のような自然言語を使ってサイトやツールを構築できるツールです。どんな人でも創造できるようにする、AIによる開発ツールのリーディングカンパニーです。シンプルなランディングページやエンターテイメント性の高いゲームを作ることができます。さらに野心的なプロジェクトでは、ユーザー管理、データベース、API連携を備えた完全なアプリケーションを構築することも可能です。
    引用元:https://lu.ma/5sneg9zr?tk


    今回はなんと参加者100人超え!
    さすがのGMOインターネットグループが会場です。
    そしてCREATEの創業者の方々が来日し、実際にお会いすることができました!

    わたしは運良く、後述のグループワークの時間に、CEOのドゥルヴさんに直接質問させていただくことができ、大変光栄でした…!

    meet upイベントの醍醐味ですね!

    あっという間の3時間、実施コンテンツはこんな感じ。

    1. CEOらによるCREATEのデモ実演
    2. CREATEを利用したWebサイト制作のミニコンテスト
    3. 懇親会

    様々なコンテンツがあったので、
    「とにかくCREATEを触るきっかけがほしかった人」「CEOらと直接会ってみたかった人」「AIに興味がある人たちと交流してみたかった人」
    ・・・などなど、きっと誰もが何かしら持ち帰れる体験があった、それくらい濃い3時間でした。

    それでは、ここからはコンテンツの内容を紹介します!

    ▼一連の現地ツイートはこちらから

    CEOらによる CREATE のデモ実演

    創業者のみなさま

    AIガールこと「あやは」さんの会社のwebサイトを CREATE を使って作ろう!という内容をテーマに、デモが実施されました。

    実践形式で CREATE の使い方を学べて、すぐに手元で試すことができました。

    ステップ1 pdfから一瞬でWebサイト化

    あやはさんが事前に作成したpdfファイル。
    これをスクショし、プロンプトに画像を貼り付けて、そのまま「これをサイト化して」と頼むと・・・

    あっという間に、pdfと同じ形でwebサイトになりました!

    ステップ2 テキストでWebサイトを好みのスタイルに編集

    会場の参加者にマイクが渡され、「どんな雰囲気のサイトにしたいか?」をその場でリクエスト。

    みんなの無茶ぶりに対し頑張る創業者の方々

    まるでライブをみているかのような雰囲気で、参加者のリクエストにCEOが応じる形でリアルタイムでサイトが変化していきました。

    もし今後、開発会議で CREATE が使われたなら、
    こんな風にみんなで議論しながらその場でサイトを編集して、OKならその場で公開!
    ・・・なんていう夢みたいな日が来るのもそう遠くないのかな、、なんて思いながら見ていました。夢が広がりますね。

    ステップ3 理想のイメージのサイトを貼り付けて同じ雰囲気に


    Appleのページは、いつ見てもスタイリッシュできれいですよね。

    というわけで、AppleのページのURLをコピー。

    「こんな感じにして」とお願いすると・・・

    先ほどのpdfと比べると、雰囲気がAppleっぽくなっている!

    画面右上に「Publish」という青いボタンがあるのですが、
    こちらを押下し、会社のドメインを紐づければ、簡単に公開までできるそうです。

    圧巻の体験に、会場では歓声が上がりました。

    みなさんもぜひ CREATE を試して、感動を体験してみてください!!!

    CREATE を利用したWebサイト制作のミニコンテスト


    なんとたった15分で、Webサイトを作成しよう!という無茶振りコンテスト!笑

    これがとっても楽しかった!

    初対面の4-5人のチームで、その場でお題が与えられ、「どんなサイトにする?」という話し合いからスタートする完全な白紙からのスタート。

    そこから CREATE のパワーでたった15分で、20チームを超える全てのチームが無事Webサイトを提出しました。

    提出された作品は、「#CreateTokyo」のハッシュタグ検索で、誰でも見ることができます!

    さて、そんな今回のWeb制作テーマはこちら!
    「東京に1週間滞在する CREATE メンバーが、より東京滞在を楽しめるようなWebサイト」を15分で作成せよ!

    作品紹介1:山手線すごろく

    我らがAICU主宰、しらいはかせのチームの作品です。

    「山手線を一周する体験」をすごろくの仕掛けによってゲーム感覚で楽しめる!
    アイデアを形にするまでたった15分。早すぎる。

    https://yamanote-sugoroku.created.app

    こちらの作品はしらいはかせのNoteで詳しく紹介されているので、ぜひこちらも合わせてご覧ください!

    https://note.com/embed/notes/n2fc9c059a8d5

    作品紹介2:お寿司の名前当てゲーム

    こちらは、お寿司の日本語名を画像と合わせてクイズ形式で覚えていくアプリです。
    日本と海外だとお寿司屋さんのメニューも大きく違いますよね。日本のメニューは生魚のシンプルなメニューが多く、日本人でもたまに知らないネタがあるくらいですよね。笑

    https://sushi-game.created.app

    このアプリで馴染んだあとでお寿司屋さんに行けば、「あ!これアプリで見たネタだ!」とさらに美味しい体験になりそうですね!

    確認ですが、こちらもたった15分で作成されています。だから早すぎるって。

    アイデアさえあれば、こんなに簡単にWebサイトやゲームが作れてしまうんですね!
    CREATEのパワー、恐るべし。

    表彰式:

    CEOらが自ら、それぞれひとつずつ気に入った作品をピックアップし、表彰式が行われました。

    Googleマップを埋め込んだサイトや、ゲーム性が評価されたものなど、幅広い作品が表彰されました!

    ドゥルヴ賞:マウス置くと絵が変わる

    マーカス賞:地図

    パトリック賞:寿司ゲーム

    ゾベアー賞:Create.XYZマスターガイド

    優秀作品賞を受賞された方々、おめでとうございます!

    懇親会

    最後の1時間は懇親会。
    みなさんそれぞれ創業者の方々と写真を撮られたり、最近の取り組みや CREATE の改善点を直接ディスカッションしたり、思い思いの時間を過ごされておりました。

    記念にパシャリ。運営の皆様、CREATE の皆様、ありがとうございました!

    主催の ymmd JUNさんのサイトで「CREATE WEEK」中間レポート公開されております

    https://ymmd-ai.co.jp/archives/4986

    勉強会にも熱が入っておりますね!

    【Pro招待コードをいただきました!】

    CREATETOKYO
    こちらを使うと1ヶ月無料でProが使えるそうです。

    終わりに

    この記事に「いいね!」と思ったら、いいねとフォロー、おすすめをお願いします!

    AICU media|note   X(Twitter)@AICUai

    このようなイベントのレポートに興味がある方はこちらもオススメ

    イベント情報 アーカイブ

    この記事に「いいね!」と思ったら、いいねとフォロー、おすすめをお願いします!

  • 【招待コードつき】世界で最もわかりやすい「CREATE.xyz」 のはじめ方!創業者によるサービス名の読み方についてのメッセージも

    【招待コードつき】世界で最もわかりやすい「CREATE.xyz」 のはじめ方!創業者によるサービス名の読み方についてのメッセージも

    2024年7月18日、Create.XYZ のミートアップ第二弾が渋谷・Trunk(hotel)で開催されました。創業者のドゥルヴさん (@dhruvtruth) をはじめとする開発者首脳陣が直接、ランチボックスを囲みながら、ディープな質問や今後のストラテジーの共有をしました。

    画像

    前回の記事で「CREATE.xyz」に興味を持った人もはじめてみたくなったと思います。

    ■プロンプトからサイトが作れる!?話題の「Create.xyz」を使ってみた!

    ■Text to AppなAI開発ツール「CREATE.xyz」首脳陣が渋谷でミートアップを開催 #CreateTokyo

    画像

    会場の方からでてきたアイディアをその場でゲームに!

    会場はランチボックスを囲みながら和やかな雰囲気で実施されました。
    2名の英日翻訳者が参加し、Create.XYZの概要と、デモが始まりました。

    画像
    画像

    ドゥルヴさんの提案で、会場からのゲームのアイディアをいただいて、そのアイディアをその場でゲームにするというデモが行われました。

    実際にやってみた!「10をつくるゲーム」

    AICU media編集部もその場で手を動かして見ます!

    まず「Create.XYZ」にログインします。パスワードは不要です。
    登録したメールアドレス宛にマジックリングが届きますのでそちらをクリックしてください。

    画像

    新規プロジェクトを作ります。
    右上の「New Project」ボタンを押します。
    以後は📁の括りでプロジェクトが表示されます。

    画像

    プロジェクト名に「New Game」と名前をつけました。

    画像

    「New Page」で新規ページを作ります

    画像

    白紙のページが作られたら右側の「Prompt」にプロンプトを打ちます。

    画像

    会場のプロジェクターで見た感じはこんなプロンプトでした。

    画像

    Make me a game where you have to make
    10 using number 1 to 9
    You can only use each number once
    You can use any operation you want to add up to 10 (additions, subtraction, multiplication, division)
    Make it look funky
    Show a you win when the user gets it

    日本語訳するとこんな感じです。

    1から9までの数字を使って10を作るゲームを作ってください
    各数字は一度しか使えません
    10までの足し算に好きな演算を使うことができます
    (足し算、引き算、掛け算、割り算)
    ファンキーに見えるようにしてください
    ユーザーがそれを得たら勝ちと表示します。

    ちなみにプロンプトは日本語でも動作します。

    プロンプトを設定したら下の「Generate」を押します。

    画像

    左側のCREATEのアイコンの下に「Building…」という表示が出ます。
    これはプロンプトから React(動的なWebサイトを記述する言語)のコードが生成されている状態で、暫く待ちましょう(数十秒~1分程度)。

    画像

    「Up to date」と表示されたら、その右にある「Demo」を押すと……もう遊べます!

    画像

    ゲームとしては、数字ボタンを1つ押して、その後に「+/-/x/÷」を押して、数字ボタンを1つ押して…最後に「Calculate」ボタンを押すと判定!という結果になることが多いです。

    デザインやボタンの名前などは気に入らない場合はプロンプトを書き直したり、「Demo」→「Build」に切り替えてデザインを変更することもできます。上手くいかないときは「🔃」を押してリトライしましょう。コードの動作や見た目を変えたいときは「Generate」を押して再度やり直しましょう。Generateした場合は毎回生成されるものは異なります。

    画像

    画面の要素をクリックすると、右下にその部品に該当するプロンプトが表示されます。

    画像

    React用語でUIの部品はコンポーネントというのですが、「Convert to component」というボタンで部品化することができます(…が今回のデモでは触らなくていいです!)。

    画像

    本当にあっという間です!

    画像

    Google Maps や Stable Diffusionを使う

    次のデモは本日の会場となった「Trunk Hotel」でのイベントWebサイトを作るというデモになりました。

    先程と同じく新規プロジェクトを作り、与えたプロンプトは以下のようなものです。

    make me an event page for the Trunk Hotel
    It should have a map Google Maps
    The address is Address: 5 Chome-31, Jingumae, Shibuya City, Tokyo 150-0001
    Add sections:
    • Testimonials
    • Influencer cards
    • Benefits of using Create
    • A sign up form to register

    トランクホテルのイベントページを作ってください地図があるべきです Google Maps 住所は住所です: 150-0001 東京都渋谷区神宮前5丁目31番地追加セクション:
    – お客様の声
    – インフルエンサーカード
    – クリエイトを利用するメリット
    – 登録フォーム

    “Google Maps”のところがアドオン(Add-ons)です。
    プロンプト窓右上の「Add-ons」か
    /(スラッシュ)でGoogle Mapsアドオンを探します。

    画像

    “Google”とタイプすると表示されます。他にも多様なアドオンがありますね。

    画像

    紫色で「Google Maps」が表示されたら、そのアドオンに続いて住所の文字列をつなぎます。

    画像

    これで「Generate」、本当にこれだけです!

    画像

    タイトル、イベントの開催地へのGoogle Maps、

    画像

    おすすめ情報(お客様の声/Testimonials)、インフルエンサー、

    画像

    Createを使う利点、そして登録フォームです。

    画像

    続いて、プロンプトを以下のように書き足しました。

    画像

    Use this screenshot of the Trunk Hotel’s design as inspiration for how it should look. Don’t copy the content, just try to match the design whare it makes sense:

    トランクホテルのデザインのスクリーンショットを参考にしてください。内容はコピーせず、意味のあるところだけデザインに合わせるようにしてください:

    どこかお気に入りのサイトで、
    Windows+Shift+Sでスクリーンショットを撮ってきてください!
    実際のTrunk Hotelはこんな感じのおしゃれなWebサイトです。

    https://catstreet.trunk-hotel.com

    画像

    プロンプトに加えて…Ctrl+Vでスクリーンショットを貼り付けてみます。

    画像

    貼り付けたら「Generate」します。

    画像

    1回目の生成…

    画像
    画像

    他にも「パックマンみたいなゲームを作って」とプロンプトに書けばそれらしいものを作ってくれるよ!というところで質疑応答になりました。

    プロ用のサイトを作るには?

    イベントサイトの例ではこのあと「Publish」ボタンを押すことで、サイトを公開できます。
    例えば「demo-trunk-hotel-event-240718」として「Claim URL and continue」(URLを申請して続ける)を押してみます。

    画像
    画像

    公開対象にするページが表示されるのでボタンをONにして、アクセスするルート(URLの下)この場合は「/」を確認して「Publish changes」を押します。

    画像
    https://demo-trunk-hotel-event-240718.created.app

    https://demo-trunk-hotel-event-240718.created.app

    出来上がりです!

    画像

    このURLは有料アカウントなら独自ドメインにすることができます。

    https://www.create.xyz/pricing

    月額19ドルのプロアカウントならエクスポート(外部出力)ができます。無料版でも20プロジェクトは作れます。

    画像

    【Pro招待コードをいただきました!】
    CREATETOKYO
    こちらを使うと1ヶ月無料でProが使えるそうです。

    View Code して Download Project

    中央上部に「View Code」というボタンがあります。Generate中に押すと、実際のReactのコードが生成されているのを確認することができるボタンですが、この下に(プロアカウントだと)
    ・ Embed Project (プロジェクトの埋込)
    ・Download Project
    ・Copy code
    という3つのボタンが表示されています。ここでは「Download Project」を押してみます。

    画像

    createxyz-project.zipというファイルがダウンロードされるので、展開すると、以下のようなファイルが生成されています。

    画像

    これは ReactJSのコード…ではなく Next.JSのプロジェクトのようです。ReactJSはMeta(旧Facebook)が2011年から社内用に開発していたライブラリを2013年に一般に公開したもので、Next.js はVercel が作った オープンソースの JavaScript のフレームワークで、React babel と Webpack をベースにし、React コンポーネントとサーバーサイドレンダリング (SSR) のために使えるソリューションを提供しています。Next.js は静的エクスポート、プレビューモード、プリレンダリング、より高速なコンパイル、自動ビルドサイズの最適化などの多くの開発者向けの効率化機能を備えています。
    このプロジェクトで 12ファイル 11.9 KB (12,208 バイト) という小ささです。

    AICU の GitHub に公開してみました!

    https://cdn.iframe.ly/EFCH8ZT?v=1&app=1

    Vercelでデプロイしてみました!

    ※ここから先はVercelです。
    自分の管理ドメインで「Add New…」→「Project」

    画像

    Import Git Repositoryで上記の(自分のドメインで管理している)リポジトリを選択します。

    画像

    特に設定する環境変数はなさそうですのでそのまま「Deploy」します。

    画像

    数十秒のビルドの後に、完成!

    画像

    一発デプロイ…!?と見てみましたが、慌てすぎでした。

    Google MapsのAPIが設定されていませんね!

    画像

    Error: AuthFailure
    A problem with your API key prevents the map from rendering correctly. Please make sure the value of the APIProvider.apiKey prop is correct. Check the error-message in the console for further details.
    エラー AuthFailure
    API キーに問題があるため、マップが正しくレンダリングされません。APIProvider.apiKey propの値が正しいことを確認してください。詳細については、コンソールのエラーメッセージを確認してください。

    README.md をしっかり読んでみます。

    このプロジェクトは[create.xyz](https://create.xyz/)から生成されました。
    ReactとTailwindCSSで構築された[Next.js](https://nextjs.org/)プロジェクトです。
    ## はじめに
    まず、開発用サーバーを起動します:
    bash
    npm run dev
    # または
    yarn dev
    # または
    pnpm dev
    # または
    bun dev
    “`
    http://localhost:3000](http://localhost:3000)をブラウザで開くと結果が表示されます。
    src`にあるコードを編集することができます。あなたがファイルを編集すると、ページは自動的に更新されます。
    もっと詳しく知りたい方は、以下のリソースをご覧ください:
    – React Documentation](https://react.dev/) – Reactについて学びましょう。
    – TailwindCSSドキュメント](https://tailwindcss.com/) – TailwindCSSについて。
    – [Next.js Documentation](https://nextjs.org/docs) – Next.jsの機能とAPIについて。
    – [Learn Next.js](https://nextjs.org/learn) – インタラクティブなNext.jsのチュートリアルです。
    ## 環境変数
    Next.jsには、[環境変数](https://nextjs.org/docs/app/building-your-application/configuring/environment-variables)を読み込むためのビルトインサポートがあります。
    .env.localからprocess.envに読み込むことができます。.env.local`ファイルをプロジェクトのルートフォルダに作成し、以下の環境変数を設定します。
    “env
    next_public_google_maps_api_key=my_api_key
    “`

    (READMEの日本語訳)

    地図を表示するためのGoogle MapsのAPI設定がありません。
    このあたりの設定はGoogle Maps APIのNextJSでの使い方解説を観ていただけるとよいのですが、この辺の設定も含めてあっという間にプロトタイピングが作れてしまうCreate.XYZはすごいです!

    https://create-demo-trunk-hotel.vercel.app/

    欲を言えば今回のサンプルのようにNextJSのサーバーサイドの処理がないのであれば、GitHub Actionsが選択肢にあると良いな!

    Stable Diffusionアドオンについて

    Add-onsには「Stable Diffusion」があります。

    画像

    以下のようなプロンプトで画像生成サイトを作ることができます。

    画像

    Create an image generation website using Stable Diffusion V3 1girl, looking at viewer, animation
    User can input Prompt, negative prompt

    “Generate” button can send request to Stable diffusion.

    https://demo-trunk-hotel-event-240718.created.app/sd

    画像

    Create.XYZの Stable DiffusionはCREATE社のオウンホスティグでベースモデルはSDXLだそうです。Create.XYZのユーザは無料で利用できますが、生成はBuildモード・Demoモードのときは動的に生成されますが、パブリッシュ語は動作はしないようです(Integrationがない)。
    でもデザインさえ決まれば 最新の Stable Diffusion Ultraを使ったサイトなども開発できるかもですね!

    https://ja.aicu.ai/sd3api1800/

    画像

    https://demo-trunk-hotel-event-240718.created.app/sd

    今後の戦略について

    質問(意訳):CREATEはB2B向けなのか、コンシューマ向けなのか?基盤モデルを持っている企業やビッグテックの企業とどういう棲み分けをしているのか。

    ドゥルヴさん:顧客満足度、「ユーザの使用感」を第一に考えており、使用した結果、使いやすかったら口コミで広がっていくと考えているのでこれが一番の推進力になると考える。これが時期に大企業に浸透していくと考えている。
    他にも機能を持っている会社は居るが「アプリを作るならここが一番、まちがいない」という位置づけ、状態を作ろうとしている。
    先程の「基盤モデル」についての質問もあったが、基盤モデルをもつ企業は競合であり友達である。各モデルが良くなっていくと、我々のモデルも良くなる。最終的にはユーザが細かいことを考えなくても良くなるという方向を考えている。ビッグテックの会社に対するストラテジーとしては、全くコーディングをしたことがない新規の顧客に対しての市場を拡げている。顧客は「自分たちが思い描いたものを100%のもの」ではなく「使いやすいもの」を選ぶと考えている。ホストされた技術を使うと信じている。何よりも大事なのは「顧客に満足していただく」、それが口コミで拡がるということが大事だと考えています。

    交流も!

    ランチはパエリアでした!お弁当で食べる新鮮感覚。

    画像

    AICU media編集長の しらいはかせ(@o_ob)がインタビューを実施しました。

    しらいはかせ:CREATEはなんて読むの?クリエイト?
    ドゥルヴさん: CREATEは現在多くのユーザが居るが、その半数以上は日本からのアクセスです。我々のサービス名は「CREATE」ですが、これは検索性もよいわけではないし、日本人のユーザさんたちは「Create.XYZ」と呼んでくれているので、我々も「クリエイト・イクスワイズィー」と呼んで良いのではないかと考えます。

    しらいはかせ:これめっちゃ技術的な質問なんだけど、プロンプトが長くなったらどうすればいいの?
    ドゥルヴさん:コンポーネント機能を使えばいい。プロンプトが長くなると制御性が下がってくる。コンポーネンツ機能は長くなった部品を分割して小さなパーツに分ける。UIコンポーネント、Functionsをロックして大きなページで扱うことができる。新しいコンポーネントの設計では名前はコンポーネントだが、いかなるエレメントもクリックできて、デザインタブでコンポーネントに変換できる。コードと高レベルのページを行き来して設計できる。

    Stable Diffusionの本があるなら、Create.XYZの本もすぐ出るね!

    画像

    Thanks Dhruv san, have a good stay in Japan!

    https://note.com/o_ob/n/n2fc9c059a8d5

    Originally published at  https://note.com on July 18, 2024.

  • 賞金総額1億円!?未来のゲーム開発現場に潜入!バンダイナムコスタジオ「GYAAR Studio」見学レポート

    賞金総額1億円!?未来のゲーム開発現場に潜入!バンダイナムコスタジオ「GYAAR Studio」見学レポート

    こんにちわ、AICU media編集部 の はねごろうです。
    2024年6月某日、バンダイナムコ深川スタジオにて「GYAARCon試遊会」が開催されました。

    このイベントは、GYAAR Studio インディーゲームコンテストの受賞者や多くのゲストの方々が参加していました。
    現地より交流の様子をお伝えします。


    バンダイナムコスタジオ「GYAAR Studio」とは?

    GYAAR Studio株式会社バンダイナムコスタジオの内部にあるスタジオです。

    バンダイナムコスタジオでは、「ワールドワイドメジャータイトルの創出」を基本戦略の一つに掲げて、タイトル開発に取り組んでいます。"ワールドワイドメジャータイトル"とは具体的に『鉄拳』シリーズ、『テイルズ オブ』シリーズ、『エースコンバット』シリーズなど、日本国内に限らず世界で愛され、熱狂的なファンコミュニティが存在するタイトルを位置づけており、
    『GYAAR Studio』はそんなワールドワイドメジャータイトルを創出する"トップクリエイター"を育成するためのレーベルとして2021年に誕生いたしました。

    https://www.bandainamcostudios.com/gyaarstudio/

    https://www.bandainamcostudios.com/gyaarstudio/ より

    さらにGYAAR Studioでは約1年に1度、インディーゲームコンテストを開催しており

    受賞者には様々な特典が与えられます。

    総額最大1億円の支援金!? GYAAR Studioインディーゲームコンテストとは?

    第2回GYAAR Studioインディーゲームコンテスト開催時の概要より

    (引用:【第2回 GYAAR Studioインディーゲームコンテスト】応募受付開始しました!

    応募要件

    ・Steam(PC)での販売が可能であること

    ・動作するデモまたはプロトタイプがあること(「企画書のみ」は不可)

    ・言語は日本語か英語であること

     ※ゲームジャンルは不問となります。

    ▼受賞一覧

    【プラチナ賞】(最大1作品)

     支援金最大総額3,000万円

    【入賞】(最大6作品)  支援金最大総額1,000万円

    【佳作】(最大10作品)  賞金100万円

    支援総額1億円!これだけの資金があれば、数名のチームでゲーム開発だけに集中した生活が送れるかもしれませんね!

    支援金に加えて、受賞者には以下サポートを予定しています

    『すべての受賞者が対象』

     ・開発拠点「GYAAR Studio Base」のフリー利用権

    『【プラチナ賞】【入賞】 作品が対象』

     ・開発支援およびパブリッシュを支援

     ・タイトルのIP展開をバンダイナムコグループで支援

    つまり、この「GYAAR Studio」を拠点にゲーム開発ができるということになります。

    https://note.com/gyaarcon/n/n2abf23257286

    試遊会の様子

    見学をした6月某日。GYAAR Studio Baseではちょうど、月に一度の「GYAARCon試遊会」が開催されていました。GYAAR Studioインディーゲームコンテストの採択プロジェクトがブラッシュアップしたプロジェクトを展示する機会です。

    AICU media編集部では特別に参加させて頂く機会をいただきましたので、実際に試遊会の様子をレポートしていきます。

    これらの作品は2024年7月19日(金)から7月21日(日)に京都で開催される「BitSummit Drift」に出展される予定だそうです。是非足を運んでみてはいかがでしょうか?

    気になったゲーム①「LITTLE CHEESE WORKS」

    とても可愛いネズミのゲームです。

    「眠っている猫に見つからないようにチーズを自宅まで運ぶ」というコンセプトで

    可愛らしいステージと少し怖い猫、というルックで、丁寧に作りこまれたアクションゲームでした。

    複数プレイが可能となっていて、今回は4人でプレイを行うことができました。

    「猫にいかに見つからないように仲間と協力して進むか」、というシンプルなタスクですが、暗いステージではランタンを投げるなど、アイテムを使いながら進むものもありました。

    4人で和気あいあいに楽しむことが出来るので、パーティーゲームとしても、とても良い作品だと思いました。

    2枚目は、背景モデラーさんへの指示書

    ネズミのモデル制作画面となっています。

    開発者さん(後方)と、試遊会に参加しているバンダイナムコスタジオの社員さんたちです。

    4人同時プレイのおかげもあってすぐに仲良くなってしまいました……(ありがとうございます)!

    このような制作現場を見れるのはとてもレアなのでは!?

    「LITTLE CHEESE WORKS」はSteamにてデモ版が入手可能です

    https://store.steampowered.com/app/2527940/Little_Cheese_Works/?l=japanese

    気になったゲーム②「豆腐になれ。」 

    弾みながら敵を倒したり障害物をさけたりしながら、ゴールではみそ汁の具になる。

    という、アクションゲームになっています。

    面白かった点は、豆腐の柔らかさで難易度が変わるという着眼点でした。

    そして、これは実際にご欄いただきたい…という特別な演出があったのも魅力的です。

    スゴイツヨイトウフ : とうふのアクション【超試食版】

    https://store.steampowered.com/app/2408680/_/?l=japanese

    他にも様々なゲームが試遊できました。

    「METAL SUITS」

    海外の開発チームによるメトロイドヴァニア(英語: Metroidvania)と呼ばれるタイプの2Dアクションゲームです。ドット絵での表現の中に多様なスーツアクションがあり、個性的な魅力があります。

    難易度もなかなかで真剣にプレイするしらいはかせ。

    METAL SUITS (Demo)

    https://store.steampowered.com/app/2093800/METAL_SUITS

    「VALKYRIE SQUAD」はシューティングサバイバルゲーム。

    「ワルキューレスクワッド:突破せよ」

    https://store.steampowered.com/app/2692030/_

    「ウンコテクニカ」

    ウンコを便器に導くゲームです。1ステージほんの数秒でプレイできます。

    ウンコテクニカ(無料版)

    https://www.freem.ne.jp/win/game/24562

    「Depth:Origin 」

    体感リズムシューティングゲーム

    https://indie.bandainamcostudios.com/titles/28

    「Algolemeth」(アルゴレメス)

    全自動ダンジョンRPG。AI(戦闘ロジック)を搭載したゴーレムを迷宮に送り出し、全自動で攻略を行うダンジョンRPGです。AIを強化し、トライ・アンド・エラーを繰り返して、迷宮の踏破を目指しましょう!

    Algolemeth

    https://store.steampowered.com/app/2731030/Algolemeth/?l=japanese

    会場ではお菓子などもふるまわれ終始和やかなムード

    終始和やかな雰囲気で行われた試遊会では、お菓子などの軽食もふるまわれました。

    ギャー君がお菓子をふるまってくれました

    以上、駆け足で開発中のゲームを紹介させていただきましたが、これらのタイトルは2024年7年19日(金)から7月21日(日)に京都・みやこめっせ(京都市勧業館)で開催の「BitSummit Drift」で出展される予定です。

    是非足を運んでみてはいかがでしょうか?

    https://bitsummit.org

    https://bitsummit.org/en

    まとめ

    以上、「つくる人をつくる」をビジョンとするAICUにジョインをした はねごろう がお伝えしました。

    今回、このような素敵なイベントにお招きくださいました、バンダイナムコスタジオ様には大変感謝しております。

    普段接することの少ないゲームの開発を間近で感じることができ、とても貴重な経験をいただけました。

    AICUでは今後も読者の皆様にむけて、「つくる人をつくる」を応援するディープなイベント取材を実施していきたいと思います!

    この記事に「いいね!」と思ったら、いいねとフォロー、おすすめをお願いします!

    https://note.com/aicu/   X(Twitter)@AICUai


  • 【初心者向け!】Runway Gen-3 Alphaでプロンプト自動生成して簡単動画制作

    【初心者向け!】Runway Gen-3 Alphaでプロンプト自動生成して簡単動画制作

    AICU mediaライター・ AIクリエイターのぽんず(@ponzponz15)です!
    今回紹介する記事は『プロンプトジェネレーター』というものを使用して、私が約一時間で作成したビデオ です

    最新の動画生成AIの『RunwayGen-3 Alpha』『プロンプトジェネレーター』を使用すれば、誰でも簡単に、映画のようなハイクオリティ動画を制作すことができます
    本来であれば、一ヶ月近くかけてクレジットを消費しながら動画生成のコツを掴むものですが、これがあればわずか数日で、初心者でもつかいこなすことができます。

    画像
    Runway Gen-3 でめっちゃ動画を作りまくっているイメージ

    [AICUが開発]初級者:広告企画から動画制作までのプロセス

    1. プロ級の映像表現が誰でも簡単に

    私ぽんずは、Runway Gen-3がリリースされたその日に95ドルを課金して、毎日200回以上動画生成している動画生成オタクですので、十分なご説明ができます。お任せください。
    最近は、このGen-3に夢中で新しい動画を沢山生成しています。そんな私が自信を持っておすすめするのが、今回のテーマである「プロンプト自動生成ジェネレーター」です。初心者の方はGPTsを使うことをお勧めしますが、そんなの知らないよって方でもこれを使用すれば問題ありません。

    2. 完全初心者でも大丈夫!準備するもの

    あなたも今日から映像クリエイターの仲間入りです。
    必要なのは以下の3つだけです。

    1. Runway Gen-3 Alphaアカウント: https://www.runwayml.com/ からアカウントを作成できます。課金が必要です。
    2. ChatGPTなどのAIサービス: https://chat.openai.com/ など、無料で使えるAIサービスを利用しましょう。(GeminiClaudeなど)
    3. ちょっとの勇気: 難しいことは何もありません。あとは、この記事を参考にしていただき、どんどんチャレンジしていくだけです!

    3. プロンプトって? – 映像表現のためのプロンプトとは

    プロンプトとは、AIへの指示のこと。例えば、これまでの画像生成AIでは「美しい女性」や「犬」と書くだけで、クオリティの高い画像が生成できましたよね。

    しかし、Runway Gen-3 Alphaでは、5秒から10秒間の動画が生成されるため、それだけでは不十分になります。それは動画が始まってからの1秒にもみたない部分の指示でしかありません。もちろん、それだけでも十分すごいのですが、使いこなすためには「カメラの動き」や「雰囲気」といった映像表現を伝えるための指示が必要になってきます。

    例えば、「夕焼けの海」というプロンプトだけでは、ただ夕焼けの海が映っているだけの動画になってしまいます。

    ①夕焼けの海 (AからBに移行)

    「夕焼けの海に沈む太陽をすごい速さですすむカメラで捉え、海の中にもぐっていく」といったように、具体的な指示が必要になります。

    4. なぜプロンプトジェネレーターが必要なの? – 動画のためのプロンプトは難しい

    動画のためのプロンプトには、カメラワークや専門用語など、少し難しい知識が必要になります。

    例えば、公式ガイドに記載されているのがこちらです。
    [camera movement]: [establishing scene]. [additional details]
    こういった構造でプロンプトを書くことが推奨されています。

    「カメラワーク」や「専門用語」は、最初は戸惑ってしまうかもしれません。

    でも、大丈夫。
    専門知識がなくても、誰でも簡単に、効果的なプロンプトを作成できます。

    画像

    Runwayの公式ガイドで学ぶのが最適です。

    https://help.runwayml.com/hc/en-us/articles/30586818553107-Gen-3-Alpha-Prompting-Guide

    このジェネレーターは、Runway公式が推奨するプロンプト構造や、カメラワークなどの知識を組み込んでいます。このジェネレーターは、あなたの動画生成の補助輪のようなもの。

    補助輪を付けて、自転車に乗る練習をするように、このジェネレーターを使って、動画生成AIに必要な用語を徐々に覚えていきましょう。
    ゆくゆくは覚えた方がいいこともありますしね。

    本来であれば1ヶ月近くかけてクレジットを消費しながら動画生成のコツを掴むものですが、これがあればわずか数日でつかいこなすようになります。

    画像

    [AICU] クリスマス動画コンテスト実施中

    5. プロンプトジェネレーターの使い方 – ステップバイステップ解説

    ステップ1:AIサービスにアクセス

    画像

    Google AI Studio

    https://ai.google.dev/aistudio?hl=ja

    ChatGPTやGeminiなどのAIサービスを開きましょう。まだアカウントをお持ちでない場合は、無料で作成することができます。

    ステップ2:プロンプトジェネレーターのソースコードをコピー

    このブログ最下部のソースコードをコピーします。

    ステップ3:ChatGPTやGeminiに貼り付けて実行

    コピーしたソースコードをChatGPTやGeminiに貼り付け、実行ボタンをおします。

    ステップ4:希望する動画の内容を入力

    その後、あなたが生成したい動画のプロンプトを作成します。日本語でも問題ありませんが、英語の方が精度が高いかもしれません。
    プロンプトには、カメラワーク、シーン設定、追加の詳細など、細かく項目が分かれていますので、迷わずに入力できます。現状、Gen-3 Alphaには500字しか入力できませんので、全部は入れられないかもしれませんが、あまり気にせず問題ありません。

    ステップ5:完成したプロンプトをGen-3 Alphaに入力

    画像

    生成されたプロンプトをコピーし、Runway Gen-3 Alphaに入力して、動画を生成しましょう。5秒か10秒を選択しGenerateボタンを押せば生成が始まります。

    その際、秒数によってそれぞれ消費するクレジットが違いますのでご注意ください。

    https://ja.aicu.ai/runway-gen-3-alpha

    6. 実際に作られた動画例

    例1:サーフィン
    入力例『サーフィンからシームレスにスケボーしてる感じにして』

    ④サーフィン (シームレスにAからBに)

    例2:黒い玉
    入力例『荒野の黒い球をシームレスに別の形態に変化させて』

    Gen-3 Alphaを使いたいけど迷っている人はこの『比較動画』見て頂くと良いかもしれません。
    画像のプロンプトと違って、動きや変化を指示しないと全然動かないので課金前に知っておいたらクレジット節約になります。もう使ってる方も1000回以上生成してわかったコツをnote等に纏めていれば「バズる」ためのヒントになるはずです👌

    https://ja.aicu.ai/alpaca-making

    例3:ゴッホの世界
    『ゴッホの空の街をFPVで進んでいって』
    まるでゴッホが描いたパリの街並みがあったら、行ってみたいと思いませんか?
    Gen-3 Alphaが描いたゴッホの筆使いが息づく世界を探索しましょう〜🍽️

     例4:タイタニック風
    『沈んだ船の外観、船内に入ったら当時の豪華絢爛な風景が広がっている』

    これまでの動画生成AIとは次元が違うのがGen-3 Alphaが特別な技術や才能がなくとも、自分のアイデアを映画級に仕上げることができるためです。

    必要なのは、あなたの想像力。

    7. まとめ

    プロンプトジェネレーターを使えば、動画制作の知識がなくても、AIと会話しながら誰でも簡単に高品質な動画を制作できます。そして、これを使いながら映像技術に関わる知識を学び、さらに素晴らしい動画を生成していくことができます。ぜひ活用して、あなたの創造力を爆発させてください!

    プロンプトは(みんなが無料で使えてしまうとオリジナリティが薄れてしまうので)メンバーシップ向け有料配布といたしますが、こちらのポストをシェアしていただければ無償で提供いたします!

    素敵な作品ができたらメンバーシップ掲示板で共有してくださいね!

    https://note.com/aicu/membership/boards/61ab0aa9374e/posts/1aa202bf314a

    作例:プロンプトジェネレーターのソースコード

    続きはこちらです

    https://note.com/aicu/n/n304ded1ec059

  • Stability Matrixで Automatic1111が起動しない…そんなときに試してほしいノウハウ #SD黄色本

    Stability Matrixで Automatic1111が起動しない…そんなときに試してほしいノウハウ #SD黄色本

    大好評の「画像生成AI Stable Diffusionスタートガイド」(通称 #SD黄色本 )ですが、GitHubでのソースコード公開に加えて、discordでのサポート、noteメンバーシップ向け掲示板でのサポートがあります。

    画像生成AI Stable Diffusion スタートガイド (Generative AI イラストレーション)

    Amazon.co.jpで購入する

    AICU: AI Creators Union|AICU media


    今回はStability Matrixを使ったローカルGPU、Windows11/Mac(Apple Silicon)環境を中心に discord AICUサーバー「SD黄色本サポート」チャンネルに寄せられたトラブルシューティングノウハウをお送りします。

    ❏書籍「画像生成AI Stable Diffusionスタートガイド」の詳細についてはこちら

    書籍[画像生成AI Stable Diffusionスタートガイド]

    ❏Google ColabでのAUTOMATIC1111 xformers関連の不具合と解決方法について (2024/5/22)

    Google ColabでのAUTOMATIC1111 xformers関連の不具合と解決方法について(2024/5/22)

    ❏Fooocus v2.4.0リリース & AICUによるColab無料版で動く日本語UI版も継続メンテナンス実施

    Fooocus v2.4.0リリース & AICUによるColab無料版で動く日本語UI版も継続メンテナンス実施


    過去の #SD黄色本 記事についてはこちらをご参照ください

    SD黄色本 アーカイブ

    Checkpointの切り替えに失敗する

    M3 MacBook Pro で報告されたケースですが、画像生成AIのモデル、つまり SD1.5やSDXL、もしくは bluePencilXL と言ったモデルの切り替えに失敗することがあります。
    エラーメッセージの例

    changing setting sd_model_checkpoint to bluePencilXL_v600.safetensors [83f960c769]: AttributeError

    Stability Matrixにはこのようなログが表示されます。

    Python 3.10.11 (main, May  7 2023, 17:32:05) [Clang 16.0.3 ]
    Version: v1.9.4
    Commit hash: feee37d75f1b168768014e4634dcb156ee649c05
    ControlNet init warning: Unable to install insightface automatically. Please try run `pip install insightface` manually.
    Launching Web UI with arguments: --medvram-sdxl --api --skip-torch-cuda-test --skip-python-version-check --no-half --gradio-allowed-path /Users/username/apps/StabilityMatrix/Images
    no module 'xformers'. Processing without...
    no module 'xformers'. Processing without...
    No module 'xformers'. Proceeding without it.
    Warning: caught exception 'Torch not compiled with CUDA enabled', memory monitor disabled
    ControlNet preprocessor location: /Users/username/apps/StabilityMatrix/Packages/Stable-Diffusion-WebUI/extensions/sd-webui-controlnet/annotator/downloads
    2024-06-11 08:11:57,602 - ControlNet - INFO - ControlNet v1.1.449
    Loading weights [1449e5b0b9] from /Users/username/apps/StabilityMatrix/Packages/Stable-Diffusion-WebUI/models/Stable-diffusion/animagineXLV31_v30.safetensors
    2024-06-11 08:11:57,929 - ControlNet - INFO - ControlNet UI callback registered.
    Running on local URL:  http://127.0.0.1:7860
    
    To create a public link, set `share=True` in `launch()`.
    Creating model from config: /Users/username/apps/StabilityMatrix/Packages/Stable-Diffusion-WebUI/repositories/generative-models/configs/inference/sd_xl_base.yaml
    /Users/username/apps/StabilityMatrix/Packages/Stable-Diffusion-WebUI/venv/lib/python3.10/site-packages/huggingface_hub/file_download.py:1132: FutureWarning: `resume_download` is deprecated and will be removed in version 1.0.0. Downloads always resume when possible. If you want to force a new download, use `force_download=True`.
      warnings.warn(
    Startup time: 8.8s (prepare environment: 0.4s, import torch: 3.3s, import gradio: 0.8s, setup paths: 1.1s, initialize shared: 0.2s, other imports: 0.9s, load scripts: 0.8s, create ui: 0.5s, gradio launch: 0.4s, add APIs: 0.5s).
    changing setting sd_model_checkpoint to bluePencilXL_v600.safetensors [83f960c769]: AttributeError
    Traceback (most recent call last):
      File "/Users/username/apps/StabilityMatrix/Packages/Stable-Diffusion-WebUI/modules/options.py", line 165, in set
        option.onchange()
      File "/Users/username/apps/StabilityMatrix/Packages/Stable-Diffusion-WebUI/modules/call_queue.py", line 13, in f
        res = func(*args, **kwargs)
      File "/Users/username/apps/StabilityMatrix/Packages/Stable-Diffusion-WebUI/modules/initialize_util.py", line 181, in <lambda>
        shared.opts.onchange("sd_model_checkpoint", wrap_queued_call(lambda: sd_models.reload_model_weights()), call=False)
      File "/Users/username/apps/StabilityMatrix/Packages/Stable-Diffusion-WebUI/modules/sd_models.py", line 860, in reload_model_weights
        sd_model = reuse_model_from_already_loaded(sd_model, checkpoint_info, timer)
      File "/Users/username/apps/StabilityMatrix/Packages/Stable-Diffusion-WebUI/modules/sd_models.py", line 793, in reuse_model_from_already_loaded
        send_model_to_cpu(sd_model)
      File "/Users/username/apps/StabilityMatrix/Packages/Stable-Diffusion-WebUI/modules/sd_models.py", line 662, in send_model_to_cpu
        if m.lowvram:
    AttributeError: 'NoneType' object has no attribute 'lowvram'
    
    Loading VAE weights specified in settings: /Users/username/apps/StabilityMatrix/Packages/Stable-Diffusion-WebUI/models/VAE/sdxl_vae.safetensors
    Applying attention optimization: sub-quadratic... done.
    Model loaded in 28.7s (load weights from disk: 0.8s, create model: 1.3s, apply weights to model: 10.7s, apply float(): 8.3s, load VAE: 2.0s, load weights from state dict: 0.1s, hijack: 0.6s, load textual inversion embeddings: 0.7s, calculate empty prompt: 3.9s).

    基本的にはこのようなログをChatGPTやClaude、Gemini、Perplexityなどに貼り付けていただけると解決する事も多いですのでぜひやってみてください。

    以下はChatGPT-4oでの上記のログの回答例です。

    AttributeError:

    • AttributeError: ‘NoneType’ object has no attribute ‘lowvram’: このエラーはsd_modelがNoneであることを示しています。つまり、モデルが正しくロードされていない可能性があります。この問題は、モデルのロードプロセスで何かが失敗しているか、チェックポイントファイルが正しくないか、または欠落しているために発生することがあります。

    ひとえに「メモリが足りない」という原因が多かったりします。もちろん、動作中に多くのコマンドや操作を投げることは避けたほうがいいです。多くのケースではケースでは起動しているChromeなどのWebブラウザ、不要なタブを閉じて再起動したり、再度選択を試してみたらできた、という事もよくあります。

    ロードするモデルはSDXL系ですと4-6GBのファイルサイズがあり、VRAMやメインメモリにそれをロードするだけの容量がなければエラーになります。起動時オプションで「lowvram」というオプションがありますので、8GB以下のVRAMであればチェックオンしておくと動作の不安定を回避することができるかもしれません。

    よくある他の事例としては
    ・checkpointが正しい場所にあるか
    →modelsフォルダ、その下の「Stable Diffusion」です
    StabilityMatrix-win-x64\Data\Models\StableDiffusion

    ・ダウンロードの途中で終わってしまっている(ファイルが壊れている)
    →削除してやり直し

    といったケースがあります。いずれにしてもモデルの切り替えに失敗しているときはStability MatrixのコンソールやAutomatic1111右下に表示されていますのでエラーログを確認しましょう。
    コツは「あきらめないこと」です!特にMac版。

    ModuleNotFoundError: No module named ‘jsonmerge’

    2024/7/12にご報告いただいたケース
    (新品のWindows11)
    > Stable Diffusion Web UI v1.9.4をパッケージに追加して、Launchを押すと、いろいろ文字が出て、最後に

    File “C:\Data\Packages\stable-diffusion-webui\repositories\k-diffusion\k_diffusion\config.py”, line 6, in <module>
    from jsonmerge import merge
    ModuleNotFoundError: No module named ‘jsonmerge’

    と表示されて止まってしまいます。

    まず、基本的なところで、Stability Matrixを利用すると、個別にPythonをインストールする必要はなくなります。
    つまり、想像するに、ローカルで既にインストールされたPython環境とぶつかっている可能性があります。

    もしWindows + R →「cmd」でコマンドプロンプトを起動して、 python -V と打って Enter ボタンを押して、上記のように Python 3.10.6 と出るか、もしくは「コマンドが見つかりません」というエラーが出れば問題なしですが、他のバージョンのPythonが出てくるようですと、まずはいったん、Pythonをアンインストールしたほうがいいと思います。

    ・Stability MatrixのAutomatic1111を更新する
    →Packageでで確認できます

    ・Stability MatrixのAutomatic1111を削除してインストールし直す
    →生成済みの画像も削除される可能性がありますので一旦退避しましょう。

    ・Stability Matrixをアンインストールして入れ直す

    ・[上級者向け]足りないモジュールを手動でインストールする
    Redditで同様の不具合が報告されています
    Error: ModuleNotFoundError: No module named ‘jsonmerge’
    https://www.reddit.com/r/StableDiffusion/comments/13e6srs/error_modulenotfounderror_no_module_named/

    ・[非常に簡単な方法]Windows11に新ユーザをつくる
    設定→アカウント→その他のユーザー→「アカウントの追加」で解決することが多いです。
    これは「demo」というユーザを作成している例です。

    画像

    解決策:Google Colabを並列にする

    Stability Matrixは手元のGPUで使えて嬉しいのですが、本格的に画像生成をしたりオリジナルのLoRAを学習させたりといった複数の作業を行うときは、1台のPCでも辛くなってきます。
    Google Colab Proの環境は有料ではありますが、Proのライセンスであればクリーンなインストール環境、高速なGPU、高速な回線であり、特に困ることは少なくなります。
    ローカルのGPUをメインで使う場合も問題分析がしやすくなります。

    本書ではGoogle Colabでの環境構築やColabで動くノートブックも並列で解説・メンテナンスしていますので、ぜひとも使ってみてくださいね!

    画像

    以上、「画像生成AI Stable Diffusionスタートガイド」のトラブルシューティング情報でした!

    画像生成AI Stable Diffusion スタートガイド (Generative AI イラストレーション)

    Amazon.co.jpで購入する

    書籍のサポートリポジトリやAICU Inc. discord サーバー「SD本サポート」チャンネル ⁠はこちら(有料)

    https://note.com/aicu/n/n08c33f7102ab

  • Text to AppなAI開発ツール「CREATE.xyz」首脳陣が渋谷でミートアップを開催 #CreateTokyo

    Text to AppなAI開発ツール「CREATE.xyz」首脳陣が渋谷でミートアップを開催 #CreateTokyo

    話題の「Text to App」なAI開発ツール「CREATE.xyz」首脳陣が日本にやってきます! CEOのドゥルブ氏をはじめとする少数精鋭チームが、2024年7月15日(月・海の日)、渋谷のGMO Yours・フクラスに集結しミートアップ(交流会)を開催します!

    ウェブサイト作成からアプリ開発まで、まるで魔法のように簡単に実現してしまうAIツール「CREATE.xyz」。
    その最新技術を、CREATE.xyzチームから直接学べるチャンスです!

    こんな方にオススメ

    • 最新のAI技術に触れてみたい方
    • ホームページやアプリ開発に興味がある方
    • ビジネスにAIを取り入れたいと考えている方
    • グローバルな環境で活躍するスタートアップ企業の熱気を感じたい方

    イベントで得られること

    • AI開発の未来を体感できるデモを間近で見学
    • AI業界のエキスパートによるトークセッション
    • CREATE.xyzチームとの質疑応答
    • 参加者同士のネットワーキング

    CREATE.xyzとは?

    日本語でチャットするだけで、ウェブサイトやアプリが開発できるAIツールです。
    https://www.create.xyz/

    • プログラミング知識は一切不要!
    • 簡単なランディングページ(LP)制作から、ゲーム、データベース構築まで幅広く対応
    • 開発者向けにコード編集機能も搭載

    AICU関連記事:AIと作るWeb体験「Create.XYZ」 今すぐ始めるインタラクティブなサイト開発

    AIと作るWeb体験「Create.XYZ」 今すぐ始めるインタラクティブなサイト開発 プロンプトからサイトが作れる!?話題の「Create.xyz」を使ってみた! さいきん話題の「Create.xyz」という ja.aicu.ai

    イベント詳細

    日時: 2024年7月15日(月) 15:30-19:00(開場15:00)
    場所: GMO Yours・フクラス (東京都渋谷区道玄坂1丁目2番3号 渋谷フクラス 16階)
    参加費: 無料(事前登録制)
    参加方法: 下記リンクより事前登録をお願いします。

    create.xyz Team in Tokyo: CEO Demo & AI Meetup @ GMO Yours · Luma 「CREATE.xyz」が日本に初上陸しました!CREATE.xyzは、サンフランシスコを拠点とするスタートアップで、日本 lu.ma

    イベントスケジュール

    • 15:30-15:40 開会の挨拶と紹介
    • 15:40-16:00 Createデモ – はじめに
    • 16:00-16:30 CEO × AIMトーク – AIツールの未来
    • 16:30-17:00 Createデモ – 応用編
    • 17:00-17:30 専門家トーク – サプライズゲスト
    • 17:30-18:00 Q&A – 深く掘り下げる
    • 18:00-19:00 ネットワーキング

    *スケジュールは変更になる可能性があります

    無料で試す: create.xyzDiscord: create.xyz/discord
    X: x.com/create_xyz

    一緒に未来を創造しましょう!

    共催:AIM
    協力:GMO教えてAI株式会社

    事前登録制となっております。満員になることが予想されますので、お早めにご登録ください。

    ​共催:AIM
    協力:GMO教えてAI株式会社

    ​事前登録制となっております。満員になることが予想されますので、お早めにご登録ください。

    開催場所
    Shibuya FUKURAS
    1-chōme-2-3 Dōgenzaka, Shibuya City, Tokyo 150-0043, Japan
    東京都渋谷区道玄坂1丁目2番3号 渋谷フクラス 16階  GMOインターネットグループ グループ第2本社 GMO Yours・フクラス

    CREATE×AIM in TOKYO CREATE.xyz チームが日本上陸! AI時代を牽引する対話型AI開発ツール「CREATE.xyz」がチームメンバー ymmd-ai.co.jp https://note.com/embed/notes/n3c44e9beb59d https://note.com/embed/notes/n241a0e076e96