つくる人をつくる AICU Inc.

月: 2024年12月

  • Houdini使いが気になる研究7選！植物の種子を飛ばしたり粉と水を混ぜたり！

    AICU media ライターのやまぐちです！現在開催されているSIGGRAPH Asia 2024の中で気になった研究7選をお届けします。
    Technical Papers Programの各セッションの開催情報についてはこちら

    SIGGRAPH Asia 2024特集(1) 最先端のCG研究を3時間で！【Technical Papers Fast-Forward】全ジャンル予習リスト

    InstantDrag: Improving Interactivity in Drag-based Image Editing (InstantDrag：ドラッグ操作で画像編集のインタラクティブ性を向上)

    発表セッション: It’s All About Change: Image Editing (変えることのすべて：画像編集)

    https://asia.siggraph.org/2024/?post_type=page&p=32163&sess=sess116

    ドラッグベースの画像編集は、そのインタラクティブ性と精度から最近人気を集めています。しかし、テキストから画像へのモデルは 1 秒以内にサンプルを生成できるにもかかわらず、画像コンテンツを維持しながらユーザー操作を正確に反映するという課題のため、ドラッグ編集はまだ遅れをとっています。既存のアプローチの中には、計算集約的な画像ごとの最適化や複雑なガイダンスベースの方法に依存しているものがあり、移動可能な領域のマスクやテキスト プロンプトなどの追加入力が必要となり、編集プロセスのインタラクティブ性が損なわれます。そこで、最適化不要のパイプラインでインタラクティブ性と速度を向上させ、入力として画像とドラッグ命令のみを必要とする InstantDrag を紹介します。InstantDrag は、ドラッグ条件付きオプティカル フロー ジェネレーター (FlowGen) とオプティカル フロー条件付き拡散モデル (FlowDiffusion) という 2 つの慎重に設計されたネットワークで構成されています。InstantDrag は、タスクをモーション生成とモーション条件付き画像生成に分解することで、実際のビデオ データセットでのドラッグベースの画像編集のモーション ダイナミクスを学習します。顔のビデオ データセットと一般的なシーンでの実験を通じて、マスクやテキスト プロンプトなしで高速でフォトリアリスティックな編集を実行できる InstantDrag の機能を実証しました。これらの結果は、ドラッグ ベースの画像編集を処理する当社のアプローチの効率性を強調しており、インタラクティブなリアルタイム アプリケーションにとって有望なソリューションとなっています。

    https://asia.siggraph.org/2024/presentation/?id=papers_884&sess=sess116 より翻訳

    画像

    こちらはTPFFでのパフォーマンスが面白かったのでピックアップしました。紹介動画が作り込まれており、とても印象的でした。30秒程度の発表で来場者の記憶に刻み込むのは簡単ではありませんが、成功すると注目度が一気に上がりますね。

    デモのためのソースコードなども開発者によって公開されています
    https://joonghyuk.com/instantdrag-web/

    Computational Biomimetics of Winged Seeds (翼を持つ種子(翼果)の計算生物模倣学)

    https://asia.siggraph.org/2024/presentation/?id=papers_275&sess=sess109

    発表セッション: Geometry and Fabrication (ジオメトリと組み立て)
    https://asia.siggraph.org/2024/?post_type=page&p=32163&sess=sess109 

    本研究は、有翼種子のバイオミメティックデザインを容易にする計算パイプラインを開発する。我々のアプローチは、自然の有翼種子の3Dスキャンを活用し、3D差分同型群の測地線座標でそれらを補間することにより、生物にインスパイアされた設計空間を構築する。我々は、確率的な性能目標を持つ空力設計タスクを定式化し、設計空間を探索し、性能目標の期待値を効率的かつ効果的に最小化するために、勾配のないオプティマイザを適応させる。我々のパイプラインは、長距離散布や誘導飛行を含む空力タスクにおいて、自然界を凌駕する新しい有翼種子デザインを発見する。我々は、設計空間において選択された有翼種子のペーパーモデルを紹介し、シミュレーションと現実における類似した空気力学的挙動を報告することにより、我々のパイプラインの物理的忠実性を検証する。

    概要の翻訳

    画像

    翼を持つ種子がどのように飛ぶか、という研究。種子の飛び方を定式化しています。これにより、自然界を凌駕する新しい有翼種子デザインを発見できるそうです。たくさんの種子を実際に集めて3Dスキャンしているところに魅力を感じました。

    研究者の公開サイトはこちら

    https://leqiqin.github.io/publication/seeds2024

    https://dl.acm.org/doi/10.1145/3687899

    画像

    NeuSmoke: Efficient Smoke Reconstruction and View Synthesis with Neural Transportation Fields (ニュースモーク: ニューラル輸送場を用いた効率的な煙の再構成と視界合成) 

    画像

    発表セッション: Path Guiding, Scattering (パスガイド、散乱)

    https://asia.siggraph.org/2024/?post_type=page&p=32163&sess=sess110

    煙のシーンの新しいビュー合成は困難な問題である。これまでのニューラルアプローチは、不十分な品質と非効率な学習に悩まされてきた。本研究では、ニューラル輸送場を用いた動的煙再構成のための効率的なフレームワークであるNeuSmokeを紹介し、多視点映像からの高品質な密度再構成とノベルビュー合成を可能にする。我々のフレームワークは2つのステージから構成される。第一段階では、輸送方程式と神経輸送場を統合した新しい神経流体場表現を設計する。これには、再構成された煙の空間的・時間的整合性を高めるための、複数のタイムスタンプの適応的埋め込みが含まれる。第2段階では、煙の再構築を洗練させるために畳み込みニューラルネットワーク（CNN）を採用し、斬新な色情報と深度情報を組み合わせる。我々のモデルは、これまでの物理情報に基づいたアプローチよりも10倍以上高速な処理を実現する。広範な実験により、本手法は、実世界および合成データセットにおいて、ノベルビュー合成と体積密度推定において既存技術を凌駕することが実証された。 

    概要の翻訳

    https://dl.acm.org/doi/10.1145/3680528.3687667

    煙を合成するシミュレーション。上の画像からも、2色の煙がとてもきれいに混ざっていることが分かります。TPFFで流れていたデモ動画ではさらに分かりやすく、普段シミュレーションを扱う人間としてとても興味深かったです。

    Quark: Real-time, High-resolution, and General Neural View Synthesis (クォーク：リアルタイム、高解像度、汎用的なニューラル・ビュー合成)

    発表セッション: Look at it Differently: Novel View Synthesis (見方を変えよう: 新しいビューの合成)

    https://asia.siggraph.org/2024/?post_type=page&p=32163&sess=sess113

    高品質、高解像度、リアルタイムの新しいビュー合成を実行するための新しいニューラル アルゴリズムを紹介します。入力 RGB 画像またはビデオ ストリームのスパース セットから、ネットワークは 3D シーンを再構築し、NVIDIA A100 で 30fps で 1080p 解像度の新しいビューをレンダリングします。フィードフォワード ネットワークは、さまざまなデータセットとシーンに一般化され、リアルタイム メソッドとして最先端の品質を生み出します。品質は、いくつかのトップ オフライン メソッドの品質に近づき、場合によってはそれを上回ります。これらの結果を達成するために、いくつかの重要な概念を新しく組み合わせ、それらを結合してまとまりのある効果的なアルゴリズムにします。半透明のレイヤーを使用してシーンを表す以前の研究を基に、反復学習によるレンダリングとリファイン アプローチを使用してそれらのレイヤーを改善します。フラット レイヤーの代わりに、複雑な深度とオクルージョンのあるシーンを効率的に表現するレイヤー化された深度マップ (LDM) を再構築します。反復更新ステップは、マルチスケールの UNet スタイルのアーキテクチャに組み込まれており、解像度を下げて可能な限り多くの計算を実行します。各更新ステップでは、複数の入力ビューからの情報をより適切に集約するために、特殊な Transformer ベースのネットワーク コンポーネントを使用します。これにより、入力ごとの画像処理の大部分をレイヤー空間ではなく入力画像空間で実行できるようになり、効率がさらに向上します。最後に、再構成とレンダリングのリアルタイム性により、フレームごとに内部 3D ジオメトリを動的に作成および破棄し、ビューごとに LDM を生成します。これらを総合すると、ビュー合成のための斬新で効果的なアルゴリズムが生まれます。広範な評価を通じて、リアルタイム レートで最先端の品質を実現できることを実証しました。

    https://asia.siggraph.org/2024/presentation/?id=papers_683&sess=sess113 より翻訳

    Googleによる発表です。3D シーンを再構築し、NVIDIA A100 で 30fps で 1080p 解像度の新しいビューをレンダリングします
    https://quark-3d.github.io/

    ArXivに置かれた論文を解説しながら朗読してくれる動画を見つけました…！

    普通の動画からDepth Mapが生成でき、元の動画の解像度が粗くても高画質な動画に変換して新しいビューを作り出すことができるという研究です。NVIDIA A100といえば、AICUでもGoogle Colabでよく使うプロ向けGPU環境です。この研究にもNeural View Synthesis、Neural 3D、Neural Renderingといった手法が用いられており、今後、NeRFで有名になったNeural Fields (ニューラル場)の応用が一般化していくことが予想できます。

    End-to-End Hybrid Refractive-Diffractive Lens Design with Differentiable Ray-Wave Model (微分可能な光波モデルを用いた端から端までハイブリッド屈折・回折レンズ設計)

    https://asia.siggraph.org/2024/presentation/?id=papers_689&sess=sess223

    ハイブリッド屈折回折レンズは、屈折レンズの光効率と回折光学素子（DOE）の情報符号化能力を組み合わせたもので、次世代の撮像システムとして大きな可能性を秘めています。しかし、このようなハイブリッド設計を正確にシミュレートすることは一般的に困難であり、特に、十分な精度を持つハイブリッドレンズ用の微分可能な画像形成モデルは存在しません。
    本研究では、光学収差と回折位相変調の両方を正確にシミュレートするための新しいハイブリッド光線追跡および波動伝搬（光線波）モデルを提案します。DOEは、最後の屈折面と画像センサーの間、つまりDOEの位置としてよく使用されるフーリエ平面から離れた場所に配置されます。提案された光線波モデルは完全に微分可能であり、勾配逆伝播法を使用して、屈折回折レンズの最適化と画像再構成ネットワークのエンドツーエンドの共同設計を行うことができます。提案モデルの精度は、シミュレートされた点像分布関数 (PSF) を理論結果と比較することで検証し、また、シミュレーション実験では、Zemax などの市販ソフトウェア パッケージに実装されているソリューションよりも当社のモデルの方が正確であることを示しています。実際の実験を通じて提案モデルの有効性を実証し、収差補正と拡張被写界深度 (EDoF) イメージングの両方で大幅な改善が見られました。提案モデルは、計算イメージング、計算写真、高度な光学設計における幅広いアプリケーションへのさらなる調査のきっかけになると考えています。

    https://asia.siggraph.org/2024/session/?sess=sess223 より翻訳

    光学系設計に革命かも。サウジアラビアのキングアブドラ科学技術大学KAUSTの研究チームが、屈折と回折を組み合わせたハイブリッドレンズの設計を可能にするEnd-to-Endモデルを開発しています。このEnd-to-Endモデル「Ray-Wave Model」は、回折光学素子(DOE)の位置を最適化することで、収差補正と被写界深度拡張を同時に実現しており、スマホカメラやHMDにも応用可能。レンズのサイズがとても小さいのですが、それでもレンズとしてしっかりと機能するようで驚きました。どのような使い心地なのか非常に気になります。

    画像

    おまけ：KAUSTの研究者でDeepLensという研究をされている方もいらっしゃいます。Differentiable ray-tracing and wave-propagation model、という研究のようです。

    https://singer-yang.github.io

    https://github.com/singer-yang/DeepLens

    https://arxiv.org/abs/2406.00834

    MiNNIE: a Mixed Multigrid Method for Real-time Simulation of Nonlinear Near-Incompressible Elastics (MiNNIE：非線形近圧縮性弾性体のリアルタイムシミュレーションのための混合マルチグリッド法)

    https://asia.siggraph.org/2024/presentation/?id=papers_148&sess=sess141 

    画像

    発表セッション：Elastics / Solvers / Neural Physics (弾性／ソルバー／ニューラル物理学)
    https://asia.siggraph.org/2024/?post_type=page&p=32163&sess=sess141 

    本研究では、非線形近圧縮性弾性体のリアルタイムシミュレーションのための、シンプルかつ包括的なフレームワークであるMiNNIEを提案する。線形有限要素法(FEM)の高ポアソン比における一般的な体積ロックの問題を回避するために、MiNNIEを混合FEMフレームワーク上に構築し、さらにマルチグリッドソルバの優れた収束を保証する圧力安定化項を組み込む。私たちの圧力安定化戦略は、準ニュートン法を使用して除去することができる節点変位に有界の影響を注入します。MiNNIEは、修正されたスキニング空間補間スキーム、新しい頂点Vankaスムーザー、およびSchur補数を使用した効率的な密なソルバーを含む、特別に調整されたGPUマルチグリッドソルバーを備えています。MiNNIEは様々な弾性材料モデルをサポートし、リアルタイムでシミュレーションを行い、0.5までのあらゆるポアソン比をサポートすると同時に、大きな変形、要素の反転、自己衝突を処理します。

    キャラクターモデルをリアルタイムで変形させたりアニメーションさせたりするための新たな手法とのことです。キャラクターの動きがスライムのようになるのですが、リアルタイムのシミュレーションという点が興味深いです。

    A Unified MPM Framework supporting Phase-field Models and Elastic-viscoplastic Phase Transition (位相場モデルと弾性-粘塑性相転移をサポートする統合MPMフレームワーク)

    https://asia.siggraph.org/2024/presentation/?id=tog_109&sess=sess144 

    画像

    発表セッション: Fluid Simulation (流体シミュレーション)
    https://asia.siggraph.org/2024/presentation/?id=tog_109&sess=sess144 

    近年、流体、固体、およびそれらの微妙な結合に関する物理ベースのモデリングやシミュレーションのアルゴリズムや手法が、コンピュータアニメーションにおいて急速に普及しています。しかし、流体-固体の相転移に伴う複雑な弾性-粘塑性挙動をモデル化し、同じフレームワーク内でシームレスな相互作用を促進することは、依然として困難な問題である。本稿では、粒状流体、粘塑性液体、弾塑性固体、剛体、および相互作用をシミュレートし、溶解、融解、冷却、膨張、収縮など、現実的な相転移を伴う新しい現象をすべて重くサポートできる実用的な手法を提案する。物理学のレベルでは、粒状、弾性、塑性、粘性材料、液体、非ニュートン流体、およびそれらの滑らかな進化の挙動を記述することができる、統一された位相場駆動EVPモデルを確立するために、フォンミーゼスとドラッカー・プラーガーおよびカム・クレイ降伏モデルを組み合わせ、変形させることを提案する。数値計算レベルでは、Cahn-Hilliard方程式とAllen-Cahn方程式の離散化形式を物質点法によって導出し、界面における境界条件の明示的な取り扱いを避けることで、位相場の進化を効果的に追跡する。応用レベルでは、化学ポテンシャル、密度曲線など、ユーザー定義のスキームを用いて特殊な挙動を制御する新しい学問的戦略を設計する。この新しい統一的アプローチの有効性と汎用性を検証するために、困難なシナリオからなる多数の実験結果を示す。この柔軟で安定性の高いフレームワークは、様々な相間の統一的な取り扱いとシームレスな結合、そして効果的な数値離散化を基盤としており、相転移を多用する新しい現象に対して、芸術的な創造性と指導力をもってアニメーションを作成するというユニークな利点がある。

    粘度の違うものを混ぜるシミュレーションです。個人的にはこういうシミュレーションが大好き! デモ動画では小麦粉に次第に牛乳を混ぜているようなシミュレーション結果が流れていました。このセッションは実際に足を運んでみてさらに詳しい情報を知りたいです。

    https://dl.acm.org/doi/10.1145/3638047

    他にも興味深い発表がいっぱい！

    以上、流体好きが選ぶ、論文7本でした！

    TPFFでは277本ぐらい発表があったので、個別に扱うと驚きやさんみたいになってしまいますが、WOW!は大事ですね。
    他にもこんな発表がありました。

    技術的、もしくは数理としての難しさなどはあると思いますが、やはり絵作りにおいて驚きのある映像をつくる、かつ物理的に正しいと考えられる方法を探求されているところは興味深く、本編の発表にも足を向けていきたいと思います！

    この記事に「いいね！」と思ったら、いいねとフォロー、おすすめをお願いします！
    https://note.com/aicu/   X(Twitter)@AICUai

    ★会期中「これを取材して！！」というリクエストもDMでどうぞ！

    このようなイベントのレポートに興味がある方はこちらもオススメ
    https://ja.aicu.ai/category/events/
    この記事に「いいね！」と思ったら、いいねとフォロー、おすすめをお願いします！

    Originally published at https://note.com on Dec 5, 2024.

  • Houdini使いがレポ! Technical Papers Fast-Forward注目3選！

    Houdini使いがレポ! Technical Papers Fast-Forward注目3選！

    コンピューターグラフィックスとインタラクティブ技術の世界最大の国際会議「ACM SIGGRAPH」が東京国際フォーラムで2024年12月3～6日に開催されています。AICUでは X@AICUai も合わせて総力特集を実施中！
    AICU media ライターのやまぐちです！今年のCG研究の最高峰がたった3時間でつかめるTechnical Papers Fast-Forward (以下TPFF)の紹介記事、後編です。後編では前編より詳細な視点で、Houdinist (=Houdini使い; Side Effects Software社が開発した3DCG制作専用のソフトウェア)で流体シミュレーションが好きな私が気になったTechnical Papersを紹介していきます。

    個人的注目Technical Papers

    こちらがSIGGRAPH Asia 2024公式サイトによるTPFFの情報です。
    Technical Papers Fast-Forward 

    Particle Laden Fluid on Flow Maps (粒子が混ざった流体のフローマップ)

    画像

    ▶︎Particle Laden Fluid on Flow Maps
    こちらは今年のTPFFのトレーラーにて注目Technical Papersにも選ばれていた研究です。この研究では、インク拡散シミュレーションを扱っています。忠実度の高いシミュレーションが、2つの粒子系を結合してシミュレーションを行う手法によって可能になったとのことです。ここではパーティクル(粒子)フローマップという、パーティクルの動きの情報を持ったフローマップシステムが使われています。既存のフローマップの技術では粘性や抗力などの散逸力の扱いに限界がありましたが、本研究はそれらの課題を克服しています。
    発表は、4日目(2024年12月6日)の「Fluid Simulation」のセッションで午前10時45分から行われます。
    筆頭著者はZhiqi Liさん。ジョージア工科大学の所属です。他に3人が同大学から参加している他、ダートマス大学のJinyuan Liuさんも共同執筆者です。

    オイラー方程式、ナビエ・ストークス方程式、ポアソン方程式系などを解いているようですが、難しいことは抜きにして、デモ動画を見てとても興味が湧いたので1番目にピックアップしました。私自身、インクのシミュレーションはいつかやってみたいテーマなので参考になりました。「Fluid Simulation」のセッションでは他にも美しいシミュレーションがたくさん発表されているので個人的必見リストです！

    なお、「Fluid Simulation」のセッションは1日目にもTechnical Communicationの枠の中で発表があります。選ばれている研究はTechnical Papersのものとは異なるので、Fluidが好きな方はこちらもチェックすることをおすすめします。
    https://asia.siggraph.org/2024/session/?sess=sess280 

    Efficient GPU Cloth Simulation with Non-distance Barriers and Subspace Reuse (非距離バリアと部分空間再利用による効率的なGPU布シミュレーション)

    画像

    ▶︎Efficient GPU Cloth Simulation with Non-distance Barriers and Subspace Reuse

    この研究では、衣服のシミュレーションパフォーマンスを向上させる手法が提示されています。高解像度の衣服モデルであっても、すべての三角形ポリゴンがもつれないようにし、キャラクターモデルなどに貫通しないインタラクティブなシミュレーションが実現できるとのことです。
    発表は、3日目(2024年12月5日)の「Keep in Touch / No Touching」のセッションで午前9時34分から行われます。
    筆頭著者はLei Lanさん。ユタ大学コンピューティング学部の研究員です。ユタ大学からは他に3人がこの研究に参加しています。また、UCLA、Institute of software、Chinese Academy of Sciences、Style3D Researchからも研究者が参加しており、合計で9人が論文執筆に関わっています。

    ここから少し個人的な話ですが、私はVTuberが好きで3Dライブや「踊ってみた動画」をよく見るんですよね。そういうとき、普段Houdiniでシミュレーションを扱っている側からすると服や髪の動きが気になるわけです。せっかくなら素晴らしいデザインの衣装でもっと破綻なく動けたらさらに盛り上がりますよね。そういった課題にこの技術を活かせれば、Vtuberやバーチャルタレントたちの魅力がさらに伝わると思います。

    URAvatar: Universal Relightable Gaussian Codec Avatars (URアバター：再照明可能なアバター)

    画像

    ▶︎URAvatar: Universal Relightable Gaussian Codec Avatars から引用

    1つ目に紹介したTechnical Paperと同様に今年のTPFFのトレーラーにて注目Technical Papersに選ばれていた研究です。こちらでは、照明の情報が不明なスマートフォンでのスキャンから、フォトリアルで再照明可能な頭部アバターを作成する新しい手法を提示します。この手法で作られたアバターは、どんな環境でもリアルタイムにアニメーションし照明を当てることが可能です。
    発表は、4日目(2024年12月6日)の「My Name is Carl: Gaussian Humans」のセッションで午前11時43分から行われます。
    筆頭著者のJunxuan Liさんをはじめ、8人の著者全員が Meta社のReality Labs Researchの所属です。この研究には日本人のShunsuke Saitoさんが参加しています。日本語が通じないセッションが多く、質問できるか不安な気持ちがある方にとって、日本人の発表者がいるセッションは気軽に参加できるのではないでしょうか。

    この研究のデモ動画を見て、スマートフォンでの撮影だけでどんな環境の光にもアバターを合わせられるところがとても興味深いと思いました。3DCGソフト上ではなく、スマホで撮影した情報だけで照明が作れるのはすごいですよね。映像のポストプロダクションの過程で役に立ちそうです。

    まとめ

    以上が個人的注目Technical Papersでした。皆さんが気になるものもありましたか？今年のTechnical Papersは数えた限り277本あったので、公式ページをなんとなくスクロールして止まったところを覗いてみるのも新しい発見や興味につながりそうです。また、開催当日になって慌てることのないように、準備はしっかりして参加しましょう！

    SIGGRAPH Asia 2024は東京国際フォーラムにて、2024年12月3日～6日です

    次回もお楽しみに！
    この記事に「いいね！」と思ったら、いいねとフォロー、おすすめをお願いします！
    https://note.com/aicu/   X(Twitter)@AICUai

    このようなイベントのレポートに興味がある方はこちらもオススメ

    https://ja.aicu.ai/category/events

    （執筆：やまぐち）Authored by Yamaguchi

    ◆

    本特集はAICUマガジン1月号に収録される予定です。
    Kindle Unlimitedで無料購読できます

    最新刊はこちら https://j.aicu.ai/MagV6 

    Originally published at https://note.com on May 14, 2024.

     

  • AICUは SIGGRAPH Asia 2024にプログラムスポンサーとして参加中、注目の発表、現地の熱狂・最新情報はこのエントリーと X@AICUai にて！

    「つくる人をつくる」をビジョンに掲げるAICU Inc.は、2024年12月3日から6日にかけて東京国際フォーラムで開催されたSIGGRAPH Asia 2024にプログラムスポンサーとして参加しています。学生ボランティアのユニフォーム協賛、CEO白井暁彦氏による2件の講演、そして関連イベントの企画など、多岐にわたる活動を通してCG分野の発展に貢献させていただいております。
    X@AICUai をフォローお願いいたします！リポストも歓迎です

      AICUの活動内容

      学生ボランティアユニフォームへの協賛

      AICU Inc.は、通常のロゴ掲出に加えて、学生ボランティアのユニフォーム（法被）にロゴを掲出することで、イベント運営を支援しています。世界中から集まる参加者と交流し、イベントを支える学生ボランティアの活動に貢献できたことを光栄に思います。
      https://asia.siggraph.org/2024/about-the-event/supporters-partners/

      画像
      画像

      白井氏による講演

      講演1：「生成AI時代に『つくる人をつくる』国際スタートアップ企業『AICU』活動紹介」

      日時: 2024年12月5日(木) 15:30〜
      会場: 東京国際フォーラム ホールE デジタルハリウッド大学ブース
      内容: AICUの活動紹介、生成AI時代における「つくる人をつくる」国際ビジネスの最前線と取り組み、AICU Japan株式会社の展望について

      https://prtimes.jp/main/html/rd/p/000002462.000000496.html

      画像

      講演2：SIGGRAPH ASIA 2024 Educator’s Forum「Computer Graphics Education in Japan: Current Status and Future Challenges」


      日時: 2024年12月6日(金) 14:30 – 15:30 (JST)
      場所: 東京国際フォーラム G棟5階 G502
      内容: 日本のCG教育の現状と未来の課題、ディープラーニングや生成AIの教育への導入について、国内外の専門家と議論を通して共有します。

      https://asia.siggraph.org/2024/ja/presentation/?id=educur_101&sess=sess299

      登壇者: 伊藤貴之氏 (お茶の水女子大学)、藤代一成氏 (慶應義塾大学)、宮田一乘氏 (北陸先端科学技術大学院大学)、Barbara Mones氏 (ワシントン大学)、白井暁彦氏 (デジタルハリウッド大学 / AICU Inc.)、髙橋誠史氏 (株式会社バンダイナムコスタジオ)

      メディア活動

      メディアとして幅広いクリエイターに向けてSIGGRAPHの熱狂を共有

      AICUのメディア部門である「AICU media」およびAICU Japan株式会社は、SIGGRAPH ASIA 2024を日本市場に向けて X@AICUai および日本最大のブログサイトnote ( note.com/aicu )にて、エキサイティングなCG・インタラクティブ技術のトッププレイヤーが集まる現地の熱狂を世界各地に伝える特集を組んでお伝えしています。

      画像

      従来のメディアとは異なり、Xでのライブ感あふれる現地実況や、注目の研究者・企業の発信などをカジュアルに共有し「つくる人をつくる」、クリエイティブAIをわかりやすく伝えるツイートを心がけております。
      「現地に行きたくてもいけない」という方々に向けて動画も積極的にお送りします。
      X@AICUai をフォローお願いいたします！リポストも歓迎です
      （メディアパスおよび撮影許可を取得しております）

      SIGGRAPH ASIA 2024関連エントリーはこちら

      画像

      SIGGRAPH Asia 2024特集(1) 最先端のCG研究を3時間で！【Technical Papers Fast-Forward】全ジャンル予習リスト #SIGGRAPHAsia2024

      SIGGRAPH Asia 2024特集(1) 最先端のCG研究を3時間で！【Technical Papers Fast-Forward】全ジャンル予習リスト

      また、月刊誌「AICUマガジン Vol.8」でも特集記事を掲載予定です。

      https://amzn.to/4eRp0mw

      SIGGRAPH ASIA 2024における生成AI・クリエイティブAIについての情報を伝える専門誌として、速報記事を各種オンラインメディアにて「クリエイター視点で」発信するとともに、書籍媒体では月刊誌「AICUマガジン Vol.8」（2024年1月発売）にて特集予定です。東京圏のイベントに参加できる層だけでなく、幅広い「つくる人をつくる」ため、Kindle Unlimitedで無料配信を行っているだけなく、プレミアムカラー印刷版でもお届けしています（ https://amzn.to/4eRp0mw ）。

      AICU magazine バックナンバー Kindle売場 https://j.aicu.ai/kindle

      イベント企画

      SIGGRAPH終了後の土曜日に参加者交流イベントを開催

      「SIGGRAPHには参加してみたいけど、時間的に難しい」
      「分野的には関係があるけど、会社が費用を負担してくれない」
      「英語でのコミュニケーションは難しいかも……」
      といった未来の「つくる人をつくる」ために、SIGGRAPH ASIA 2024終了後の土曜日に2つの参加交流イベントを開催します。

      画像

      [AiBC-DEF]国際クリエイティブAIビジネスコンソーシアム – 開発者交流フォーラム

      [CAiBC-DEF]国際Creative AIビジネスコンソーシアム – 開発者交流フォーラム開催！(2024/12/7)

      2024年12月7日(土) 10～14時
      [CAiBC-DEF]国際クリエイティブAIビジネスコンソーシアム – 開発者交流フォーラム開催！(2024/12/7) #SIGGRAPHAsia2024 応援企画　

      メタバース、エンタテイメント、アニメ・ゲームなどの分野の国際的なプレイヤーを集め、SIGGRAPH ASIA 2024での体験を共有し、今後のフォローアップを行うイベントです（主要言語は英語）。

      詳細・予約サイト(Eventbrite) https://cabc24.eventbrite.com/

      画像

      2024年12月14日(土)「生成AI忘年会：AIクリエイター勉強会」

      東京科学大学（旧・東京工業大学）INDESTに入居しているAICU JapanとBlendAI共同開催。

      「つくる人をつくる」AICUファン感謝祭！2つのワークショップイベントを開催します

      13:00-15:00 AITuberを作ってみよう
      15:00〜18:00AIアートバトル感想戦
      18:00〜20:30懇親会・ピッチイベント
      参加無料・参加登録必須（申込締切は2024年12月7日を予定）
      [物理参加の申込みはこちら]　https://techplay.jp/event/966307

      https://techplay.jp/event/966307

      https://techplay.jp/event/962444

      まとめ

      AICU Inc.は、SIGGRAPH Asia 2024への様々な活動を通して、「つくる人をつくる」というビジョンを体現していきます。学生ボランティアへの支援、CEOによる講演、メディア発信、関連イベントの企画など、多角的なアプローチでCG業界の発展に貢献していきたいと考えています。AICUの今後の活動にも注目よろしくお願いします。

      【関連PR】
      「つくる人をつくる」AICU media
      Coloso「生成AIクリエイティブ AICU」シリーズ
      ■「超入門：Stable Diffusionではじめる画像生成AI」https://j.aicu.ai/coloso1
      ■「初級者：広告企画から動画制作までのプロセス」 https://j.aicu.ai/coloso2
      ■「ComfyUIマスター：カスタムノードとアプリ開発」 https://j.aicu.ai/coloso3

      https://j.aicu.ai/coloso3

      Originally published at https://note.com on Dec 4, 2024.

    1. [ComfyMaster37] SDXL＋AnimateDiff＋IPAdapterで参照画像から動画を生成しよう！

      前回のAnimateDiffによるtext-to-video(t2v)での生成方法に興味を持った方は、さらに一歩進んだ動画生成を試してみませんか？

      こんにちわ、AICU media編集部です。
      「ComfyUI マスターガイド」第37回目になります。
      本記事では、AnimateDiffにIPAdapterを組み合わせることで、ただのテキストからの動画生成を超え、画像の特徴を反映させたより一貫性のあるアニメーションを作成する方法を紹介します。特定のビジュアルテーマやキャラクターを保持したまま、ダイナミックな動画を生成できるこの手法は、クリエイティブなプロジェクトにおいて強力なツールになるはずです。IPAdapterを活用して、これまでにない精度と表現力を持つ動画制作に挑戦してみましょう！

      本連載の初回はこちら。前回はこちら、目次はこちらです。

      [ComfyMaster36] 動画から新しい動画を生成しよう！  #ComfyUI

      [ComfyMaster36] 動画から新しい動画を生成しよう！

        1. 概要

        本記事では、AnimateDiffとIP Adapterを組み合わせて、text-to-video(t2v)での動画生成を行う方法を解説します。IP Adapterは、画像の特徴を抽出して生成プロセスに反映させる機能を持ち、これにより元の画像を参照しながら、一貫性のあるアニメーションを作成できます。従来のt2vでの生成に対して、IPAdapterを使うことで、より具体的で視覚的なテーマに沿った動画を作ることが可能です。

        このワークフローでは、複数のカスタムノードやモデルをインストールし、それらを適切に組み合わせて動画生成を行います。具体的には、RealVisXLやSDXL Motion Modelを使用してサンプリング効率を向上させ、CLIP Visionを通じて画像の特徴を抽出し、IP Adapterでそれらを動画生成に反映させます。

        2. カスタムノードのインストール

        以下のカスタムノードを使用するため、ComfyUI Managerからインストールしてください。

        ComfyUI-AnimateDiff-Evolved

        ComfyUI-AnimateDiff-Evolvedは、Stable Diffusionモデルを拡張して動画生成を可能にするカスタムノードです。元のAnimateDiffを進化させたバージョンで、動画生成のためのモーションモジュールと高度なサンプリング技術を組み込んでいます。

        https://github.com/Kosinkadink/ComfyUI-AnimateDiff-Evolved

        ComfyUI-VideoHelperSuite

        ComfyUI-VideoHelperSuiteは、動画生成を支援するためのカスタムノードです。動画の編集や加工を容易にする機能を提供します。今回は、一連の画像を動画にして保存するノードを使用するために必要となります。

        https://github.com/Kosinkadink/ComfyUI-VideoHelperSuite

        ComfyUI IPAdapter plus

        ComfyUI IPAdapter Plusは、ComfyUI上でのIP Adapterの使用をサポートするカスタムノードで、画像をプロンプトとして使用する機能を提供します。キャラクター、スタイル、構図の転写や高度な一括処理が可能で、動画や漫画の生成時に一貫したビジュアルテーマを維持するために使用されます。

        https://github.com/cubiq/ComfyUI_IPAdapter_plus

        3. モデルのインストール

        RealVisXL V5.0 Lightning

        今回は、RealVisXLのLightningバージョンを使用します。Lightningバージョンでは、サンプリングのステップ数を4-6回に抑えることができます。生成量の多いAnimateDiffでは、TurboやLightningなどの数ステップで生成完了するモデルを選ぶと良いでしょう。
        以下のリンクよりモデルをダウンロードし、「ComfyUI/models/checkpoints」フォルダに格納してください。

        https://huggingface.co/SG161222/RealVisXL_V5.0_Lightning/blob/main/RealVisXL_V5.0_Lightning_fp16.safetensors

        SDXL Motion Model

        今回は、SDXLのモーションモジュールとして、「Hotshot-XL」を使用します。Hotshot-XLは、コンテクスト長が8フレームしかありませんが、AnimateDiff-SDXLより品質が良いためです。以下のモデルをダウンロードし、「ComfyUI/custom_nodes/ComfyUI-AnimateDiff-Evolved/models」フォルダに格納してください。

        https://huggingface.co/hotshotco/Hotshot-XL/blob/main/hsxl_temporal_layers.f16.safetensors

        CLIP Vision

        IP Adapterを使用するためにCLIP Visionを使用します。以下のリンクよりモデルをダウンロードし、「ComfyUI/models/clip_vision」フォルダに格納してください。

        CLIP Visionは画像を入力として受け取り、特徴を抽出してトークンに変換します。これらのトークンは、テキストプロンプトと組み合わせて画像生成に使用されます。

        https://huggingface.co/h94/IP-Adapter/blob/main/models/image_encoder/model.safetensors

        IP Adapter

        CLIP Visionで抽出した画像の特徴を画像生成モデルに組み込むためにIP Adapterのモデルが必要になります。以下のリンクよりモデルをダウンロードし、「ComfyUI/models/ipadapter」フォルダに格納してください。

        https://huggingface.co/h94/IP-Adapter/blob/main/sdxl_models/ip-adapter-plus_sdxl_vit-h.safetensors

        4. 使用素材

        今回は、女性の画像と風景の画像を使用します。それぞれ以下よりダウンロードしてください。

        女性の画像

        画像

        https://note.com/api/v2/attachments/download/6e510797a934edbe4ae95dd091d08571

        風景の画像

        画像

        https://note.com/api/v2/attachments/download/3608f75a8949f1124d304471accbed38

        5. ワークフローの解説

        以下がワークフローの全体像になります。このワークフローは、入力画像の特徴を活かしながらアニメーション動画を生成する高度な例です。IP-Adapterを使用することで、入力画像の視覚的特徴（この場合、若い日本人女性の外見）を生成プロセスに組み込みます。AnimateDiffとの組み合わせにより、入力画像に基づいた一貫性のあるアニメーション動画が生成されます。

        画像

        ワークフローは、文末のリンクよりダウンロード可能です。

        このワークフローの構造をフローチャートで表現すると、以下のようになります。

        画像

        以下に、このワークフローの主要な部分とその機能を詳細に説明します。

        1. 入力画像とモデルの準備
          • Load Imageノード: 「girl_01.jpg」という画像ファイルを読み込みます。
          • IPAdapterModelLoader ノード: 「ip-adapter-plus_sdxl_vit-h.safetensors」モデルを読み込みます。
          • CLIPVisionLoader ノード: 「CLIP-ViT-H-14-laion2B-s32B-b79K.safetensors」を読み込み、画像の特徴を抽出します。
          • CheckpointLoaderSimple ノード: 「RealVisXL_V5.0_Lightning_fp16.safetensors」モデルを読み込みます。
        2. AnimateDiffの設定
          • ADE_AnimateDiffLoaderGen1 ノード: 「hsxl_temporal_layers.f16.safetensors」 AnimateDiffモデルを適用し、「autoselect」モードを使用します。
          • ADE_StandardUniformViewOptions ノード: AnimateDiffのビューオプションを設定します（16フレーム、2キーフレーム）。
          • ADE_ViewsOnlyContextOptions ノード: ビューオプションをコンテキストオプションに変換します。
        3. サンプリング設定
          • FreeInit Iteration Optionsノード: FreeInit samplingのパラメータを設定します。イテレーション回数が多いほど、生成される動画の詳細度や一貫性が高まります。今回は、最低回数の2回だけイテレーション処理を行います。
          • Sample Settingsノード: AnimateDiffのサンプリング設定を構成します（FreeNoiseモード）。
        4. IP-Adapter処理
          • IPAdapterAdvanced ノード: 入力画像の特徴を抽出し、生成プロセスに組み込みます。重み1.0、「ease in」ブレンドモード、「concat」適用方法を使用。
        5. プロンプト処理
          • ポジティブプロンプト: 「Japanese young girl, casual dress, black hair, bob cut, upper body, looking at view, green background」
          • ネガティブプロンプト: 「(worst quality, low quality, illustration, 3d, 2d, painting, cartoons, sketch), open mouth,」
        6. 画像生成
          • KSampler ノード
            • Seed: 118362085301702
            • Steps: 4
            • CFG Scale: 2.0
            • Sampler: dpmpp_sde
            • Scheduler: karras
            • Denoise: 1.0
        7. 出力処理
          • VAE Decode ノード: 生成された潜在表現を実際の画像にデコードします。
          • VHS_VideoCombine ノード: 生成された画像シーケンスを16fpsの動画に変換し、「AnimateDiff」というプレフィックスで保存します。

        6. ワークフローの実行

        それでは、ワークフローを実行してみましょう。女性の画像を参照した場合と、風景の画像を参照した場合、それぞれの結果を確認してみます。

        女性の画像を参照しての動画生成

        まずは、Load Imageノードに女性の画像を設定し、以下のプロンプトをポジティブプロンプトに入力し、実行してみます。

        Japanese young girl, casual dress, black hair, bob cut, upper body, looking at view, dynamic expressions, green background

        実行結果は以下になります。参照元画像の特徴を捉えて生成されていることが分かります。しかし、あくまで参照なので、参照元画像のままで生成されていません。また、参照により動きがあまり変化しない特徴があります。

        画像

        IPAdapterの強度を下げれば、動きの変化が強くなりますが、その分参照元画像に似なくなります。以下は、IPAdapterの強度を0.5に下げて生成した動画です。

        画像

        風景画像を参照しての動画生成

        次に風景の画像を参照し、そこから動画生成したいと思います。Load Imageノードに風景の画像を設定し、以下のプロンプトをポジティブプロンプトに入力し、実行してみます。

        wide landscape view, sunset, golden hour, large clouds, pink sky, ocean in background, water reflections, distant mountains, lush green trees, flowers in foreground, gentle breeze, glowing sunlight, ethereal atmosphere, serene, soft lighting, cinematic composition, high detail, vivid colors, dreamy, fantasy setting

        以下が生成結果です。参照元画像に近い状態で動画生成されています。先ほどの女性と同様、参照元画像に引っ張られるため、動きは小さいです。

        画像

        IPAdapterを使用しない場合は、以下のようにさらに躍動的な動画になります。

        画像

        7. まとめ

        今回の記事では、AnimateDiffとIPAdapterを組み合わせたtext-to-video生成の手法を解説しました。IPAdapterを活用することで、従来の動画生成におけるテキストプロンプトだけでなく、参照画像の特徴を反映した一貫性のあるアニメーション動画を作成することができます。これにより、キャラクターやスタイル、構図の再現が容易になり、より具体的で表現豊かな動画制作が可能になります。

        記事内で紹介した手順を参考に、カスタムノードのインストールやモデルの準備を行い、IPAdapterの設定を適切に調整することで、プロジェクトに合わせた多彩なアニメーションを生成することができるでしょう。今回の手法は、特にクリエイティブな作品や映像制作において、大きな可能性を秘めています。

        今後もこの技術を活用し、自分だけのユニークなアニメーション動画を作成してみてください。次のステップでは、さらに高度なカスタマイズや他のツールとの組み合わせを試して、より洗練された映像表現を目指していきましょう。

        次回は、AnimateDiffでvideo-to-video(v2v)をする方法を紹介します。乞うご期待！
        X(Twitter)@AICUai もフォローよろしくお願いいたします！

        画像生成AI「ComfyUI」マスターPlan

        画像生成AI「Stable Diffusion」特に「ComfyUI」を中心としたプロ向け映像制作・次世代の画像生成を学びたい方に向けたプランです。最新・実用的な記事を優先して、ゼロから学ぶ「ComfyUI」マガジンからまとめて購読できます。 メンバーシップ掲示板を使った質問も歓迎です。

        • メンバー限定の会員証が発行されます
        • 活動期間に応じたバッジを表示
        • メンバー限定掲示板を閲覧できます
        • メンバー特典記事を閲覧できます
        • メンバー特典マガジンを閲覧できます
        • 動画資料やworkflowといった資料への優先アクセスも予定

        ゼロから学ぶ「ComfyUI」マガジン

        https://note.com/aicu/m/md2f2e57c0f3c

        マガジン単体の販売は1件あたり500円を予定しております。メンバーシップ参加のほうがお得です！というのもメンバーシップ参加者にはもれなく「AICU Creator Union」へのDiscordリンクをお伝えし、メンバーオンリー掲示板の利用が可能になるだけでなく、さまざまな交流情報や、ComfyUIを学習するためのメンバー向け情報をお伝えしています。

        https://note.com/aicu/membership/boards/61ab0aa9374e/posts/db2f06cd3487?from=self

        もちろん、初月は無料でお試しいただけます！
        毎日新鮮で確かな情報が配信されるAICUメンバーシップ。
        退会率はとても低く、みなさまにご満足いただいております。
        ✨️オトクなメンバーシップについての詳細はこちら

        [新連載] ここからはじめる「ComfyUIマスターガイド」

        この記事の続きはこちらから https://note.com/aicu/n/na46215301e73

        Originally published at https://note.com on Dec 2, 2024.

      1. AICU Magazine Vol.6 特集「エンタテイメントxAI」プレミアムカラー・ペーパーバック版発売開始

        AICU Magazine Vol.6 「Entertainment x AI」
        プレミアムカラー・ペーパーバック版発売開始です！
        https://amzn.to/3Zao1Ii

        「つくる人をつくる・わかるAIを伝える」というコンセプトを貫き通す、すべての人向けクリエイティブAI専門誌「AICUマガジン」第6号。いままでのA5版からさらにスタイリッシュなB5版プレミアムカラーでの提供になりました。

        画像
        編集部に届いたばかりの印刷版です

        表紙はAI界の期待の新人「ガンマミィ」

        裏表紙企画はペーパーバック版だけのお楽しみ！

        画像
        ペーパーバック版だけの裏表紙企画です。美麗な印刷をお楽しみください。

        「つくる人をつくる」あなたをアップデートするクリエイティブAIエンターテイメントマガジン「AICU Magazine Vol.6」特集は「Entertainment x AI」。
        2024年9月26～29日に開催され、過去最多出展者数を記録した東京ゲームショウ（TGS2024）から、感情を分析するスマートウォッチ「OVOMIND」、新型モーションキャプチャー「NOKOV」、そしてレトロなガンシューティングゲームの機械学習技術によるリノベーション「タイムクライシス」、キャラクターデザイン、チャットボット、科学者の先端研究、そして、ゲームAIの研究開発を長年リードされてきた、三宅陽一郎氏をゲストライターにお迎えして構成。

        https://amzn.to/3Zao1Ii

        プレミアムカラーで拡充されたコンテンツ！

        AICU Magazine Vol.6「Entertainment x AI」
        Creative AI Trends – 2024 年 10 月 @AICUai

        特集: Entertainment x AI

        感情がゲームを動かす「OVOMIND」 @Ovomind1 @yann_frachi
        ついにDK1のプレオーダー開始だそうです

        https://ovomind.com/

        SIGGRAPH ASIA 2024でも展示があるらしい
        融合型モーションキャプチャー「NOKOV」 @NokovMocap

        懐かしの「タイムクライシス」AI 技術で再誕!? @tasseidenki

        先端研究が挑む「AI 時代の創作」 @sciportalJST @m_morise @kazmiyata @Jesusxie

        謝先生の研究、明日からのSIGGRAPH Asia 2024 Technical Communicationsに甲骨文字スタイルの画像生成AI「DiffOBI」が採択されたそうです
        画像入力から甲骨文字風の画像を生成する新手法
        人類最古の甲骨文字の特徴を活かしつつ，現代の物体を甲骨文字風に変換できます！



        特別寄稿「著作を振り返って」三宅陽一郎（ゲーム AI 開発者・研究者） @miyayou
        こちらはnote版です

        寄稿「著作を振り返って」三宅陽一郎

        サクリ！AIツール
        期間限定無料「ガンマミィ・ジェネレーター」を提供開始！

        全力肯定彼氏くん [LuC4] に訪れたサービス開始以来の最大の危機

        日本語で魔法のように GAS 開発がはかどる「GASSISTANT」 @daigo_3_8

        みんな知ってる!? Adobe に搭載されている AI 機能 100

        Stable Assistant を知らないの？ 無料トライアルレポート @StabilityAI

        イベントレポート
        ComfyUI を開発する「Comfy Org」が渋谷でミートアップを開催 @ComfyUI
        「CGWORLD vol.315」画像生成 AI による表紙メイキング大公開 @CGWjp @MijoSugiyama @kahofujiyoshi

        画像

        AICU×BlendAI ガンマミィ誕生記念イラストコンテスト結果発表！ @BlendAIjp @tomomaga358 @InsBow @kamitashiro_AI

        画像

        ガンマミィジェネレーター

        期間限定無料「ガンマミィ・ジェネレーター」を提供開始！

        で すごい作品を製作された

        森にえさん @kamitashiro_AI!! 裏表紙に加えて #デルタもん とテクニックの裏側を解説してくださいました

        ありがとうございます！

        連載漫画: ウワサの大型新人 (2) By わらさん @wara_hirono

        画像

        連載漫画: ウワサの大型新人 (2) By わらさん @wara_hirono

        プレミアムカラーで展開される
        デルタもんとガンマミィの尊い展開に…

        目が…目が…！

        次号はどうなっていくのでしょうか！？

        編集長と Gemini たん: 商用で画像生成 AI をしていないとできない体験

        編集部だより「はるしね〜しょん」

        「GASSISTANT」開発者横田大伍さんより招待コードと100 クレジットをプレゼント！先着300 名までこのクーポンを使用可能です。

        •「ガンマミィ・ジェネレーター」無償試用期間延長中です
        https://gammamygenerator.aicu.ai/

        •明日から開催 SIGGRAPH ASIA 2024 10% OFF!!

        https://registration.asia.siggraph.org/terms_jpn.html

        最後のお会計のタイミングで、「SA24AICU10 」入力することで、10 ％ OFF となります。

         AICU Creators Union Discord 「つくる人をつくる」を本気でやりたいあなたへ！ Discord の招待URLも掲載されています！


        本書は2024年11月25日発売のB5新装版で185ページです。約1ヶ月の校正期間を持ちながらePub版を更新し、プレミアムカラー・ペーパーバック版としてより品質高く幅広い読者に「わかるAIを届ける」ためにお求めやすい価格となりました。ページ番号が残る、刊行物や資料として、生成AIの歴史の1ページとして図書館や贈答用にお買い求めいただければ幸いです。

        Kindle Unlimitedで無料のKindle版はこちらです。

        AICUマガジン Vol.6はエンタメ技術とAI特集！

        以上、AICU営業部よりPRでした！

        Originally published at https://note.com on Dec 2, 2024.

      2. AI時代の先端クリエイターが語る「アルバムを整理する方がAIや作品にとって大事」とは？

        デジタルハリウッド株式会社主催の近未来教育フォーラム2024が、”The Great Transition〜ポストAIは来ない〜”というテーマで開催されました。本レポートでは、ブレイクアウトセッションの一つ、「クリエイティブ教育に生成AIは必要か？」の内容を詳しくお伝えします。このセッションでは、現役のAIアーティストである小泉薫央氏を迎え、生成AIクリエイティブ最先端と、教育の未来について議論が深められました。

        https://www.dhw.co.jp/forum

        デジタルハリウッド株式会社は、2024年11月30日(土)、近未来教育フォーラム2024 を開催しました。今年のテーマは 『The Great Transition〜ポストAIは来ない〜』。AI時代を生き抜くための教育のあり方について、豪華なゲストスピーカーと共に探究しており、「つくる人をつくる」をビジョンとするAICU編集部でも複数回の特集で紹介していきたいと思います。

        【近未来教育フォーラム2024】11月30日に開催｜安野貴博氏らによるキーノートの他、生成AIで変わりゆく教育現場のリアルに迫るブレイクアウトセッションを開催

        ブレイクアウトセッション：多様なテーマで教育の未来を考える

        キーノートに先立ち、4つのテーマでブレイクアウトセッションが開催されました。

        • Session1: 教育現場における生成AIコンテンツと著作権法 (上原伸一氏)
        • Session2: クリエイティブ教育に生成AIは必要か？ (小泉薫央氏)
        • Session3: DXハイスクール2年目、なにを企画しますか？ (鹿野利春氏、小笠原健二氏)
        • Session4: AI時代における人材確保と働き方改革 (村田弘美氏)
        教育現場における生成AIコンテンツと著作権法

        『クリエイティブ教育に生成AIは必要か？』

        画像

        近年、生成AIの活用が注目されていますが、「クリエイターと生成AIに関する意識調査2024」では、「生成AIを積極的に活用したい」と答えた人は33.4%にとどまり、可能性を理解しつつも導入に迷う現場の声が伺えます。そこで今回は、現役映像クリエイターの小泉薫央氏をお招きし、ビジネスの現場で生成AIをどのように活用しているか、具体的な事例とともにご紹介いただきます。

        https://dhw2024educationforum.peatix.com

        画像

        【小泉薫央 (Takio Koizumi)】デジタルハリウッド大学大学院を卒業後、エフェクトアーティストとしてマーザ・アニメーションプラネットに入社、小島プロダクション（当時）に転職し『メタルギアソリッドV』の開発に参加。その後、マーザ・アニメーションプラネットに戻り10年間、映画・ゲーム・アニメ制作に従事。現在はSUPER PRIMEにAIアーティストとして所属し、AIと共に作品制作、表現研究を行っている。

        X@takion0105

        画像

        モデレーターは石川大樹先生（デジタルハリウッド大学大学院 特任准教授）

        いしかわ・ひろき●拓殖大学外国語学部スペイン語学科卒業後、大手キー局にて報道編集・ストリーミング配信・番組制作を担当。2004年デジタルハリウッド株式会社入社以来、数多くの新規事業に携わる。 その経験を活かし、現在は映像教材や教育メディアを開発。またeラーニング教育手法、動画を活用した学ばせ方を研究している。
        デジタルハリウッド株式会社 まなびメディア事業部 まなびメディアグループチーフ 教材開発責任者
        デジタル表現基礎A・B・C（アダプティブラーニング）

        https://gs.dhw.ac.jp/faculty/hiroki-ishikawa

        ブレイクアウトセッションで、特に満席率が高く注目されたセッションでした。

        画像
        画像

        生成AIを業務に使うようになった背景は

        画像

        小泉氏は子どもの頃から、SF作品やゲーム、そしてパソコンに夢中になる時間を過ごしてきました。それらを通じて、CGやAI、そして最新のテクノロジーに強い関心を抱くようになります。特に、『メタルギアソリッド』の制作に携わることを目標に掲げ、CG業界を目指す決意をしました。

        画像

        その夢を追いかけるため、小泉氏はデジタルハリウッド大学に進学。在学中は、CGの基礎から応用まで幅広く学び、技術を磨く日々を送りました。そして大学院を修了後、エフェクトアーティストとしてCG業界に飛び込み、さまざまな作品制作に携わりながら経験を積んでいきました。

        そんな小泉氏のキャリアにおける大きな転機となったのが2014年でした。この年、Googleが発表した生成AI技術「DeepDream」と出会います。初めてその生成ビジュアルを目にしたとき、その衝撃は計り知れないものでした。この出会いをきっかけに、小泉氏は生成AIという新たな領域に本格的に関心を抱き始めます。

        さらに2021年には、VQGAN+CLIPやDALL-Eといった技術が登場し、プロンプトから直接画像を生成するという革新的な可能性が示されました。この時期、小泉氏はデータセットや学習プロセスの重要性を深く認識し、生成AI活用のための知識を積極的に学んでいきました。

        2022年には、Stable Diffusion、ChatGPT、Midjourneyといった次世代AIツールが登場。生成AIの実用化が一気に加速する中、小泉氏もこれらのツールを活用しながら、独自のデータセットを用いてAIモデルを制作するなど、スキルを実践的に磨いていきました。

        そして2023年、小泉氏は生成AIがクリエイティブ業界で重要な役割を果たすようになったことを実感します。この年、「生成AIスキル」や「ディレクションスキル」の重要性を強く感じ、さらなる成長と挑戦を目指して転職を決意しました。

        小泉氏のこれまでの歩みを振り返ると、技術の進化に触れるたびに視野を広げ、新たなステージへと挑戦を続けてきたことがわかります。生成AIの可能性を信じ、その力を最大限に活用することで、さらなる未来を切り開いていく姿勢を持ち続けています。

        具体的にどう生成AIを活用し、クライアントワークを行っていますか？

        画像

        Learning Toon

        画像

        NTTドコモグループの新規事業創出プログラム「docomo STARTUP TM」からスピンアウトした生成AI系スタートアップ企業SUPERNOVA社の、生成AI技術を活用した縦読み学習マンガサービス「Learning Toon®（読み：ラーニング・トゥーン）」に関わるお仕事紹介がありました。

        https://startup.docomo.ne.jp/service/learningtoon

        ★小泉氏から共有いただいた事例は数多く、ビジュアルも含めてお話いただいたのですが、クライアントワークのため、本稿ではごく一部を厳選してお届けします。

        プロンプト自動生成＋クオリティチェックAIシステム

        画像

        バーチャル試着やinpaintなどの別のワークフローではSAM2を使ったシステムを開発しているそうです。

        【編集部補足】ComfyUIでのSAM2によるセグメンテーションの例を紹介

        動画も高精度に！ComfyUIとSegment Anything Model 2（SAM 2）でセグメンテーションをマスターしよう

        自由が丘南口商店街 ポスター制作

        画像
        画像

        デジタルハリウッド校友会

        キービジュアル、ロゴの製作。

        画像

        デジタルハリウッド校友会 – Digital Hollywood Alumni Association

        きちんとCGの進化を学んだからこそできる、クライアント企業への説明。

        画像

        モデレーターからの質問として「生成AIを活用していることをクライアントの企業は知っていますか？また生成AI作品に対してセンシティブな企業もあるかと思いますが、どのように企業と折り合いをつけたのか？」という問い掛けが投げられました。

        小泉氏は生成AIを活用していることを、クライアント企業に丁寧に説明しているそうです。

        画像

        これだけの資料を説明しているそうです。
        （あえて読めない解像度なのがプロですね！）

        また質疑応答では、モデレーターから教育機関における生成AI教育の必要性について質問が投げかけられました。

        画像

        生成AI活用が必須の時代、教育機関では何を教える必要があるか？

        画像

        モデレーターからの質問として「Q: クリエイティブ業界において生成AIを活用することはマストになると思いますか？もしも生成AI活用がマストな場合、生成AIを活用するクリエイターになるために、学校教育機関では何を教える必要があると思いますか？」という問い掛けがありました。

        小泉氏は、多くの企業において、生成AIを「最終アウトプットには使わないが、カンプ（下書き）として活用している」と述べました。「今後は大手、例えばAdobeなどの主要ツールに組み込まれ、より一般的になっていく。またアップスケール機能のように当たり前のように活用されていく」とも明言しています。

        大学では、一連の流れ、データセットを作って、学習などをやる事が大事で、追加学習などであれば数枚から数十枚でこれぐらいの画像が作れるということ、人間として何が必要になってくるのか、そして歴史などを踏まえる、「近未来が見える教育が大事だ」と強調しました。

        若者にもある「AIを嫌う、避ける風潮」に対して

        画像

        モデレーターからの突っ込んだ質問として「若手クリエイターからは『AIを嫌う、避ける風潮』もあるが、どう思いますか？また、それに対して教育機関はどうあるべきだと思いますか？」という問いが投げられました。

        「AIを触ってみて、自分が納得できない…。
        　そこを納得できるところまで持っていくことが大事」

        小泉氏は自身の経験も踏まえ、「AIを嫌う、避ける感覚はすごく大事。一回自分で考えることが重要」と答えました。若手クリエイターの「AIを嫌う、避ける風湖」については『自分も悩んだ。その感覚がすごく大事。一回自分で考えることが大事』と答えました。
        印象深い発言としては（あれこれ発言するよりも）『自分のアルバムを整理する方がAIや自分の作品にとっても、とても大事』という点でした。機械学習という意味でも、ポートフォリオの整理という意味でも、自分の個性を磨き上げるという意味でも、非常に興味深い視点だと思います。

        モデレーターの石川氏も「まずは体感、納得するところまで学んでいく」ことが重要だと述べ、小泉氏の意見を支持しました。小泉氏はさらに、「大体のSF作品では（人間とAIの共存について）揉めている」とユーモラスに語りつつ、「触ってみて、自分が納得できないそこを納得できるところまで持っていくことが大事」と締めくくりました。

        画像

        HALを活用したAI学習と共創の歩み

        小泉氏は、3年間にわたり約530万枚の画像を収集し、それらを活用して完全に独自の学習モデルを制作してきました。この膨大なデータセットには、幼少期からの写真や記憶を象徴する画像、CGエフェクト素材、そして生成AIによって生み出された作品など、さまざまな種類のデータが含まれています。これらのデータを基盤とすることで、AIの学習プロセスにおいて豊かなパーソナルな情報を提供しています。

        また、近年ではCreative Commonsの権利的に問題のないデータセット「Common Catalog」を活用することで、さらなるモデルの精度向上と柔軟な活用を可能にしました。この取り組みによって、AIが社会的な責任を果たしながら成長する道を模索しています。

        この学習プロセスを経て誕生したAIモデルに「HAL」という名前を付け、小泉氏はHALを単なるツールとしてではなく、共創のパートナーとして扱っています。HALは小泉氏自身のパーソナルな情報や記憶を学び、それをもとに新たなクリエイティブな提案や成果を生み出しています。

        写真や記憶、CG素材、そして生成された作品のすべてが、HALの学習に不可欠な要素となっています。これにより、HALは個人的な要素と創造性を兼ね備えたモデルとして進化を続け、クリエイティブな共創を可能にしています。

        小泉氏にとって、この取り組みは単なる技術開発に留まらず、自身の過去や記憶を振り返りながら未来を創造するプロセスそのものなのです。これからもHALと共に、さらなる可能性を模索していくことでしょう。

        小泉氏の「Elemental Anima」はそのような未来を含めて、継続されている発信活動のようです。興味を持って見守っていきたいと思います。

        まとめ

        生成AIはクリエイティブ業界の未来を大きく変える可能性を秘めており、教育機関もその変化に対応していく必要があります。本セッションでは、AIツールを効果的に活用するだけでなく、AI時代において人間に何が求められるのかを深く考える必要性が示唆されました。「まずは体感し、納得するまで学ぶ」という小泉氏と石川氏の言葉は、生成AI時代に求められる学習姿勢を端的に表していると言えるでしょう。生成AIに対する漠然とした不安や抵抗感を乗り越え、積極的に活用していくためには、教育機関における適切な指導と、学習者自身の主体的な探求が不可欠です。

        ◆

        AI時代に求められる教育とは何か？

        AIの急速な発展は、私たちの社会、経済、生活を劇的に変化させています。そして、この変化は「The Great Transition」と呼ばれる大きな転換期を迎えていると言えるでしょう。デジタルハリウッド創立者の杉山知之氏は、近未来教育フォーラムにおけるテーマを「ポストAI時代は到来しない」と設定し、AI技術の進化が継続する未来において、私たちがどのように文化を築き、社会を形成していくべきかを問いかけています。

        キーノート：3名の専門家が「The Great Transition」を語る

        本フォーラムのキーノートには、以下の3名の専門家が登壇します。

        • 安野貴博氏 (AIエンジニア、起業家、SF作家): AIが人間社会のコミュニケーションをどのように変えていくのか、そしてAIが様々な物事のやり方を変えるポテンシャルについて、東京都知事選での実践例を交えて語りました。
        • 岡瑞起氏 (筑波大学准教授、人工生命研究者): 人工生命研究の知見とOpen-endednessの概念から、未来の創造プロセスと社会のあり方を探ります。創造性の概念がどのように変化していくのか、その未来像を提示しました。
        • 藤井直敬卓越教授 (デジタルハリウッド大学大学院): 脳科学者の視点から、「The Great Transition」における教育の役割について、他の2名のスピーカーと共に議論を深めました。

        続く特集もお楽しみに！

        #小泉薫央  #近未来教育フォーラム #教育 #AI #人工知能 #TheGreatTransition #デジタルハリウッド

        https://j.aicu.ai/MagV6

        https://j.aicu.ai/Coloso3

        Originally published at https://note.com on Dec 1, 2024.