Diffutoon(ディフュトゥーン)は素晴らしいトゥーンシェーディングアプローチで、アニメスタイルのフォトリアリスティックなビデオを変換することを目的としています。非常に高い解像度と高速なモーションを扱うことができます。ソースコードはDiffSynth-Studioで公開されており、技術レポートも公開されています。
Diffutoon: the Next Generation of Toon Shading
論文やコード自体は5ヶ月前に公開されていましたが、この分野のハッカーであるCamenduru氏が紹介したことで突然注目されました。
美しい動画の一覧はこちらにファイルがあります
https://github.com/ECNU-CILAB/DiffutoonProjectPage/tree/main/videos
大本の文献はこちら
Diffutoon: High-Resolution Editable Toon Shading via Diffusion Models
和訳版
Diffutoon:拡散モデルによる高分解能編集可能なToon陰影【JST・京大機械翻訳】
注目すべきは DiffSynth Studio
DiffSynth Studio は Diffusion エンジンです。Text Encoder、UNet、VAE などのアーキテクチャを再構築し、オープンソースコミュニティのモデルとの互換性を維持しながら、計算性能を向上させています。多くの興味深い機能を提供しています。
modelscope/DiffSynth-Studio: Enjoy the magic of Diffusion models!
インストールにはPython, Conda環境が必要で、以下の技術によって構成されています。
