[ComfyMaster21] ComfyUIのAPI化 - Websocketで外部保存

「ComfyUIをサービスに組み込みたい！」
そんな方は、ComfyUIをAPI化すればOK！ComfyUIは、最初からAPI化する機能を持っているので簡単です！

ComfyUIを自社のサービスに組み込むための基本テクニックは、先日、渋谷で開催されたComfyUIミートアップでも話題になりました。

速報: ComfyUIを開発する「Comfy Org」が東京・渋谷で初のミートアップを開催。画像生成AIの未来を拓く37名が参加！

こんにちは、AICU media編集部です。
「ComfyUI マスターガイド」第21回目になります。
本記事では、ComfyUIをAPIとして外部から利用する方法を解説します。

[ComfyMaster20] ComfyUIの高度インペイント技術で自然な髪型変更を実現！

今回は、ComfyUI APIサーバー化する上での基本的な使い方を解説します。15,000文字ぐらいでVSCodeやPythonのインストールから、API経由でWebsocketを使った画像保存まで、自分のPythonコードで実装していきます。今回解説する内容は「かなり玄人向け、システム開発などに用途が限られるかも？」という印象があるかもしれませんが、アニメーションシステムへの応用や、インタラクティブな体験開発、AWSでのインスタンスから画像を保存したり、UnityやUnreal Engineなどのリアルタイム処理のアプリから画像をリクエストしたり、DiscordサーバーやDifiなどのチャットシステムのAPIエンドポイントとして使用したり……と、使用するワークフローを多様にすることで、様々な用途で使用することができるでしょう。用途は無限大なので、ぜひ活用して X@AICUai にてフィードバックをいただければ幸いです。

1. 前提条件

今回の記事では、以下の前提条件に基づき、APIを実行します。

Google ColabでComfyUIを動作させる
ローカルPCからPythonでComfyUIのAPIを実行する
ワークフローは、標準ワークフローを使用する
生成画像は、ローカルPCにダウンロードして保存する

今回使用するPythonコードは、ComfyUIの公式が提供している「websockets_api_example_ws_images.py」というサンプルコードを基に、Google Colabで動作するComfyUIと通信できるように改修したものになります。公式のサンプルコードは、以下のリンクより確認できます。

https://github.com/comfyanonymous/ComfyUI/blob/master/script_examples/websockets_api_example_ws_images.py

以下が今回使用するPythonコードのフローになります。

ユーザーがプログラムを開始します。
メインプログラムが「workflow_api.json」ファイルを読み込みます。
プロンプトのテキストとシードが修正されます。
修正されたプロンプトがComfyUIサーバーのキューに追加されます。
サーバーからprompt_idが返されます。
WebSocket接続が確立され、状態更新の待機が始まります。
サーバーが状態更新を送信し、キューが空になるまで続きます。
画像データが送信されます。
プログラムが次の画像番号をファイルシステムから取得します。
生成された画像がファイルシステムに保存されます。
ユーザーに完了が通知されます。

2. ComfyUIのAPIについて

ComfyUIは、起動と同時にAPIとして利用することが可能になっています。これは、Prompt Serverで実現されています。Prompt Serverは、API を通じてフロントエンドと連携し、ユーザーが複雑なワークフローを構築し、画像生成プロセスを制御することを可能にします。

旧来のRESTfulなAPIや、FastAPIやAutomatic1111とも異なる設計のようです
RESTfulならステートレス性(Stateless)が必要ですが、今回の例ではWebsocketを使って画像を転送します。HTTPをベースにしたステートレスなクライアント/サーバプロトコルではないですが、セッション等の状態管理をして、リアルタイム性や高速転送を実現しているように読み取れます。

WebSocketによる状態把握

Prompt Serverは、WebSocketを利用し、フロントエンドとの双方向通信を実現しています。これにより、キューの状態変化、ノードの実行状況、モデルのダウンロード進捗など、リアルタイムな更新をフロントエンドに通知することができます。本稿を執筆した2024年9月29日時点での実装ベースで分析した主な WebSocket イベントは以下になります。