SeedVR2: 効率と品質を向上させた1ステップ動画修復
概要
SeedVR2は、現実世界のアプリケーション向けに設計された先進的な1ステップ拡散ベースの動画修復（VR）モデルで、南洋理工大学とByteDance Seed（TikTokの親会社であるByteDanceのAI研究部門）の研究者たちによる共同開発です。敵対的ポストトレーニング（APT）と革新的なアーキテクチャ強化を活用し、SeedVR2は単一のサンプリングステップで高品質な動画修復を実現し、速度と性能の両方で従来の多ステップ拡散ベースのVR手法を大幅に上回ります。
主な特徴
-
1ステップサンプリング: 従来の拡散モデルが数十ステップを必要とするのに対し、SeedVR2は単一ステップで動画修復を実行し、計算遅延を劇的に削減します。
-
高解像度対応: 最大1080pの解像度に最適化されており、細部を鮮明にし、視覚的なリアリズムを向上させ、高解像度VRの課題を解決します。
-
効率性: 既存の拡散ベースVR手法（例: VEnhancer、UAV、MGLD-VSR、STAR）と比較して4倍以上の速度で動作し、同等または優れた視覚品質を維持します。
-
適応型ウィンドウアテンション: 入力解像度に合わせてウィンドウサイズを動的に調整する新しいメカニズムで、境界アーティファクトを排除し、高解像度動画の堅牢性を強化します。
-
敵対的ポストトレーニング（APT）: 事前訓練された拡散トランスフォーマー（SeedVR）を初期化として使用し、実データに対する敵対的トレーニングを実施。教師モデルへの依存とそのバイアスを回避します。
-
特徴マッチング損失: 計算コストの高いLPIPS損失を効率的な特徴マッチング損失に置き換え、識別器から特徴を抽出してトレーニングを安定化し、修復品質を向上させます。
トレーニング詳細
-
ハードウェア: 72台のNVIDIA H100-80G GPUで訓練
-
データ: 1000万組の合成画像ペアと500万組の動画ペアを使用
GitHubから無料のオープンソース動画アップスケーラー
Comfy UI:
インストールは非常に簡単です。
-
ComfyUIを開き、ComfyUI-Managerで「SeedVR2」を検索します。
-
インストールをクリックし、Comfyを再起動します。
すべての要件が自動的にインストールされます。
初回実行時に必要なすべてのモデルとVAEが自動的にダウンロードされます。
最も簡単な方法は、GitHubの例に従うことです：
注意: Video Helper Suiteをまだインストールしていない場合、それもインストールすることをおすすめします。
更新 1:
私はComfyUIのポータブル版を使用しています。ポータブル版にデフォルトでManagerが含まれていない場合、手動でインストールする必要があるかもしれません。
新しいデスクトップ版では、インストール時にManagerがデフォルトで含まれているはずです。ただし、昨年プレリリース版の早期アクセス時にデスクトップ版をテストしたところ、かなり不安定でした。それ以降どれだけ改善されたかはわかりません。
または、Managerを使わずにVideo Helper Suiteをインストールすることも可能です：
