768p → 2× 超分方法对比

SwiftVR 5B 生成式 CDA-VSR 3.11M 判别式各含官方配置 + 自研优化 20 条标准片源 × 4 组 = 80 次运行 RTX 5090 32G

统一任务：输入 768p，输出 2× 放大。20 条片源覆盖 5 种宽高比、每个比例 4 个不同的人、73–362 帧不等。全部 80 次运行零失败。四组产出同一目标分辨率，可直接并排对比。

SwiftVR 优化版

304.5 秒

20 条总耗时 · 最快

CDA-VSR 优化版

347.8 秒

慢 1.14× · 但吃 ×4 劣势

显存差距

4.6×

22.11 vs 4.85 GiB 峰值

参数量差距

1600×

5B vs 3.11M

四组总览

配置	20 条总耗时	自身优化幅度	显存峰值上限	显存中位	相对最快
SwiftVR 官方	877.1 s	基线	29.68 GiB	29.00	2.88× 慢
SwiftVR 优化	304.5 s	2.88×	22.11 GiB	19.72	最快
CDA-VSR 官方	881.6 s	基线	5.16 GiB	3.94	2.90× 慢
CDA-VSR 优化	347.8 s	2.53×	4.85 GiB	3.70	1.14× 慢

这不是同一量级的对比。SwiftVR 是 5B 参数的生成式一步 DiT，CDA-VSR 是 3.11M 参数的判别式在线 VSR，小 1600 倍。而且 CDA-VSR 是在架构劣势下比的 —— 它发布的重建头只有 ×4，为了产出 2× 必须先算到 3072p（16:9 时 5376×3072，16.5 Mpx）再降采样，多出来的算力全部计入它的耗时。

逐条耗时

SwiftVR 官方 SwiftVR 优化 CDA-VSR 官方 CDA-VSR 优化

横轴按帧数排序。片子越长四条线越收敛 —— 两边的固定 warmup 开销都被摊薄了。

显存

SwiftVR 官方 SwiftVR 优化 CDA-VSR 官方 CDA-VSR 优化

显存是这次对比里差距最大的一项：SwiftVR 优化版仍需 22.11 GiB，CDA-VSR 只要 4.85 GiB。 SwiftVR 在 32G 卡上只能单路常驻；CDA-VSR 一张卡可以并行跑 6 路。

视频对比

五条片源，每条给出输入（bicubic 2× 放到同一画布，仅作参照）和四组输出。四组产出分辨率完全相同。网页版统一截取前 5 秒并重新编码，细节有损失；判画质请用机器上的原始输出。

客观代理指标

2× 任务没有 ground truth，所以算不了 PSNR/SSIM。下面两个是代理量， 只能横向比同一条片子的不同配置，不能当作画质分数 —— 锐度既会因真实细节上升、也会因振铃和过锐上升；闪烁里混着真实运动。

SwiftVR 优化 CDA-VSR 优化

锐度差距很大且系统性存在（20 条全部如此）。这符合两者的性质：SwiftVR 是生成式的，会「补」出训练分布里的细节；CDA-VSR 是判别式的，只从压缩域先验和历史帧里「recover」，风格保守得多。 锐度高不等于更正确 —— 生成的细节可能并不存在于原始内容中。这一点必须靠人眼在上面的视频里判断。

我做了哪些优化

SwiftVR — 2.91×，显存 −7.6 GiB

clip_len 24 → 4。贡献最大的一步。官方 UI 写的是「Larger = more context」，实测反了：小 chunk 更快、更省显存，闪烁更低、锐度更高。
弃用官方 restore_video 的四线程流水线，改单线程顺序驱动（官方 Space 的 app.py 用的就是后者）。又快又省 3–4 GiB，还绕开了下面那个死锁 bug。
torch.compile，常驻只付一次编译代价。

CDA-VSR — 2.29×

把 mmcv 的 ModulatedDeformConv2d 换成 torchvision 原生 deform_conv2d。最关键的一步：mmcv 是 C 扩展，dynamo 无法追踪、必然 graph break；换成原生算子后 torch.compile 才能吃下整图。该替换经过逐位等价验证（整网 max|diff| = 0.000e+00），不是「能跑就行」。
bf16 autocast + channels_last + torch.compile。
后台预取线程 + pinned memory + 异步 H2D。压缩域先验每帧要读 2.4–4.1 MB 运动矢量，IO 很重。
×4→2× 的降采样放到 GPU 上、在回传主机之前做。×4 输出是实际需要的 4 倍像素，先降再传省掉 75% 的 D2H 和编码量。

优化后 CDA-VSR 只有 52% 的时间在 GPU 上（230.2s / 443.3s），其余是 IO 和编码 —— 它的瓶颈已经不在模型，而在压缩域先验的数据量（20 条片子的先验共 18 GB）。这是它的架构代价。

画幅：每个宽高比实际在算什么

两个模型产出同一目标分辨率，但内部走的路完全不同。SwiftVR 先把输入双线性放大到目标分辨率、再做 encode→DiT→decode；CDA-VSR 的重建头只有 ×4，必须先算到 4 倍边长再降回来。

宽高比	片数	输入 768p	目标输出 2×	输出 Mpx	CDA-VSR 内部 ×4 中间画幅	SwiftVR 峰值	CDA-VSR 峰值

16:9 与 9:16 那两档，CDA-VSR 内部要算到 5376×3072 = 16.5 Mpx，是最终所需 4.13 Mpx 的 4 倍。这部分额外算力全部计入了它的耗时。SwiftVR 的显存峰值严格随输出像素线性增长（12.03 + 2.44×Mpx，20 条实测最大残差 0.006 GiB），其中 12.03 GiB 是 bf16 权重常驻。

瓶颈在 GPU 还是 CPU

这两个模型的瓶颈完全不在同一侧，直接决定了「加一张卡」还是「加 CPU/换 IO」才有用。

SwiftVR：GPU 主导（73–80% 在 GPU 上）

机器 / 片源	输出	总耗时	GPU 计算	视频解码	编码写出	GPU 占比

解码几乎免费（0.2–0.7 秒，占比 1–2%），编码占 8–12%。加 CPU 对 SwiftVR 没意义 —— 换更快的卡才有效。

CDA-VSR：CPU / IO 主导（官方配置只有 38% 在 GPU 上）

配置	机器	总耗时	GPU 净算	GPU 占比	其余（IO + 编解码）
CDA-VSR 官方	5090	881.6 s	333.3 s	37.8%	548.3 s
CDA-VSR 官方	4090	1096.9 s	418.9 s	38.2%	678.1 s
CDA-VSR 优化	5090	347.8 s	199.6 s	57.4%	148.2 s
CDA-VSR 优化	4090	489.2 s	284.9 s	58.2%	204.2 s

CDA-VSR 要读压缩域先验：每帧 2.4–4.1 MB 的运动矢量，20 条片子的先验共 18 GB。官方配置是逐帧同步 cv2.imread + np.load，再在 5376×3072 上做 CPU 端 resize，所以近 2/3 的时间不在 GPU 上。我的优化把预取搬到后台线程、把降采样搬到 GPU， GPU 占比从 38% 提到 58% —— 但它依然是这条链路上最该继续优化的地方，而不是模型本身。

硬件对比：RTX 5090 vs RTX 4090

同一套代码、同一份权重、同样的 20 条片源，两台机器采用完全相同的执行协议：单配置顺序执行、4 分片跑在 GPU 0–3、全程无其他负载。

配置	5090 (32G)	4090 (24G)	4090 慢	5090 峰值	4090 峰值
SwiftVR 优化	304.50 s	443.36 s	1.46×	22.11 GiB	22.11 GiB
CDA-VSR 官方	881.57 s	1096.94 s	1.24×	5.16 GiB	4.92 GiB
CDA-VSR 优化	347.83 s	489.17 s	1.41×	4.85 GiB	4.85 GiB
CDA-VSR 官方 · 仅 GPU 净算	333.28 s	418.85 s	1.26×	—	—
CDA-VSR 优化 · 仅 GPU 净算	199.63 s	284.94 s	1.43×	—	—

结论：4090 比 5090 慢约 1.4–1.46×（同配置、同显存峰值）。 CDA-VSR 官方那行的 1.24× 偏低，是因为它近 2/3 时间耗在 CPU 上、摊薄了 GPU 差距 —— 只看 GPU 净算就回到 1.26×，优化配置则是 1.43×。

SwiftVR 官方配置在 4090 上不构成有效对比，已从上表移除。 20 条片子全部被迫降 clip_len（1:1 从 24→20，4:3/3:4 从 24→12，16:9/9:16 从 20→8），因为 4090 的分配峰值最高只到 22.32 GiB，而 5090 用到 29.68 GiB。两边跑的已经不是同一个配置，速度比值没有意义 —— 它的总耗时看起来是 884.45 vs 877.12 秒（1.01×，形同打平），但那是小 chunk 换来的假象。

4090 跑 SwiftVR 属于「刚好能跑」。优化配置峰值 22.11 GiB 顶着 23.65 GiB 可用，只剩约 1.5 GiB 给 CUDA context —— 8 条 4.13 Mpx 的片子全过了但零余量，画幅再大一点、或同卡再起一个进程就会翻车。CDA-VSR 峰值仅 4.85 GiB，一张 4090 可并行 4 路。

已知的两处硬件口径瑕疵

PyTorch 任何 wheel 都不含 sm_89 cubin。4090（sm_89）实际执行的是 sm_86 的 cubin，靠 CUDA 大版本内二进制兼容；5090 执行的是原生 sm_120。（CDA-VSR 优化版走 inductor/triton，那部分是为 sm_89 原生编译的。）
5090 用 torch 2.10.0+cu130，4090 用 +cu128（驱动 535 限制）。torch 版本相同。

其余全部对齐并逐项核验：仓库 rev 相同、checkpoint 字节数相同、跑分脚本与打过补丁的 runner.py md5 一致、CDA-VSR 的 LR 重编码码流逐字节相同、两边 DCN 后端一一对应（官方都用 mmcv、优化都用 tv shim，max|diff| = 0.000e+00）。

一次方法论更正

本页 5090 的数字全部重测过。最初那版把 official（GPU 0–3）和 optimised（GPU 4–7） 同时启动了 8 个进程，而 official 是 CPU 重的配置，两者抢 CPU。 4090 那边只有 4 张卡可用、是顺序跑的，协议不一致。

线索是按输入像素归一化后的吞吐形状：4090 在五种分辨率上是平的（7.47–7.71）， 5090 却浮动 1.85 倍、且在 768×768 那档绝对值反而低于 4090 —— 而 optimised 下 5090 每档都赢。这不是硬件差异该有的形状。

配置（均为 5090）	并发协议	顺序协议	差异
SwiftVR 官方	892.85 s	877.12 s	−1.8%
SwiftVR 优化	306.46 s	304.50 s	−0.6%
CDA-VSR 官方	1015.73 s	881.57 s	−13.2%
CDA-VSR 优化	443.27 s	347.83 s	−21.5%

这改变了模型之间的结论。按污染数据，SwiftVR 优化版比 CDA-VSR 优化版快 1.45×；按干净数据只快 1.14×。原因正是上面那条 —— CDA-VSR 是 CPU 主导的，被并发惩罚得最重（−21.5%），而 GPU 主导的 SwiftVR 几乎没受影响（−0.6%）。本页展示的是干净数据。

口径与已知问题

CDA-VSR 在 ×4 劣势下参赛。它的重建头是 Conv2d(num_feat,48)+PixelShuffle(4)，发布的权重按 ×4 训练。要原生 ×2 得改重建头并重训或微调 —— 不在本次范围内。所以它走「真实 768p → 原生 ×4 → 3072p → 降到 1536p」，额外算力如实计入。
CDA-VSR 官方脚本改了一行才能跑。 basicsr/models/video_recurrent_model.py:310 的 t = 100 是写死的字面量，在 REDS4 上看不出来（每 clip 正好 100 帧）。我们的片子是 73–362 帧：73 帧的会 IndexError， 241/362 帧的会静默只算前 100 帧。改成 t = len(frames)，其余一字未动。注意这是发布脚本的问题，不是模型的限制 —— 模型是在线递归的，可处理任意长度流。
SwiftVR 官方配置有 8 条在 clip_len=24 直接 OOM（4.13 Mpx 那两个比例），自动回退到 20 才跑通。这是给官方配置放宽后的结果。
SwiftVR 上游有一个会静默挂死的 bug。runner.py 的 record_error() 用阻塞式 q.put() 往 maxsize=3 的有界队列发停止信号， OOM 时队列必满 → put 永不返回 → 主线程卡死在 join()。表现是 GPU 0% 占着显存挂住，而不是崩溃退出。已打补丁；改用单线程驱动可整个绕开。
CDA-VSR 的残差是近似的。libavcodec 不暴露真实变换域残差，除非改 ffmpeg 解码器。我们用运动补偿后的 Y 通道差值，与真实 warp 误差相关性 0.67–0.94。运动矢量的符号约定经实证确认（用模型自己的 warp 函数：正号比反号的对齐 PSNR 高 4.4–10.4 dB）。
帧类型不在磁盘上。README 说数据集含 frame-type 信息，实际代码是按位置硬编码 fi % 25 == 0 判 I 帧。所以 LR 必须重编码成 GOP=25、I 帧落在 25 的倍数上、且无 B 帧（-bf 0 -refs 1 -sc_threshold 0）。这一步的重编码是第二代压缩，计入了 CDA-VSR 的输入质量。
两边都用视频编码输出（CDA-VSR 官方脚本原本逐帧写 PNG，那样更慢）—— 这个选择对官方版有利。

测试机 viggle_new_5090（8×RTX 5090 32G，驱动 580.159.03）· SwiftVR：conda swiftvr， torch 2.10.0+cu130，官方 H-oliday/SwiftVR 权重 bf16 未量化 · CDA-VSR：conda cdavsr， torch 2.10.0+cu128，mmcv 2.2.0 源码编译（sm_120），官方 best.pth，权重 0 missing / 0 unexpected · 片源为 MiniMax-H3 历史输出，20 条覆盖 5 种宽高比 · 2026-08-21