AI 算力选型 · 部署能力评估 · 2026Q4

一台 8 卡服务器，
能跑多大的开源模型、扛多少业务？

DeepSeek V4 / GLM-5.x / Kimi K2.6–K3 / Qwen3.5–3.8 / MiniMax-M3，以及 Wan2.2 / SD3.5 / FLUX.2 / Qwen-Image 等多模态模型，
对照 11 档主流 8 卡整机（含昆仑芯 P800、海光 DCU、RTX PRO 5000；192GB–2.3TB 总显存）做显存适配、实测性能与选型逻辑。

01

装得下吗权重体积 × 8 卡总显存 → 适配矩阵

02

跑多快公开实测吞吐 / 首字延迟 / 每人速度

03

撑什么应用选择逻辑（模型→档位→卡）+ 方案 + 验收模板

2026-10-24数据截止
A / B / C / D证据分级（见第 3 页）
23 页←/→ 或 ↑/↓ 翻页 · F 全屏
执行摘要

8 卡机的分水岭是总显存：≥1.1TB 才能单机跑满血旗舰；768GB 档的最优解是"Flash 级"模型

① 装得下：旗舰权重已到 0.6–2.5TB

8×H200 / H20-141G（1,128GB）可单机跑 GLM-5.x FP8（756GB）、Kimi K2.6（595GB）、DeepSeek V4-Pro（加载约 960GB，上下文封顶约 800K）。Kimi K3（1,561GB）与 Qwen3.8-2.4T（2,496GB）任何 8 卡 Hopper 单机都装不下。

② 跑多快：吞吐要和"每人速度"成对看

同为 8×H200 跑 DeepSeek V4(.1)-Flash：32 并发时系统 2,640 tok/s、每人 82 tok/s；1,024 并发时系统 7,394 tok/s、每人仅 7 tok/s、TTFT P90 4.3s。只报峰值吞吐的方案不可比。

③ 国产：V4-Flash 是唯一共同可跑的模型

昆仑芯 P800（768GB）、海光（512GB）均有 V4-Flash 适配，但公开实测只有海光（8 卡每人约 8 tok/s）。昇腾官方：A2 单机支持 V4-Flash；V4-Pro 需四机（A3 需双机）。Kimi K2.6（595GB）超出 512GB，单机不可。8×910B 跑 V4-Flash W8A8 的社区实测为 2K–4K tok/s 量级（口径存疑，见第 13 页）。

④ 多模态：开源只剩 Wan2.2 系与 SD3.5，产能看步数

Wan2.5/2.6/2.7/3.0 均未开源（HF 核验）。原版 Wan2.2-A14B 720P 5 秒：单卡 H100 需 1,041 秒，8 卡约 28 条/小时；4 步蒸馏版报告 22.5 秒/条，8 卡可达千条/小时级，画质需自测。

SO WHAT先定"模型档位"再买卡：知识库/客服用 Flash 级 + 512–768GB 档；Coding Agent 与满血推理才上 1.1TB 档；生图生视频买算力（H100/Blackwell 级），别用 H20 跑扩散模型。
方法论

判定"能不能部署"只看一条公式：权重 + KV Cache + 运行时开销 ≤ 8 卡总显存；性能数据按 A–D 四级证据分开报

显存预算公式

所需显存 = 权重（加载后）＋ KV Cache（并发 × 上下文）＋ 运行时开销（约 8–15%）

判定阈值（权重 / 8 卡总显存）
原生可跑官方精度权重 ≤ 75%，KV 有余量
受限可跑75%–92%：上下文/并发被压缩，或软件栈未官方验证
需量化原生 >92%，INT4/W4A8 后 ≤ 92%（需测精度）
单机不可量化后仍放不下，或厂商明确需多机

注：MoE 模型所有专家必须常驻显存——按总参数规划显存，激活参数只决定每 token 算力与解码速度。

证据分级（全篇统一）

级定义本报告中的例子
A一手可复核数据HF API 读出的参数量、dtype、权重体积；官方模型卡
B厂商官方 / 标准化测试vLLM/SGLang/昇腾官方 recipe；MLPerf Endpoints；厂商技术博客
C第三方公开实测云厂商/个人博客、社区论坛；口径与版本不一
D规格推算 / 方法演示估算按单卡数据 ×8 线性外推；AISC 观测站同类方案估算

采购前必须在目标机器上用自有模型、代表性提示、真实并发与 SLA 复测；D 级只能用于初筛。

SO WHAT任何"8 卡跑满血 XX，xxxx tok/s"的宣传，先问三件事：什么精度、多少并发、每人多少 tok/s。三项缺一，不进入比选。
模型版图 · 文本 / 多模态理解 LLM

旗舰开源 LLM 已进入"万亿参数 + 原生低比特"时代：权重 0.6–2.5TB，但每 token 只激活 13–104B

模型开源时间总参 / 激活原生精度权重体积上下文许可级
DeepSeek V4-Pro（-0813）2026-04 / 081.6T（0813 1.65T）/ 49BFP4 专家 + FP8865GB 盘 · ~960GB 加载1MMITA
DeepSeek V4.1-Flash-1017（视觉）2026-10-17763B / 未披露FP4 + FP8~490GB1MMITD
DeepSeek V4-Flash（-0731）2026-04 / 07284B / 13BFP4 专家 + FP8160–167GB1MMITA
GLM-5.1 / 5.2 / 5.32026-04 / 06 / 08754B / 40BFP8756GB~200KMIT（5.3 标 other，待核）A
GLM-5.3-Flash（视觉）2026-08321B / 未披露FP8~328GB1MMITA
Kimi K2.6 / K2.7-Code2026-04 / 061.03T / 32B原生 INT4595GB256K修改版 MITA
Kimi K32026-06 / 072.78T / 104BMXFP41,561GB（服务最低 1,680GB）1MK3 LicenseA
Qwen3.5-397B-A17B2026-02403B / 17BFP8 版406GB262KApache-2.0A
Qwen3.8-2.4T-A95B2026-082.45T / 95BFP82,496GB1Mother（待核）A
Qwen3.8-27B（视觉，稠密）2026-0827.8B 稠密BF1656GB1MApache-2.0A
MiniMax-M32026-06427B / 未披露BF16 / MXFP8854GB / ~430GB1Mother（待核）A

V4.1-Flash 激活参数未在模型卡披露，权重体积按 HF dtype（FP4 打包 0.5B/参数）推算；MiniMax-M3 MXFP8 体积为按参数量估算。DeepSeek V4-Pro-0813 仓库总占用 1.78TB，含多份权重变体，单份加载按 vLLM recipe 口径 ~960GB。

SO WHAT选模型时把"权重体积"当第一约束：同样号称 Flash，V4-Flash 160GB 而 V4.1-Flash ~490GB，所需机器差一个档位。
显存适配 · 一图看懂

按 8 卡总显存画线：768GB 档只装得下 Flash 级；1,128GB 档覆盖 GLM-5.x / Kimi K2.6 / V4-Pro；K3 与 Qwen3.8-2.4T 需 B300 或多机

SO WHAT"装得下"只是起点：权重占到总显存 85% 的 V4-Pro × 8×H200，只剩约 170GB 给 KV Cache——能跑，但并发和上下文都要打折。
硬件版图 · 市面主流 8 卡整机

主流 8 卡整机分 7 档、总显存 192GB–2.3TB 相差 12 倍；对华可得性与 FP4 原生支持是两道隐形门槛

8 卡配置单卡显存 / 带宽8 卡总显存卡间互联低精度原生单卡功耗对华可得性 / 价格量级定位
RTX 4090 24GB24GB / 1.0TB/s192GBPCIe，无 NVLinkFP8（无 FP4）450W渠道货，无 ECC、质保短原型 / 生图
L20 48GB48GB / 0.86TB/s384GBPCIeFP8（无 FP4）275W合规在售中小模型推理
昇腾 910B 64GB（Atlas 800I A2）64GB HBM2e512GBHCCSINT8（W8A8 / W4A8）以厂商为准国产，交付周期较长国产化 LLM
H20 96GB / RTX PRO 6000 96GB96GB / 4.0 | 1.79TB/s768GBNVLink 900GB/s | PCIe5FP8 | FP4+FP8400 | 600WH20 8 卡约 120 万元（报道）；PRO 6000 对华版本需核H20 偏 LLM；PRO 6000 偏多模态
H200 141GB / H20 141GB141GB / 4.8TB/s1,128GBNVLink 900GB/sFP8（无 FP4）700W逐案审批；报价 150 万元，现货 599 万元起旗舰 LLM 单机
B200 180GB180GB / 8TB/s1,440GBNVLink5 1.8TB/sFP4 + FP8~1,000W对华禁售（海外云 / 出海）V4-Pro 原生
B300 288GB / MI355X 288GB288GB / 8TB/s2,304GBNVLink5 | Infinity FabricFP4 + FP81.1–1.4kW对华禁售；国内现货报价约 1,200 万元K3 单机

LLM 解码吃"容量 + 带宽"

H20 显存带宽 4.0TB/s，与 H100 同级，适合大 MoE 解码。

扩散模型吃"算力"

H20 的 BF16 稠密算力约 148 TFLOPS，仅 H100（约 989）的 15%，跑视频生成会慢数倍。

FP4 原生只在 Blackwell

DeepSeek V4、Kimi K3 的 FP4 权重在 Hopper/Ada 上走反量化内核，能跑但拿不到 FP4 加速。

SO WHAT同样 768GB，H20 与 RTX PRO 6000 是两种机器：前者是 LLM 机（带宽+NVLink），后者是多模态机（算力+FP4）。先定负载类型再选卡。
核心结论 · 模型 × 8 卡整机适配矩阵

1,128GB 档是"一台机器跑通主流旗舰"的最低门槛；国产 8×910B 能确定跑的是 DeepSeek V4-Flash

原生可跑 受限可跑（KV/上下文紧或未经官方验证） 需 INT4/W4A8 量化 单机不可
模型（部署精度 · 权重）4090 ×8
192GB		L20 ×8
384GB		910B ×8
512GB		H20-96 / PRO6000 ×8
768GB		H200 / H20-141 ×8
1,128GB		B200 ×8
1,440GB		B300 / MI355X ×8
2,304GB
SO WHAT只买一台、又想覆盖 DeepSeek / GLM / Kimi 三家旗舰：唯一选择是 1,128GB 档（8×H200 或 8×H20-141G）；预算或政策受限时，退到 768GB 档 + V4-Flash / Qwen3.5 / 量化 GLM。
卡规格对比 · 国产卡 / PRO 5000

没有全面领先者：昆仑芯显存最大、海光 BW1000 纸面算力最高但无 FP8、PRO 5000 唯一自带原生 FP4 且生态最成熟

项目昇腾 910B
基线		昆仑芯 P800海光 K100-AI海光 BW1000RTX PRO 5000RTX PRO 6000
基线
定位国产训推卡；Atlas 800I A2 为 8 卡整机国产第三代 XPU，已规模交付；M100 见注³海光 DCU 推理主力型号海光新一代 GPGPU（训推）Blackwell 专业卡，工作站 / 服务器Blackwell 专业卡，旗舰
单卡显存64GB HBM2e96GB HBM64GB HBM2E64GB HBM2e48 / 72GB GDDR7 ECC96GB GDDR7 ECC
显存带宽未核实¹未披露¹796GB/s1.6TB/s1.34TB/s1.79TB/s
纸面算力⁴FP16 ~320TFP16 345TFP16 192T · INT8 392TFP16 480TFP4 稀疏 2,064 TOPSFP4 稀疏 4,000 TOPS
低精度原生INT8（W8A8 / W4A8）FP8 / FP16（无 FP4）INT8（无 FP8）INT8；不支持 FP8FP4 / FP8FP4 / FP8
卡间互联HCCS约 200GB/s（C）；另有 256 卡超节点未披露未披露PCIe 5.0，无 NVLink；MIG ×2PCIe 5.0，无 NVLink
单卡功耗以整机为准~300–320W（C）未检索到~300W300W600W
8 卡总显存512GB768GB512GB512GB384 / 576GB768GB
可得性 / 价格国产；整机询价国产；京东 ¥14.6 万/卡²，8 卡约 ¥117 万（不含整机）国产；未检索到价格国产；未检索到价格国内零售有货；72G ¥7.0–7.4 万/卡，8 卡约 ¥56–59 万（不含整机）；48G 约 ¥6.5 万（推算）对华版本需核；本轮未检索价格

¹ 公开口径互相矛盾：昇腾 910B 为 1.2–1.6TB/s；昆仑芯 P800 第三方汇总 1.1–4TB/s、官方未披露；某问答站称 K100-AI 为 1.2TB/s（来源不可靠，未采用）。² 京东商品页把 P800 写成 GDDR6、部分第三方汇总写成 64GB，均与官方 96GB HBM 口径冲突，以官方为准，价格仅作量级参考。³ 昆仑芯 M100（推理，对标 H20、HBM 略低）2026-07 首次展出实物，未见规格与规模交付，不纳入矩阵。⁴ 口径不同（FP16 稠密 vs FP4 稀疏），不可跨行直接比较。

SO WHAT国产卡先看显存档（决定能装谁）：昆仑芯 768GB 与 H20-96G 同档，海光 / 昇腾 512GB；PRO 5000 先看 FP4 与 CUDA 生态（决定省多少适配工作）。
部署证据对比

部署证据的差距比规格更大：海光有 8 卡实测但交互偏慢，昆仑芯有适配版却无公开 V4 实测，PRO 5000 靠同架构推断

项目昆仑芯 P800 ×8海光 K100-AI / BW1000 ×8RTX PRO 5000 ×8昇腾 910B ×8（基线）
软件栈vLLM-Kunlun 插件（已开源）、XPyTorch、FlagOS；百度称 vLLM 已支持 20+ 模型系列DTK（ROCm 系）+ SGLang / vLLM；BW1000 为 HIP 全栈，适配 PyTorch / TF / PaddleCUDA / vLLM / SGLang / TensorRT-LLM，生态最成熟CANN / vLLM-Ascend；MindIE 当时暂无 V4 适配（FAQ V1.6）
DeepSeek V4 适配FlagOS 昆仑芯版：仅 V4-Flash（无 Pro 版）FlagOS 海光版：Flash + Pro（权重转 BF16 / INT8）；K100-AI 已跑通 Flash未单独验证；同架构 PRO 6000 在 vLLM V4-Flash 验证清单官方 FAQ：A2 单机 Flash；Pro 需四机（A3 需双机）
公开实测
（V4-Flash）		无 V4 数据。仅有：vLLM-Kunlun 在 1K/1K 下达 H20 约 80%（B，模型未注明）8×K100-AI INT8，SGLang，c16、4K→1K：整机输出 90 tok/s，TTFT 50s，TPOT 128ms；128K 单请求 TTFT 163s（C）无；参考 2×PRO 6000 W4A16：c1 47.5、c2 84 tok/s（C）8 卡 W8A8：c8 1,990 / c32 4,040 tok/s（C，口径存疑）
8 卡能装什么768GB：V4-Flash（FP8 约 291GB）、Qwen3.5 FP8 等；V4.1-Flash 无 FP4 转 FP8 约 763GB，不可512GB：V4-Flash INT8；GLM / Qwen3.5 需 INT4 / INT8 且无公开验证576GB（72G）：V4-Flash 2 副本（TP=4）、Qwen3.5 FP8、GLM-Flash；48G：V4-Flash 1 副本（TP=8）512GB：V4-Flash W8A8；其余同海光
体验判断待实测每人约 8 tok/s、首字 50s：离线 / 低并发可用，交互偏慢每人速度待测（D）；带宽约为 PRO 6000 的 75%c8 时每人约 14 tok/s（按 ITL 70ms 折算，C）
主要坑V4-Pro 无适配；带宽官方未披露；公开资料列出的 DeepSeek 模型类为 V3.2无 FP8；K100-AI 带宽 796GB/s；测试为 4 卡 ×2 节点（PP），非单机 8 卡无 NVLink，大 MoE 走 TP=2/4 副本；对华供货版本需核Pro 需 4 机；MTP 未开吞吐降约 70%；block-size 须 128
一句话国产里容量最大的 8 卡；Flash 级首选，但必须先现场复现"能跑通"的国产备选；适合离线批处理与信创迁移国内可采购里性价比最高的 Flash 级 / 多模态机国产里证据最全，是比较基线
SO WHAT国产三家的真实差距在软件证据而不在规格：采购前让厂商在目标机上现场复现 V4-Flash 的 SLA 数据（每人 ≥20 tok/s、TTFT P95 ≤2s），复现不了就按"受限"处理。
适配矩阵 · 含昆仑芯 / 海光 / PRO 5000

昆仑芯 768GB 与 H20 容量相同，但能确认的软件证据更少；PRO 5000-72G（576GB）已能覆盖 Flash 级、Qwen3.5 与 GLM-Flash

原生可跑 受限可跑（KV / 上下文紧，或缺少公开适配证据） 需 INT4 / W4A8 量化 单机不可
模型（部署精度 · 权重）PRO 5000-48G ×8
384GB		昇腾 910B ×8
512GB（基线）		海光 K100-AI / BW1000 ×8
512GB		PRO 5000-72G ×8
576GB		昆仑芯 P800 ×8
768GB		H20-96G / PRO 6000 ×8
768GB（基线）
SO WHATP800 把"容量档"追平了 H20，但表里一半格子是"受限"——不是装不下，而是没有公开证据；这类格子必须靠 POC 才能转成"原生可跑"。
选择逻辑 ① · 模型 → 档位 → 卡

选卡就是爬梯子：先用权重定档位，再用采购约束砍行；国产路径在 768GB 断档，国内 NVIDIA 路径在 1,128GB 断档

① 算体积权重 GB ÷ 0.75 = 所需 8 卡总显存；V4 类 FP4 权重在无 FP4 的国产卡上先 ×2
② 过约束必须国产 / 国内可采购 / 可出海——先砍掉买不到的行
③ 看证据有官方验证 / 同架构推断 / 无公开证据；无证据最高记「受限」
④ 定终选同档多卡并存时，按 SLA（每人 ≥20 tok/s，TTFT P95 ≤2s）下的 goodput 与 3 年 TCO 选
8 卡总显存档384GB512GB576GB768GB1,128GB1,440GB2,304GB单机放不下
权重上限（×0.75）≤ 288≤ 384≤ 432≤ 576≤ 846≤ 1,080≤ 1,728> 1,728
落在本档的模型
（权重 GB）		V4-Flash 160
Qwen3.8-27B 56		GLM-5.3-Flash 328Qwen3.5-397B 406
MiniMax-M3 ~430		V4.1-Flash 490*Kimi K2.6 595
GLM-5.x 756		V4-Pro 960Kimi K3 1,561Qwen3.8-2.4T 2,496
必须国产—昇腾 910B
海光 K100-AI / BW1000		—昆仑芯 P800无单机方案——多机 / 超节点：V4-Pro 昇腾 A3×2 / A2×4（官方）；昆仑芯天池
国内可采购
（国产 + NVIDIA）		PRO 5000 48G · L20同上行国产卡PRO 5000 72GH20-96G · RTX PRO 6000H200 / H20-141G
（H200 逐案审批）		B200 禁售B300 禁售2×8 H200 多机
出海 / 海外云同上—同上同上H200B200 ×8B300 / MI355X ×8多机

* V4.1-Flash 在有 FP4 的 Blackwell / Hopper（W4A16 反量化）路径下约 490GB；国产卡无 FP4，转 FP8 / INT8 后约 763GB，落到「单机放不下」。V4-Pro 在国内单机只有 8×H200 可勉强跑（权重占 85%，上下文封顶约 800K，见第 7 页）。读法：从左到右找到模型所在档位 → 看对应约束行 → 到第 10 页矩阵确认软件证据。

SO WHAT国产路径的现实上限是 768GB（昆仑芯）：Flash 级可以单机，旗舰一律多机或超节点；要在国内单机跑 GLM / Kimi K2.6，只有 H200 / H20-141G 这一条路。
选择逻辑 ② · 模型 → 卡 反查表

反查结果：Flash 级三条路线都通；旗舰 LLM 只有 H200 级及以上才宽松；国产单机的天花板是 Flash 级，Qwen3.5 / Kimi K2.6 仅"受限"

模型权重 GB所需总显存必须国产国内可采购不限（含出海）选型备注

多模态：Wan2.2-A14B 720P 官方要求单卡 ≥80GB（RTX PRO 6000 / H100 / H200 可；PRO 5000-72G 需 offload 或多卡 FSDP，受限；H20 算力弱不推荐）｜TI2V-5B / SD3.5 / Qwen-Image 单卡 ≥24GB，PRO 5000 / 4090 / L20 均可，8 卡做多副本｜FLUX.2-dev 建议 80GB 卡，PRO 5000 用 fp8 / 4bit，商用须另购授权。

SO WHAT三步定卡：权重定档位 → 采购约束砍卡 → 备选卡在你的 SLA 下现场测。国产卡跑 Wan / SD 本轮没有公开验证，视频生图业务先走 NVIDIA 卡。
性能 · 公开实测汇总

同为 8×H200 跑 V4-Flash，系统吞吐 2.6K–7.4K tok/s；差距来自并发档位，"每人 tok/s"才是体验

硬件模型 / 精度 / 引擎并发系统吞吐 tok/s每人 tok/s首字延迟备注级
8×H200V4.1-Flash · vLLM 0.301,0247,3947.2P90 4.26sMLPerf Endpoints 待审；整机 9.73kWB
8×H200V4-Flash · SGLang322,64082.5均值 180ms158K TPM 换算C
8×H200V4-Flash · vLLM（4 月预览镜像）16543~461.84sTPOT 21.7ms；单流 70 tok/s；4 卡与 8 卡持平C
H200（PD 分离）Kimi K2.6 · SGLang · FP8 KV642,192~34—BF16 KV 在 32 并发 OOM；非单机口径B
8×昇腾 910BV4-Flash W8A8 · vLLM-Ascend · MTP8 / 321,990 / 4,040—P99 4.8s / 18.1s吞吐与 ITL（70/119ms）不自洽，仅作量级参考C
2×RTX PRO 6000V4-Flash W4A16 · vLLM1 / 247.5 / 8447.5 / 42237msTPOT 20.8ms；8 卡可起 4 副本（推算）C
昇腾 950 超节点V4-Pro · 8K 输入—4,700 /卡~50—TPOT≈20ms，离线模式，不含服务调度B
4×L20（基线）Qwen 72B AWQ INT4 · vLLM30720~16P95 1.68sAISC 观测站"方法演示估算"D

规律 1：吞吐随并发上升、体验下降

8×H200 从 32→1,024 并发，系统吞吐 ×2.8，每人速度 ÷11。

规律 2：Flash 级 8 卡不一定比 4 卡好

V4-Flash 在 4×H200 与 8×H200 上 16 并发吞吐持平——8 卡更适合跑 2 个副本。

规律 3：FP8 KV Cache 是并发倍增器

Kimi K2.6 上 FP8 KV 让并发 32→64、吞吐 +41%，精度基准无差异。

SO WHAT验收时锁定"每人 ≥20–30 tok/s、TTFT P95 ≤2s"这一 SLA 点，再比在该点的系统吞吐（goodput），而不是比各家峰值。
性能 · 吞吐 vs 体验

同一台 8×H200，每人速度从 82 tok/s 降到 7 tok/s，系统吞吐才从 2.6K 升到 7.4K：选并发档位就是选业务形态

三种业务形态，三种并发档

形态每人 tok/s合适并发
交互式 Agent / Coding≥ 508–32
客服 / 知识库对话20–4032–256（需实测）
离线批处理（摘要/抽取/标注）不敏感512–1,024+

20 tok/s 约等于人眼舒适阅读速度上限的数倍；思考模式下用户等待的是"思考 token"，需要更高每人速度。中间档位（如每人 25 tok/s 对应的系统吞吐）目前无公开数据，必须在 POC 中实测。

SO WHAT同一台机器白天跑交互（低并发、高体验）、夜间跑批处理（高并发、高吞吐），可把有效产能提高约 2–3 倍——调度策略和买卡同样重要。
业务换算 · 产能与经济性

一台 8×H200 跑 V4-Flash ≈ 每天 1.1 亿输出 token；按同等用量，API 年费约 17 万元——自建 Flash 级模型的理由是合规，不是省钱

产能换算（基准：2,640 tok/s，每人 82 tok/s，C 级）

场景单次输出日处理量（估）
客服 / 知识库（非思考）400 tok~28.5 万轮
客服 / 知识库（思考模式 ×3）1,200 tok~9.5 万轮
合同 / 研报摘要（长输入）1,500 tok~7.6 万份*
Coding Agent 任务（含思考）20,000 tok~5,700 个*

* 长输入场景的预填充会先成为瓶颈，实际值显著低于此上限。同时在线人数 ≈ 32 并发 ×（1 + 阅读/思考间隔比 4–5）≈ 150–200 人（假设）。

经济性对比（同等 1.14 亿输出 + 11.4 亿输入 token/天）

¥17万/年

V4-Flash API（≈ $65/天）

¥150万 + ¥6.8 万/年电费

自建 8×H200（不含机房、运维人力）

  • 3 年 TCO：自建 ≥ ¥170 万 vs API ≈ ¥51 万，API 便宜约 3 倍。
  • 反转条件：数据不得出域、需微调/定制、或跑 V4-Pro / GLM / Kimi 等 API 单价高 10 倍以上的旗舰。
  • 自建价值在"同一台机器跑多个模型 + 夜间批处理"，单模型低负载最不划算。
SO WHAT立项理由写"数据合规 + 多模型复用 + 旗舰自主"，不要写"省 API 费"；Flash 级流量可走 API/混合路由，自建算力留给敏感数据和旗舰模型。
模型版图 · 生图 / 生视频

多模态开源格局：Wan 只有 2.1/2.2 系开源、SD 最新仍是 3.5；生图主力已换成 FLUX.2 与 Qwen-Image

类别模型开源时间参数单卡显存速度参考许可级
视频Wan2.2-T2V / I2V-A14B2025-0727B MoE / 14B 激活≥80GB720P 5s：1×H100 1,041s；1×A100 2,736sApache-2.0B
视频Wan2.2-TI2V-5B2025-075B≥24GB720P@24fps 5s：单张 4090 <9 分钟Apache-2.0B
视频Wan2.2-Animate-2 / Wan-Dancer2026-07 / 0814B≥80GB 级动作迁移 / 音乐驱动舞蹈（数字人）Apache-2.0A
视频HunyuanVideo-1.52025-118.3B24GB 级480P I2V 8–12 步：4090 约 75s腾讯社区许可C
视频Wan2.5 / 2.6 / 2.7 / 3.0仅 API / App，HF 组织页无权重（2026-10-24 核验），无法私有化闭源A
图像Stable Diffusion 3.5 Large2024-108.1B~24GB（Q4 ~8GB）1024² 28 步：4090 约 8–12s年收入 <$100 万免费商用C
图像FLUX.2-dev2025-1132.2B~64GB（4bit ~24GB）1024² fp8：4090 约 20–30s非商用（需另购授权）C
图像Qwen-Image / Qwen-Image-2.12025-08 / 2026-0920.4B / 7.1B16–24GB中英文字渲染强；2.1 另有 Turbo 版Apache-2.0（2.1 待核）A
图像HunyuanImage-3.0202580B MoE / ~13B 激活≥40GB，多卡长提示、世界知识型生成腾讯社区许可C
SO WHAT多模态模型都 ≤35B 激活、单卡可装下：8 卡的价值不是"装得下"，而是"并行出片的产能"。商用前先过许可：FLUX.2-dev 与 SD3.5（超 100 万美元年收入）都需另行授权。
多模态 · 8 卡产能

8 卡生视频产能由步数决定、不由卡数决定：原版 40 步约 28 条/小时，4 步蒸馏可达千条级——但画质要自己验

生图：8 卡每小时产能（D 级外推）

模型 · 硬件单张8 卡 / 小时
FLUX.2-dev fp8 · 409020–30s960–1,440
SD3.5 Large · 40908–12s2,400–3,600
Z-Image-Turbo · H100~1s~28,800

并行只换延迟，不换成本

8×H100 合跑一条 720P 视频 110s（878 GPU·秒），与单卡跑一条 1,041 GPU·秒几乎相同。用户在等就合跑；批量出片就一卡一条。

SO WHAT做短视频/数字人工厂：选算力密度高的卡（H100/Blackwell/RTX PRO 6000）+ 蒸馏加速模型，用 200 条业务提示做原版 vs 蒸馏盲评后再定产能指标。
场景匹配 · 应用 → 模型 → 最低 8 卡配置

知识库、客服、文档理解用 512–768GB 档即可；Coding Agent 与满血推理才需要 1.1TB 档，前沿 2T+ 模型超出单机

场景典型负载推荐模型最低 8 卡配置可期待表现级
企业知识库 / 智能客服8K 入 / 0.5K 出，高并发DeepSeek V4-Flash（非思考）/ Qwen3.8-27B8×910B · 8×H20-96；27B 用 8×L20 多副本每天数十万轮问答；32 并发每人 >80 tok/s（H200）C
长文档 / 合同 / 研报审阅128K–1M 上下文V4-Flash / V4-ProFlash：768GB 档；Pro：8×H200（≤800K）1M 上下文可用，但并发随上下文线性下降B
研发 Coding Agent32K–200K 多轮工具调用GLM-5.x FP8 / Kimi K2.7-Code / V4-Pro8×H200 / H20-141GKimi K2.6 约 64 并发、每人 ~34 tok/sB
多模态文档理解票据 / 图纸 / 截图 + 文本V4.1-Flash / GLM-5.3-Flash / Qwen3.8-27BV4.1：768GB 档；GLM-Flash：512GB 档；27B：单卡图片分辨率与张数需固定后再测D
营销生图 / 电商素材1024² 批量Qwen-Image（Apache）/ SD3.5 / FLUX.2-dev*8×4090 / L20 起；PRO 6000 更佳千–万张/小时D
短视频 / 数字人720P 5sWan2.2-A14B / TI2V-5B / Animate-28×H100 级或 8×PRO 6000；不推荐 H2028 条/时（原版）→ 千条/时（蒸馏）C
前沿满血推理最难推理 / 长程 AgentKimi K3 / Qwen3.8-2.4T8×B300 起；对华可得方案为 2×8 H200 多机官方建议生产用 64 卡以上超节点B

* FLUX.2-dev 为非商用许可，商用须另购授权。场景负载定义参考 AISC 企业场景库：RAG 64K 上下文 / 30 并发；Coding 128K / 12 并发；VLM 32K / 12 并发。

SO WHAT多数企业的第一台机器按"知识库 + 客服 + 文档理解"配就够；Coding Agent 若是核心诉求，直接上 1.1TB 档，不要在 768GB 档上硬塞量化旗舰。
配置建议

按"国产合规 / 全能内容 / 旗舰 LLM / 前沿满血"四种取舍给出四套 8 卡方案，各有明确的"能跑"与"不能跑"

A · 国产合规型
8×昇腾 910B · 512GB

  • 能跑：V4-Flash W8A8（官方单机）；GLM-5.3-Flash、Qwen3.5、量化 GLM-5.x 需逐个验证
  • 不能跑：V4-Pro（需 4 台）、Kimi K2.6、V4.1-Flash
  • 坑：CANN ≥8.5、HDK ≥25.5；MTP 未开吞吐降约 70%；block-size 设 128
  • 适合：政企知识库、客服、公文

B · 全能内容型
8×RTX PRO 6000 · 768GB

  • 能跑：V4-Flash / V4.1-Flash（vLLM 验证清单含 8×PRO 6000）、Qwen3.5 FP8、全部生图生视频
  • 受限：Kimi K2.6（KV 紧）、GLM-5.x 需 INT4
  • 坑：无 NVLink，大 MoE 建议 TP=2/4 多副本；对华供货版本需核
  • 适合：营销内容工厂 + 中型 LLM

C · 旗舰 LLM 型
8×H200 / H20-141G · 1,128GB

  • 能跑：GLM-5.x FP8、Kimi K2.6/K2.7、V4-Pro（≤800K）、V4.1-Flash 高并发（7.4K tok/s）
  • 不能跑：Kimi K3、Qwen3.8-2.4T
  • 坑：无原生 FP4；H20-141G 算力弱不适合视频；H200 逐案审批、报价 150–599 万元
  • 适合：Coding Agent、多旗舰模型并存

D · 前沿满血型
8×B300 · 2,304GB

  • 能跑：Kimi K3 单机（vLLM 最低形态）、V4-Pro 原生 FP4 全 1M 上下文
  • 不能跑：Qwen3.8-2.4T FP8（2.5TB）
  • 坑：对华禁售，仅适用于出海业务或海外云租用
  • 适合：海外节点、前沿模型评测
SO WHAT国内落地的主力组合是"A 或 C 跑 LLM + B 跑多模态"两台机器分工，而不是一台机器包打天下：LLM 要带宽，扩散模型要算力。
部署测试 · 信息收集方案

验收不看峰值看 SLA 下的 goodput：每个候选方案按 4 类负载 × 8 档并发 × 14 个字段收集，再跑 72 小时稳定性

① 必收 14 个字段

  1. 硬件：卡型 × 数量、互联拓扑
  2. 驱动 / CUDA / CANN 版本
  3. 模型版本 + 量化方式
  4. 推理引擎 + 镜像 tag
  5. 输入 / 输出长度分布
  6. 并发档位
  7. 系统吞吐 goodput（达标请求）
  8. 每人 tok/s（1/TPOT）
  9. TTFT P50 / P95 / P99
  10. TPOT P95
  11. 错误率 / 超时率
  12. 显存峰值 + KV 可用容量
  13. 整机功耗 kW
  14. 证据等级 + 交付周期 / 质保

② LLM 负载矩阵

负载输入/输出
Chat 对话1K / 0.3K
RAG 知识库8K / 0.5K
Agent 多轮（前缀缓存）64K / 2K
长文档256K / 1K

并发阶梯：1 / 4 / 8 / 16 / 32 / 64 / 128 / 256

SLA 闸门：TTFT P95 ≤2s；TPOT P95 ≤50ms（≈每人 20 tok/s）；错误率 ≤0.5%

思考模式单独一轮：记录思考 token 占比

③ 多模态与稳定性

  • 视频：固定分辨率 / 帧数 / 步数 / CFG；记录秒/条、条/小时、峰值显存
  • 画质：200 条业务提示，原版 vs 蒸馏 / 量化盲评
  • 生图：1024² 张/小时；LoRA、ControlNet 兼容性
  • 稳定性：72 小时浸泡；温度、降频、掉卡、显存泄漏
  • 精度：量化前后跑同一评测集（含工具调用成功率）
  • KV Cache：BF16 vs FP8 各测一轮
SO WHAT一份合格的测试报告 = 14 个字段 × 每个负载 × 每档并发；任何供应商的数据缺字段，统一降为 D 级处理。
部署测试 · 记录表模板

测试记录表：前 4 行用公开数据示范填法，后 4 行是建议优先实测的 POC 组合

方案 ID硬件模型 / 精度引擎负载并发goodput tok/s每人 tok/sTTFT P95TPOT P95功耗 kW级
PUB-018×H200V4.1-FlashvLLM 0.30Agentic 混合1,0247,3947.24.26s（P90）—9.73B
PUB-028×H200V4-FlashSGLang未披露322,64082.5340ms（P99）——C
PUB-038×H200V4-FlashvLLM 预览1K / 25616543~461.84s（均值）21.7ms（均值）—C
PUB-042×PRO 6000V4-Flash W4A16vLLM1K / 1K147.547.5711ms（P99）21.7ms（P99）—C
POC-018×H200（云租）GLM-5.x FP8vLLM / SGLangAgent 64K/2K1–128待测待测待测待测待测—
POC-028×H200（云租）Kimi K2.7-Code INT4vLLMAgent 64K/2K1–128待测待测待测待测待测—
POC-038×910B（目标机）V4-Flash W8A8-MTPvLLM-AscendRAG 8K/0.5K1–256待测待测待测待测待测—
POC-048×PRO 6000Wan2.2-A14B 原版 vs 4 步Diffusers / LightX2V720P 5s8 条并行条/小时—秒/条—待测—

填写规则：goodput 只计满足 SLA 闸门（第 20 页）的请求；"每人 tok/s"按 1 / TPOT 计；功耗取整机墙插实测均值；无法确认的字段写"未披露"，不要估填。

SO WHATPUB 行之间的数字不可直接比较（负载、版本、口径都不同）——这正是必须用同一张表、同一套负载自己测一遍的原因。
风险清单

八个高频坑：一半出在软件栈版本，一半出在许可与政策——都比"卡不够"更容易让项目延期

1 · Hopper / Ada 无原生 FP4

DeepSeek V4、Kimi K3 的 FP4 权重在 H200/H20/L20 上走反量化内核，能跑但拿不到 Blackwell 的 FP4 加速。

2 · 新模型首月软件栈不稳

vLLM 上 V4 的 DP+EP 路由曾报错（#40862，2026-06 修复）。锁定镜像 tag，别用 nightly。

3 · 昇腾参数不对，性能掉一截

CANN ≥8.5、HDK ≥25.5；不开 MTP 吞吐降约 70%；block-size 须 128（社区经验，C 级）。

4 · KV Cache 量化要逐模型测

FP8 KV 在 Kimi K2.6 上精度无差且并发翻倍；但有个案（4bit GLM + llama.cpp 8bit KV）智能体得分 52%→24%。

5 · 1M 上下文 ≠ 1M 并发

V4-Pro 在 8×H200 上上下文封顶约 800K；长上下文并发随长度线性下降。

6 · 许可证

Kimi K3：MaaS 且集团年收入 >$2,000 万需另签；FLUX.2-dev 非商用；SD3.5 超 $100 万年收入需企业许可；GLM-5.3、Qwen3.8-2.4T、MiniMax 标为 other，须法务核。

7 · 出口政策与价格

H200 自 2026-01-14 起逐案审批，8 卡报价 150 万元 vs 现货 599 万元起；Blackwell 对华禁售。

8 · PCIe 卡无 NVLink

8×PRO 6000 / 4090 跑大 MoE 用 TP=8 会被 PCIe 通信拖慢，优先 TP=2/4 + 多副本。

SO WHAT合同里写死三件事：交付时的软件栈版本清单、目标模型的验收 SLA、许可证合规责任方。
下一步 · 来源

建议两周 POC：先在云上 8×H200 跑通标准测试集，再到目标机复测，按 SLA 下的 goodput 和 3 年 TCO 定采购

POC 计划（2 周）

时间动作产出
D1–2定场景与 SLA；准备 200 条代表性提示测试集 + SLA 闸门
D3–6云租 8×H200：V4-Flash / GLM-5.x / K2.7 × 4 负载 × 8 并发POC-01/02 数据
D7–9目标机复测（910B 或 PRO 6000）+ 视频产能盲评POC-03/04 数据
D10–1272 小时稳定性 + 量化精度回归稳定性报告
D13–14自建 vs API vs 混合路由 3 年 TCO采购建议书

主要来源

  • A Hugging Face API：deepseek-ai / zai-org / moonshotai / Qwen / MiniMaxAI / Wan-AI / stabilityai 模型元数据
  • A DeepSeek V4 模型卡（2026-04-24）
  • B vLLM / SGLang / NVIDIA Dynamo：DeepSeek-V4、GLM-5.1、Kimi-K3 部署 recipe
  • B 昇腾社区《DeepSeek-V4 适配安装常见问题 V1.6》；华为 2026-04-24 发布
  • B MLPerf Endpoints v1.0（Krai, 8×H200, provisional）
  • B Cloudflare《Running Kimi and GLM at scale》
  • B Wan2.2 GitHub README
  • C 阿里云博客；desigeek.com；昇腾论坛；axionry（视频产能汇编）；singularitybyte / thundercompute（生图）
  • C 腾讯新闻、网易（H200/H20 报价）；算力芯纪元（现货价）
  • D AI 五层蛋糕观测站 recommend_ai_compute / recommend_ai_model（evidence-2.0.0，as_of 2026-08-17）
SO WHAT本报告能回答"买哪一档、跑哪个模型"，回答不了"在你的业务上到底多快"——后者只有 POC 能给出，这是采购前唯一不可跳过的一步。