H100 vs A100 实测对比：大模型训练哪个更划算

如果你正在筹备一个百亿参数级别的大模型训练项目，第一个要面对的问题往往是：选H100还是A100？

H100作为NVIDIA最新一代数据中心GPU，纸面参数全面碾压A100；但A100的租赁价格通常只有H100的40%-60%。更高的性能是否意味着更高的性价比？本文基于真实训练场景下的实测数据，从算力、显存、精度、成本四个维度给出答案。

一、硬件规格速览

先来看两张卡的硬参数对比：

二、大模型训练实测数据

我们在相同软件环境（PyTorch 2.3 + CUDA 12.1 + FlashAttention-2）下，使用Llama-2-70B模型进行预训练对比测试：

2.1 训练吞吐量（tokens/秒/GPU）

2.2 端到端训练时间对比

以训练1T tokens（约等于Llama-2-70B的完整预训练量）为例：

三、成本核算：哪个更划算？

性能再强，最终还是要看钱包。以下是2026年Q3国内主流云平台的按需租赁价格（仅供参考，实际价格以平台为准）：

3.1 性价比结论

• 纯训练场景：H100 FP8的综合成本约为A100的35%-50%。即使H100单卡租金是A100的2-2.5倍，但训练速度提升5.5倍以上，总成本反而更低。
• 时间敏感场景：如果项目有明确的上线 deadline，H100能将训练周期从5个月压缩到1个月，时间价值难以用金钱衡量。
• 推理场景：如果是模型推理/部署，A100的性价比通常优于H100（推理对FP8需求不高，A100的显存利用率更好）。
• 小规模实验：对于7B-13B参数的实验性训练，A100完全够用，且更容易按需获取。

四、选型决策树

根据你的具体场景，可以参考以下决策路径：

开始选型
  |
  ├─ 训练参数 > 30B 且 有 deadline 压力？
  |     ├─ 是 → H100 + FP8（成本最低、速度最快）
  |     └─ 否 → 继续判断
  |
  ├─ 训练参数 > 30B 但 预算紧张？
  |     ├─ 是 → H100 FP16 或 A100 集群（用时间换成本）
  |     └─ 否 → 继续判断
  |
  ├─ 主要用途是推理/部署？
  |     ├─ 是 → A100（性价比更优，显存利用率高）
  |     └─ 否 → 继续判断
  |
  └─ 7B-13B 小规模实验？
        ├─ 是 → A100 或 RTX 4090（成本最低）
        └─ 否 → 根据预算灵活选择

五、代码示例：FP8训练启动脚本

如果你决定使用H100的FP8能力，以下是一个基于PyTorch的启动示例：

# 环境要求：PyTorch >= 2.3, transformers >= 4.40, flash-attn
import torch
from transformers import AutoModelForCausalLM, TrainingArguments, Trainer

# 启用FP8（需Transformer Engine或torch.compile支持）
model = AutoModelForCausalLM.from_pretrained(
    "meta-llama/Llama-2-70b",
    torch_dtype=torch.float8_e4m3fn,  # FP8精度
    device_map="auto",
)

training_args = TrainingArguments(
    output_dir="./llama70b-fp8",
    per_device_train_batch_size=2,
    gradient_accumulation_steps=8,
    num_train_epochs=3,
    fp8=True,  # 启用FP8混合精度
    optim="adamw_torch_fused",
    learning_rate=1e-5,
    warmup_ratio=0.03,
    logging_steps=10,
    save_strategy="epoch",
)

trainer = Trainer(
    model=model,
    args=training_args,
    train_dataset=train_dataset,
)
trainer.train()

六、FAQ