本地 AI GPU 选型指南：H100 vs A100 vs L40S vs 消费级 GPU

为本地 AI 选择正确的 GPU 不是购买最强大的硬件。而是将 GPU 能力与你的实际工作负载匹配——价格差异大到足以使错误选择浪费数万甚至数十万美元。

GPU 规格一览

集群配置成本

8xL40S 配置（$79,000）通常是进入本地 AI 的正确起点。

按模型大小的用例映射

7B 参数模型： 推荐 L40S 或 RTX 4090 — LoRA/QLoRA fine-tuning 只需一块卡。

14B 参数模型： 推荐 L40S 集群或 A100 对。

70B 参数模型： 全量 fine-tuning 需要 H100 集群，LoRA 需要 A100。

消费级 GPU 的论点

每 GB VRAM 成本：RTX 5090 ($63-$78) vs H100 ($312-$375)。纯 $/GB 基础上，消费级 GPU 便宜 3-5 倍。

消费级 GPU 的局限：无 NVLink、无 ECC 内存、保修期较短、NVIDIA EULA 技术上禁止在数据中心环境使用。

推荐总结

不要买你想要的 GPU。买你的工作负载需要的 GPU。