「租GPU跑大模型」其实包含好几件差别很大的事:有人是把 7B、8B 模型拉起来做推理,有人是做 LoRA 微调,有人是做更大规模的训练。卡和预算不能按同一个标准选。消费级按小时大约 ¥0.58–4.04,数据中心级大约 ¥1.89–26.27(2026-11-09 控制台快照,以控制台当时价格为准)。起步常见是 24G 的 3090,约 ¥0.58–1.09/小时。
先看自己要跑的模型和精度,估算显存,再对照小时价。不要先盯最贵的卡,也不要只看最低价、不管显存够不够。
可直接到 TapGPU 首页 看当前卡型和价格,按小时租,支付宝充值。
消费级
¥0.58–4.04/小时
起步常见是 24G 的 3090,约 ¥0.58–1.09/小时
数据中心级
¥1.89–26.27/小时
更大的训练再考虑 A100、H100;以控制台为准
价格会变,下面只是当天快照,下单前以控制台为准。区间是同一型号里较低档到较高档,不是月费估算。
| 型号 | 大约小时价 | 更常见的用途 |
|---|---|---|
| RTX 3090 | ¥0.58–1.09 | 7B / 8B 级推理,很多 LoRA 微调 |
| RTX 4090 | ¥1.88–2.49 | 7B–13B 级推理或微调,显存仍是 24G |
| RTX 5090 | ¥2.72–4.04 | 消费级里更高一档,仍先核对显存和任务 |
| A100 PCIe | ¥1.88–4.27 | 更大显存的训练或推理 |
| A100 SXM4 | ¥2.63–4.17 | 同上,接口和带宽不同 |
| H100 | ¥9.34–20.55 | 更大规模训练,快照里未再拆 NVL / SXM |
| H200 | ¥18.43–26.27 | 更大显存的训练和推理,快照里合并报价 |
相关价格和卡型页:GPU租用、4090 租用、A100 租用、H100 租用。
这类任务最常见。权重量化后,很多 7B / 8B 推理可以放进 16–24G 显存;LoRA 微调也经常落在 24G 这一档。先看 3090 或 4090 是否够,不够再升级,不必一上来就租 H100。
同样是 24G,4090 通常比 3090 更快,但显存容量一样。模型变大、上下文变长、或几乎不用量化时,24G 会先不够,而不是先比拼算力峰值。
13B 级推理,24G 有时仍能用(尤其是量化后);参数再往上、或要更高精度、更长上下文,就更容易碰到显存墙。这时更应看 40G / 80G 这一档(例如 A100),而不是在 24G 消费级里硬扛。
具体能不能放下,取决于精度(FP16、8 bit、4 bit)、batch、上下文长度和框架实现,不能只按「参数量 ÷ 某个整数」一次算死。下面「显存怎么估」给的是粗范围,真正开跑前仍要以一次短测试为准。
70B 级全精度或半精度推理,通常不是一张 24G 消费卡能稳定扛住的,往往需要更大显存、多卡,或更狠的量化。全量微调、继续预训练更是如此,这时再考虑 A100、H100、H200 这一档。
如果只是 7B 聊天或小规模 LoRA,租最高档卡会明显多花钱,却不一定带来你需要的那一档能力。
先问三件事:模型多大、用什么精度、是推理还是训练。
可先用一个很小的 batch、较短上下文做一次试跑。OOM 就降精度、缩上下文,或换更大显存的卡。不要一上来开很长上下文和很大 batch。
在 TapGPU 上按小时租,用支付宝充值。选好卡型后创建实例,再在机器里拉模型和代码。
计费上有一个容易忽略的点:持久化实例如果只是停掉,GPU 往往仍在计费,通常要删除实例才会停掉 GPU 占用;磁盘是另一笔费用,另计。跑完实验就检查实例是不是还占着卡,不要以为「关机了就不花钱」。更细的说明见 停了为什么可能还在计费。
第一次用的话,也可以先看 租用入门。选平台时要先看计费单位和起步价,见 GPU租赁平台怎么选。
小模型可以。模型变大以后,推理勉强能跑,不代表全量训练也跑得动。按更重的那项任务来选显存。
都是 24G。如果显存刚好够,4090 通常更快,小时价也更高(快照里约 ¥1.88–2.49,相对 3090 的 ¥0.58–1.09)。如果任务主要卡在显存,换更快的 24G 卡解决不了,需要更大显存的型号。
不是。H100 适合更大规模的训练,小时价也高一个数量级(快照约 ¥9.34–20.55)。先确认 24G 或 A100 是否已经够用。
会。本文数字是 2026-11-09 的控制台快照,下单以控制台为准。
先确定模型和任务,再对照显存和小时价选卡,然后到 首页 查看当前库存和价格。按小时租,用完检查实例是否还占用 GPU。