TAPGPU
教程 · Ollama

Ollama 本地显存或机器不够时,可以按小时租一块 GPU

发布于 2026-11-14(Asia/Shanghai) · 按小时计费 · 价格截至 2026-11-09(Asia/Shanghai)控制台快照;下单以控制台实时报价为准。只报小时价,不估算日价或月价。

Ollama 用来在本机运行开源模型。官方提供 macOS、Windows、Linux 的安装方式,以及命令行和本地 API。本机显存不够、没有合适的 NVIDIA 卡,或者你想跑的模型和上下文比手头机器放得下的更大时,可以按小时租一块 GPU,再依照 官方 Linux 安装说明 和 快速开始 来跑。消费级按小时大约 ¥0.58–4.04,数据中心级大约 ¥1.89–26.27(2026-11-09 控制台快照,以控制台当时价格为准)。起步常见是 24G 的 3090,约 ¥0.58–1.09/小时。不必一上来租最贵的卡。

请只使用你有权使用的模型和数据。

本地显存或机器不够跑你想要的模型时,可以按小时租一块 GPU,优先看 24G 消费级。不必一上来租最贵的卡。

可直接到 TapGPU 首页 看当前卡型和价格,按小时租,支付宝充值。

消费级

¥0.58–4.04/小时

起步常见是 24G 的 3090,约 ¥0.58–1.09/小时

数据中心级

¥1.89–26.27/小时

跑 Ollama 一般不必先上这个档;以控制台为准

计费

元/小时

付款

支付宝

快照

2026-11-09

本地显存或机器不够跑你想要的模型时,可以按小时租一块 GPU。到首页看当前卡型和价格,支付宝充值。

打开 TAPGPU 首页选卡 看 GPU租用

什么时候该按小时租

Ollama 适合在本机跑,前提是显存和机器能放下你选的模型。官方入口在 ollama.com 和 GitHub 仓库。截至 2026-11-14,仓库里最新正式版是 0.40.16(GitHub Releases 的发布时间为 2026-11-10,Asia/Shanghai)。安装命令会随版本变,以当天的 Linux 安装文档 和 快速开始 为准。

一旦本机显存经常不够、没有官方 硬件支持 里列出的合适 NVIDIA 卡,或者模型虽然能启动、却只能部分放到系统内存里、明显变慢,按小时租通常更省事。租来的是带 GPU 的实例,安装、拉模型和参数仍以官方文档为准。费用从自己的余额里扣,所以要先看小时价,并计划好什么时候删除实例。

本地显存或机器不够跑你想要的模型时,可以按小时租一块 GPU,优先看 24G 消费级。小时价以 2026-11-09 控制台快照为参考,下单以控制台为准。用支付宝充值,用完检查实例是不是还占着卡。

先看价格:2026-11-09 控制台快照

价格会变,下面只是当天快照,下单前以控制台为准。区间是同一型号里较低档到较高档,不是月费估算。跑 Ollama,先看 24G 消费级;数据中心卡列在后面,方便对照,一般不必作为默认选项。

型号 大约小时价 更常见的用途
RTX 3090 ¥0.58–1.09 24G 消费级起步;落在官方默认上下文的 24–48 GiB 档
RTX 4090 ¥1.88–2.49 同为 24G,通常更快,小时价也更高
RTX 5090 ¥2.72–4.04 消费级更高一档;官方硬件支持名单已列入
A100 PCIe ¥1.88–4.27 更大显存;模型在 24G 上无法整卡放下时再考虑
A100 SXM4 ¥2.63–4.17 同上,接口和带宽不同
H100 ¥9.34–20.55 更大规模训练常用的档,快照里未再拆 NVL / SXM
H200 ¥18.43–26.27 更大显存的训练和推理,快照里合并报价

相关价格和说明:GPU租用、3090 租用、4090 租用、租GPU跑大模型。

怎么选卡

跑 Ollama,优先看显存能不能把模型完整放进 GPU,再看小时价。24G 的 3090、4090 通常是更合适的起点:3090 更便宜,4090 同为 24G、通常更快。5090 以及 A100、H100、H200 不要当默认选项。先短测,确认模型能加载并且主要在 GPU 上,再拉长任务。

官方 硬件支持 写明,Ollama 支持计算能力 5.0 及以上、驱动 550 及以上的 NVIDIA GPU;计算能力 5.0 到 6.2 的卡需要 570 及以上驱动。2026-11-14 查阅时,名单里包含 RTX 3090、RTX 4090、RTX 5090,以及 A100、H100、H200。这只说明这些型号在支持范围内,不是某张卡在我们平台上的实测速度。

官方 上下文长度 还按显存给出了默认上下文分档:不到 24 GiB 时默认 4k;24–48 GiB 时默认 32k;48 GiB 及以上默认 256k。把上下文开得更大,需要的显存也会增加。官方举例说,网络搜索、智能体和编程工具这类需要长上下文的任务,应至少设到 64000 tokens。24G 的 3090 和 4090 正好落在 24–48 GiB 这一档,所以作为起步更常见;只有模型或上下文明显超出 24G 时,再看更大显存的卡。

官方没有给出一张「所有模型各需要多少显存」的总表,不要用别人的参数量口诀来推断你这次一定能放下。快速开始里对 gemma4:e2b 的说明是:模型下载约 7.2 GB,建议有 8 GB 可用显存(或 Mac 上的统一内存);显存不够时也可以用系统内存,但会更慢。官方 FAQ 里 ollama ps 的示例中,llama3:70b 显示占用 42 GB。这只是文档里的一个例子,用来说明那一条目当时显示占用 42 GB,一张 24G 卡放不下这个示例里的整个模型;不能当成所有 70B 模型的固定占用。

拉起模型后,用官方文档里的 ollama ps 查看 PROCESSOR 一列:100% GPU 表示模型完整在显卡上;100% CPU 表示完全在系统内存里;出现 CPU/GPU 比例则是拆开加载。官方建议尽量避免把模型卸到 CPU。如果 24G 上经常只能部分加载,再考虑 A100 这类更大显存的型号。没有特别理由,不必为了跑 Ollama 先租 H100 或 H200。

我们没有把同一批模型在这些卡上逐一测完的记录,所以不要用别人的 tokens/秒表格来推断你这次一定有多快。先用接近需求的 24G 卡做一次短测试,确认进程能起来、ollama ps 显示主要在 GPU 上,再拉长任务。

更偏通用大模型训练和显存粗估的分档,见 租GPU跑大模型,和本页按 Ollama 官方文档选卡的出发点不同。

怎么开始,停的时候怎么计费

在 TapGPU 上按小时租,用支付宝充值。选好卡型后创建实例,再按官方文档在实例里安装并启动。Linux 环境里,官方安装命令是 curl -fsSL https://ollama.com/install.sh | sh。官方文档还建议(可选)安装 CUDA 驱动,并用 nvidia-smi 确认能看到 GPU。装好后,仓库说明和快速开始里用来运行模型的例子包括 ollama run gemma4 和 ollama run gemma4:e2b。模型列表以 官方模型库 为准。本地 API 默认在 127.0.0.1:11434。不要只复制这一条安装命令就当全部步骤;完整安装、配置和排错以 Linux 安装文档、快速开始 和 本地 FAQ 为准。若改用容器,见官方 Docker 说明。

第一次用可以先看 租用入门。支付宝步骤见 支付宝怎么充值租云GPU。可以先充够 1~2 小时对应型号的试错余额,跑通再按需追加。官方 FAQ 写明,Linux 上模型默认放在 /usr/share/ollama/.ollama/models,磁盘占用是另一笔费用,另计。

计费上有一个容易忽略的点:持久化实例如果只是停掉,GPU 往往仍在计费,通常要删除实例才会停掉 GPU 占用;磁盘是另一笔费用,另计。跑完就检查实例是不是还占着卡,不要以为「关机了就不花钱」。更细的说明见 停了为什么可能还在计费。选平台时要先看计费单位和起步价,见 GPU租赁平台怎么选。

常见问题

本地显卡不够,一定要先租 H100 吗?

不是。跑 Ollama,24G 的 3090 或 4090 通常更合适。H100 小时价高一个数量级(快照约 ¥9.34–20.55)。官方硬件支持名单虽然列入了这个型号,但没有特别理由,不必把它当作起点。

3090 和 4090 怎么选?

两张都是 24G,都落在官方默认上下文的 24–48 GiB 档。3090 更便宜(快照约 ¥0.58–1.09/小时);4090 更贵(约 ¥1.88–2.49/小时),通常更快。预算紧就先短测 3090;同一模型想更快,再试 4090。如果 ollama ps 显示模型经常无法整卡放入 24G,换更快的 24G 卡解决不了,需要更大显存的型号。

怎么确认模型用上了 GPU?

在实例里运行 ollama ps,看 PROCESSOR 一列。完整在 GPU 上会显示 100% GPU。具体含义以 官方 FAQ 为准。

怎么付款?

支付宝充值。可以先充够 1~2 小时对应型号的试错余额,跑通再按需追加。

价格以后会变吗?

会。本文数字是 2026-11-09 的控制台快照,下单以控制台为准。官方硬件名单、上下文默认值和安装命令也可能更新,以官方文档为准。

下一步

如果本地跑 Ollama 已经显存不够,或机器放不下你想要的模型和上下文,先对照官方硬件支持、上下文分档和小时价选一张 24G 消费级卡,然后到 首页 查看当前库存和价格。按小时租,用完检查实例是否还占用 GPU。

如果本地跑 Ollama 已经显存不够,或机器放不下你想要的模型和上下文,先对照官方硬件支持、上下文分档和小时价选一张 24G 消费级卡。按小时租,用完检查实例是否还占用 GPU。

打开首页查看当前库存 先看租用入门