Batmandir · Guest Passes Step inside for a day. Guest passes from $161/day — brought in by a member. See guest passes →

自建 AI 搭建指南:2026 年真实街头价格分档

Stacked bar chart of upfront cost for three self-hosted AI build tiers in 2026, showing GPUs dominate every build.

3 min read · 580 words

阅读语言:English · Español · Русский · 中文 · Português

自己跑 AI 的说辞很诱人:没有按 token 计的账单,没有不是你自己写的内容过滤,你的数据也永远不离开你的场所。而 2026 年 9 月的现实是,要把这件事做好,硬件在过去一年里已大幅涨价——一场内存短缺把专业 GPU 的价格自发布以来推高了近 90%。本指南以当前街头价格列出三档诚实的配置、每一档实际能跑什么,以及——同样重要的——自建解决不了什么。这里的价格已在 2026 年 9 月 13 日对照零售商与二手市场的挂牌价核对过。

Stacked bar chart of upfront cost for three self-hosted AI build tiers in 2026, showing GPUs dominate every build.
按 2026 年 9 月街头价格的三档配置。在每一种情况下,GPU 都占了成本的绝大部分。(图表为英文)

在进入各档之前,先记住一个数字:GPU 就是这台机器的全部。在入门配置里,显卡略超过总价的一半;在两个更大的配置里,它们占了每一美元里的 85 到 90 美分。其余的一切——CPU、主板、内存、供电、散热——相比之下都只是舍入误差。这意味着你的决定其实是一个关于用哪些 GPU、用几块的决定。

Batmandir · The Circle Full access to theatres, museums & exhibitions. S2 · ongoing membership, without a Founder’s seat. Explore membership →

第一档 — 最具性价比,约 3,000–3,500 美元(48GB 显存)

两块二手 RTX 3090 仍是本地 AI 的性价比之王。截至 2026 年 9 月,每块 24GB 的卡在二手市场约为 700 到 1,050 美元,让你以约 1,800 美元获得合计 48GB 的显存。再配上一颗主流的 12 核 CPU、一块 PCIe 间距合理的主板、128GB 系统内存、一块 2TB NVMe 硬盘和一个强劲的 1,300–1,500W 电源,整机约落在 3,200 美元。它在满载时大约消耗 700W,所以要给它单独一路 15–20A 的电路,并把两块卡拉开间距,以免因过热而降频。

它能跑什么:700 亿参数级别的开源模型——Llama 和 Qwen 70–72B 系列——量化到 4-bit,达到真正可用的质量。这是一台胜任的私有助手,适合起草、摘要和日常的编程辅助。它力不从心的地方是长链条、多步骤的智能体工作和浏览器自动化,在这些方面开源模型仍落后于前沿。

第二档 — 接近前沿,约 32,000–37,000 美元(192GB 显存)

这是 2026 年 GPU 短缺打击最重的一档,也是我们的数字与哪怕几个月前写就的指南分歧最大的地方。让这一档成立的卡是 NVIDIA 的 RTX PRO 6000 Blackwell,每块配 96GB GDDR7。它于 2025 年 3 月以 8,565 美元的建议零售价上市。截至 2026 年 9 月,NVIDIA 自家的市场把它标为 $16,000——上涨 87%——Newegg 和 B&H 都在约 15,999 美元,二手挂牌价甚至更高。背后的推手是一场看不到近期缓解的 GDDR7 内存短缺;这块卡 96GB 的双面(clamshell)设计使它对内存供应格外敏感。

两块这样的卡(合计 192GB)如今单显卡就要约 32,000 美元。再加上一套 Threadripper 级别的工作站平台、256GB ECC 内存、快速存储和一个 2,000W 级电源,整机约落在 37,000 美元——明显高于这一档过去的“约 3 万美元”。我们的报道发现了一个省钱的点:同一款卡的 300W Max-Q 版本挂牌价约在 8,300 美元,而 NVIDIA 表示其 AI 性能与 600W 版本实际上完全相同,因此一套双卡 Max-Q 配置可以把这一档拉回到 2 万美元出头,同时在多 GPU 机箱里运行得更凉快。

它能跑什么:接近前沿的开源模型——Qwen3-235B、DeepSeek-R1、GLM——在 4-bit 下达到真实质量。这是在单台机器里最贴近商业前沿模型所做的那类智能体工作的现实选择。满载功耗为 1.3–1.5kW;它需要一个通风的房间,最好还有一路专用的 20A 电路。

第三档 — 对等与速度,约 250,000 美元起(640GB 显存)

一台八路 H100 服务器就是“什么都能跑、快、面向多用户”的一档。全新的 H100 80GB 卡每块约 25,000 到 31,000 美元,因此八块约为 224,000 美元,还没算上让它们真正物尽其用的服务器机箱、CPU、高速网络和 NVLink 互联——全部算下来约 250,000 到 320,000 美元。对单个编辑部或小团队来说这是杀鸡用牛刀;它真正的理由是面向大量并发用户的高吞吐,而多数自建者并不需要这个。

档位GPU显存前期投入(2026 年 9 月)擅长运行
最具性价比2 块二手 RTX 309048GB约 $3,20070B 级开源模型(Q4)
接近前沿2 块 RTX PRO 6000 96GB192GB约 $32,000–37,000Qwen3-235B / DeepSeek-R1 / GLM
对等 + 速度8 块 H100 80GB640GB约 $250,000–320,000什么都能跑,高吞吐
组件参考(2026 年 9 月街头价):二手 RTX 3090 24GB 约 $700–1,050;RTX PRO 6000 Blackwell 96GB 约 $16,000(Max-Q 约 $8,300);H100 80GB 约 $25,000–31,000。

对于大档位,租用如今是诚实的默认选择

硬件通胀的另一面是,云端租用费率保持了相对稳定。一块 RTX PRO 6000 的租金视服务商而定,约为每 GPU 小时 1.57 到 5.50 美元;一块 H100 约可按每小时 3.20 美元获得。按这些费率,一块 16,000 美元的卡相当于数千小时的租用——而租用没有折旧、没有维护,也不必承受下一次内存涨价的冲击。对入门档以上的任何配置,2026 年买还是租的账算下来越来越偏向租用,除非你近乎不间断地使用硬件,或你的数据隐私要求完全禁止上云。而对许多自建者来说,那条隐私要求正是全部意义所在——这也是即便表格说该租、仍值得买的一个正当理由。

每套配置的软件栈都一样

无论哪一档,配方都一致:Ubuntu 24.04 LTS 搭配当前的 NVIDIA 驱动和 CUDA;一个推理服务器(追求速度和 OpenAI 兼容 API 用 vLLM,追求简单用 Ollama);用 Open WebUI 作为 ChatGPT 风格的前端;模型以 4-bit 拉取以塞进显存。真正隐藏的成本不是 GPU——而是智能体层。商业助手里内置的工具调用、浏览器控制和连接器管道,都得你自己用一个连接到你 API 的智能体框架重建。为此要按天、而不是按小时来预留时间。

自建能解决什么——又解决不了什么

它确实解决三件事:没有不是你自己写的内容黑名单、完整的数据隐私与控制,以及硬件回本后每 token 零成本。它解决不了社交媒体自动化(Reddit、X 和 LinkedIn 是在它们那端而非模型端封杀机器人),它无法解锁受限的 SaaS 订阅,它也无法弥合在长链条、多步骤智能体任务上的质量差距——在这些方面开源模型仍落后于前沿。而且没有托管的正常运行保障:如果它凌晨两点挂了,那就是你自己上。关于这笔交易的 token 成本一面——你每百万 token 实际省下了多少——请看我们的 AI 模型成本追踪。这一切之下的电费是自成一项的开销,我们在一篇配套文章中拆解了家用主机第一年的运行成本。

我们的做法

我们按私有 AI 常被引用的价位搭建了三套参考配置,然后在 2026 年 9 月 13 日对照零售商和二手市场的实时挂牌价,为承重的部件——GPU——定价,并以标准工作站和服务器部件估算了外围系统。内存短缺期间的 GPU 价格波动剧烈,且因日期、零售商和成色而异;总价为近似并取整,购买前应重新核对。所引用的租用费率是同一周各服务商的按需标价。

译自英文原文。

Share this story