Skip to content

Folders and files

NameName
Last commit message
Last commit date

Latest commit

 

History

3 Commits
 
 
 
 
 
 
 
 
 
 
 
 
 
 

Repository files navigation

ShouldIBuy — 本地跑 AI 模型:硬件能力 × 自部署价格

调研对象:https://github.com/midudev/canirun.ai(第三方依赖,clone 于 canirun.ai/)。 交互式散点图:index.htmldata.json 与本地 ECharts 已内置,任意静态服务打开即用;重算能力数据才需要 clone canirun.ai,见 §4)。 在线演示(GitHub Pages):https://mappedinfo.github.io/ShouldIBuy/

1. canirun.ai 是什么

浏览器端“我的硬件能跑哪些开源 LLM”评估器:

  • 硬件检测全在客户端(WebGL/WebGPU renderer 串、navigator.deviceMemory、CPU 微基准)。
  • 模型目录 83 个开源模型(0.6B–1T,含 MoE),每个模型按 7 档量化(Q2_K–F16)从参数量推算 VRAM 需求(含 0.5GB runtime 开销与真实 GGUF 尺寸修正)。
  • 评估引擎:可运行性(VRAM/统一内存阈值 + CPU offload 降级为 can-run-slow)→ tok/s ≈ 带宽 ÷ 工作集 × 效率(dGPU 0.70 / Apple 0.65)→ 合成 S–F 打分(speed 55% + 内存余量 35% + 规模奖励)。
  • 硬件库:GPU_DB(231 台,NVIDIA/AMD/Intel 桌面 + 笔记本 + 专业/数据卡)、APPLE_DB(M1–M5 全系统一内存/带宽)。
  • 技术栈:Astro 5 + Tailwind 4;另有 /api/models/api/compatibility 等 JSON API。

本地运行(已验证):

cd canirun.ai
pnpm install && pnpm dev   # http://localhost:4321

(注:本机的 HTTP_PROXY 环境变量会使 curl 直连 localhost 返回 502,用 curl --noproxy '*' 或浏览器即可。)

2. 性价比分析方法

不复算、不改写引擎:extract-capability.ts 直接 import 其 packages/modelspackages/compatibility, 对 231 台设备 × 83 模型 × 7 量化逐一调用原引擎 evaluateModelComplete(),聚合出每设备的: 可运行模型数 / 舒适运行数 / 综合 S–F 分总和 / 可运行最大模型 / 平均 tok/s(默认展示 Q4_K_M)。 结果在 data.json

价格:prices.json,2026-08-06 美国市场近似成交价(USD),新品取 MSRP/市售中位、二手取行情中位, 来源含 NVIDIA/Apple 官方与二手市场检索(详见各条 note;标注 estimated 的为估算)。 口径:独显按 32GB 内存主机评估(允许 CPU offload);Apple 为整机价;数据卡价格不含服务器整机与电费。

3. 关键发现(Q4_K_M,默认口径)

每美元能力(综合分/$1000)前列 —— 二手小卡靠“小模型全速 + 大模型 offload”取胜:

设备 价格 综合分 分/$1000
Intel Arc A750 8GB(二手) $120 3574 29.8k
Intel Arc A770 16GB(二手) $185 4553 24.6k
RTX 3060 12GB(二手) $185 3894 21.0k
Tesla P40 24GB(二手) $275 5001 18.2k
Radeon VII 16GB(二手) $260 4685 18.0k

绝对能力前列:RTX PRO 6000($9k, 96GB)≈ H100($25k)≈ A100($10k)——综合分 6.7k、71/83 模型可跑、最大 141B; H100 只在带宽(平均 791 tok/s vs 418)上拉开差距,为 2.8 倍价格换来的主要是速度而非覆盖面。

大模型覆盖的甜点(能跑 70B 级且便宜)

  • RTX A6000 48GB 二手 $1750:72B 舒适档,186 tok/s 均值——48GB 档最值。
  • Apple M1 Ultra 64GB 二手 $1500 / M2 Ultra 64GB 二手 $2450:72B,安静省电整机。
  • RTX 4090 二手 $1800、RX 7900 XTX 二手 $625:24GB 档速度王(均值 254 / 242 tok/s)。
  • DGX Spark $3999:128GB 统一内存独一档,能装 235B MoE,但带宽仅 273GB/s,速度换容量。

结论:只跑 ≤14B 模型,二手 Arc A770 / RTX 3060($185)即最实惠; 要 70B 级舒适体验,二手 RTX A6000($1750)或 M1 Ultra Mac Studio($1500)性价比最高; H100/PRO 6000 只有在需要吞吐或 96–141B 全内存时才谈得上“值”。

4. 复现

git clone https://github.com/mappedinfo/ShouldIBuy.git && cd ShouldIBuy
git clone https://github.com/midudev/canirun.ai.git canirun.ai   # 仅重算能力数据时需要
cd canirun.ai && pnpm install && pnpm exec tsx ../extract-capability.ts   # 重算 data.json
cd .. && python3 -m http.server 8123   # 打开 http://localhost:8123

prices.json 价格或加设备后重跑即可;散点图支持量化档位、能力指标、对数轴、等性价比线与前沿切换。

About

本地跑 AI 模型:硬件能力 vs 自部署价格 · 交互式性价比散点图(基于 canirun.ai 引擎)

Resources

Stars

1 star

Watchers

0 watching

Forks

Releases

Packages

Contributors

Languages