模型索引 / 显存估算
THE OPEN MODEL INDEX
我的电脑能跑吗？
从参数量和量化精度开始，估算装载模型所需的显存。
预计显存 5.6 GB
仅为粗略估算。
估算公式：参数量（B）× 位宽 ÷ 8 × 1.15 + 1 GB。不包含准确的 KV cache 计算；长上下文、多模态、专家卸载与不同运行时会改变实际占用。
从参数量和量化精度开始，估算装载模型所需的显存。
仅为粗略估算。
估算公式：参数量（B）× 位宽 ÷ 8 × 1.15 + 1 GB。不包含准确的 KV cache 计算；长上下文、多模态、专家卸载与不同运行时会改变实际占用。