模型索引 / 模型术语表
THE OPEN MODEL INDEX

模型术语表

中文解释 Abliteration、Heretic、GGUF、MLX、量化、基座模型、MoE、上下文与显存等开放模型常用术语。

Abliteration / 拒答消融

通常指通过分析并修改权重中的拒答相关方向,降低模型拒答倾向的技术。实际效果因模型与实现而异,可能存在残余拒答和能力下降。研究背景可参考 Refusal in Language Models Is Mediated by a Single Direction。

Uncensored / 无审查

社区使用的宽泛标签,可能涉及微调、消融、数据选择或多种方法。它不是统一的评测标准。

Heretic

一种自动化模型消融工具。本站依据发布者名称与标签识别这一类别,不独立验证其具体配置。参见 Heretic 项目。

GGUF

常用于 llama.cpp 生态的模型文件格式,支持多种量化精度,便于本地 CPU、GPU 或混合推理。格式本身不代表模型能力。

量化 / Quantization

降低权重数值精度以减少内存与计算开销。Q4、Q8 等标签大致描述位宽,但实际文件大小还取决于架构和量化方案。

MLX

Apple 芯片上的机器学习框架及相关模型格式生态。Apple 统一内存可用于推理,不能直接等同于独立显卡显存。

基座模型 / Base model

当前模型的上游来源,可能是原始预训练模型、指令模型或中间微调模型。量化仓库声明的基座也可能是另一个量化或消融仓库。

B 与 MoE

B 表示十亿参数。MoE 是混合专家架构;例如 35B-A3B 通常表示约 35B 总参数、每 token 激活约 3B 参数。装载全部权重的内存仍主要取决于总参数量。

显存与 KV cache

推理内存包含权重、运行时缓冲和 KV cache。长上下文与高并发会扩大 KV cache,因此仅根据参数量估算无法保证模型一定能运行。

下载量

本站采用 Hugging Face 返回的近 30 天仓库下载统计,组内求和。下载量不是性能排名,也不是独立下载人数。