Abliteration / 拒答消融
通常指通过分析并修改权重中的拒答相关方向,降低模型拒答倾向的技术。实际效果因模型与实现而异,可能存在残余拒答和能力下降。研究背景可参考 Refusal in Language Models Is Mediated by a Single Direction。
Uncensored / 无审查
社区使用的宽泛标签,可能涉及微调、消融、数据选择或多种方法。它不是统一的评测标准。
Heretic
一种自动化模型消融工具。本站依据发布者名称与标签识别这一类别,不独立验证其具体配置。参见 Heretic 项目。
GGUF
常用于 llama.cpp 生态的模型文件格式,支持多种量化精度,便于本地 CPU、GPU 或混合推理。格式本身不代表模型能力。
量化 / Quantization
降低权重数值精度以减少内存与计算开销。Q4、Q8 等标签大致描述位宽,但实际文件大小还取决于架构和量化方案。
MLX
Apple 芯片上的机器学习框架及相关模型格式生态。Apple 统一内存可用于推理,不能直接等同于独立显卡显存。
基座模型 / Base model
当前模型的上游来源,可能是原始预训练模型、指令模型或中间微调模型。量化仓库声明的基座也可能是另一个量化或消融仓库。
B 与 MoE
B 表示十亿参数。MoE 是混合专家架构;例如 35B-A3B 通常表示约 35B 总参数、每 token 激活约 3B 参数。装载全部权重的内存仍主要取决于总参数量。
显存与 KV cache
推理内存包含权重、运行时缓冲和 KV cache。长上下文与高并发会扩大 KV cache,因此仅根据参数量估算无法保证模型一定能运行。
下载量
本站采用 Hugging Face 返回的近 30 天仓库下载统计,组内求和。下载量不是性能排名,也不是独立下载人数。