从语言到影像，从开源到 API。读懂模型能力、比较真实成本，
为你的下一个想法，找到合适的智能引擎。
**Model details:** - Parameter count: 9B - Input support: text, image (with mmproj file) - details - Speculative decoding: no - imatrix: yes - details **Don't know which to choose?** Grab Q4_K_M (5.84GB) - usually a good mix of size and performance. Download instructions available here These quants run with llama.cpp - installable in one line via llama.app:
译文排队中 · 当前显示来源原文
基础档案已收录，详细介绍后续补充。可先查看厂商、分类与来源。
基础档案已收录，详细介绍后续补充。可先查看厂商、分类与来源。
基础档案已收录，详细介绍后续补充。可先查看厂商、分类与来源。
**Model details:** - Parameter count: 35B (source checkpoint) - Input support: text, image (with mmproj file) - details - Speculative decoding: no - imatrix: yes - details **Don't know which to choose?** Grab Q4_K_M (22.32GB) - usually a good mix of size and performance. Download instructions available here The files marked `true` in the Split column above are stored as multiple parts in a folder. To download all the parts to a local folder, run:
译文排队中 · 当前显示来源原文
**Model details:** - Parameter count: 3B - Input support: text - Speculative decoding: no - imatrix: yes - details **Don't know which to choose?** Grab Q4_K_M (1.62GB) - usually a good mix of size and performance. Download instructions available here These quants were made with llama.cpp release b10883 - if this model's architecture is newly supported, you'll need that release or newer to run them.
译文排队中 · 当前显示来源原文
基础档案已收录，详细介绍后续补充。可先查看厂商、分类与来源。
基础资料已收录 · 缺失资料后续补充
基础档案已收录，详细介绍后续补充。可先查看厂商、分类与来源。
基础档案已收录，详细介绍后续补充。可先查看厂商、分类与来源。
基础资料已收录 · 缺失资料后续补充
If running with CUDA on a model that has `Q4_K` or `Q5_K` for `61.blk.ffn_down_exps` you should compile with the following flag: to avoid `NaN` activations. This is most likely an issue in `llama.cpp` itself and will hopefully be resolved, but in the meantime this fixes the issue. You can check in the info on huggingface which models are affected, but it seems to be `Q5_K_S`, `Q4_K_S`, `Q3_K_XL`, `Q3_K_L`, `Q3_K_M`, `IQ3_M`, `IQ3_XS`, and `IQ3_XXS`
译文排队中 · 当前显示来源原文
基础档案已收录，详细介绍后续补充。可先查看厂商、分类与来源。
Some of these quants (Q3_K_XL, Q4_K_L etc) are the standard quantization method with the embeddings and output weights quantized to Q8_0 instead of what they would normally default to. Some say that this improves the quality, others don't notice any difference. If you use these models PLEASE COMMENT with your findings. I would like feedback that these are actually used and useful so I don't keep uploading quants no one is using. If the model is bigger than 50GB, it will have been split into multiple files. In order to download them all to a local folder, run:
译文排队中 · 当前显示来源原文
基础档案已收录，详细介绍后续补充。可先查看厂商、分类与来源。
基础档案已收录，详细介绍后续补充。可先查看厂商、分类与来源。
基础资料已收录 · 缺失资料后续补充
基础档案已收录，详细介绍后续补充。可先查看厂商、分类与来源。
基础档案已收录，详细介绍后续补充。可先查看厂商、分类与来源。
基础资料已收录 · 缺失资料后续补充
基础档案已收录，详细介绍后续补充。可先查看厂商、分类与来源。
基础档案已收录，详细介绍后续补充。可先查看厂商、分类与来源。
基础资料已收录 · 缺失资料后续补充
基础档案已收录，详细介绍后续补充。可先查看厂商、分类与来源。
基础资料已收录 · 缺失资料后续补充
基础档案已收录，详细介绍后续补充。可先查看厂商、分类与来源。
基础档案已收录，详细介绍后续补充。可先查看厂商、分类与来源。
基础资料已收录 · 缺失资料后续补充
基础档案已收录，详细介绍后续补充。可先查看厂商、分类与来源。
基础档案已收录，详细介绍后续补充。可先查看厂商、分类与来源。
基础资料已收录 · 缺失资料后续补充
基础档案已收录，详细介绍后续补充。可先查看厂商、分类与来源。
基础资料已收录 · 缺失资料后续补充
可以调整厂商、分类或输入输出条件；新模型正持续收录。
调整月度 Token 用量，直观比较不同模型的预估 API 开支。
使用已采集且单位可比的 USD / 百万 Token 渠道报价。报价为采集时快照；不计缓存优惠、阶梯价、推理额外输出与税费，请以来源的当前报价为准。
先区分输入、输出和缓存价格，再使用同一任务和用量估算总费用。图像、音频和视频可能按张、时长或分辨率计费，不能直接与 Token 单价比较。
不一定。必须逐一核对具体模型版本的许可证、商用限制及使用政策。自己部署还需要考虑显存、推理资源和运维费用。
榜单取决于测试任务、版本与评测方法。建议用实际业务样本比较准确性、时延、稳定性和成本，再选择模型。
