This repository hosts **W4A16 INT4-quantized** versions of `google/gemma-4-E4B-it`, a multimodal mixture-of-experts model supporting text, vision, and audio inputs. Two quantized variants are available: > **Note on MTP / Speculative Decoding:** > If you want to use the official speculative decoding assistant model (`google/gemma-4-E4B-it-assistant`) for MTP support, it is recommended to use the `vllm/vllm-openai:gemma4-0505-cu129` Docker image, which includes newer Gemma 4 support and decoding patches. > > Due to INT4 quantization, the assistant acceptance rate may be lower compared to the original unquantized `google/gemma-4-E4B-it` model. > **Note:** Only the language model (LM) layers are quantized to INT4. The vision tower, audio tower, and multimodal projectors are kept at full precision (BF16) to preserve multimodal quality.

译文排队中 · 当前显示来源原文

视觉问答

输入文本 · 图像→ 输出文本

价格待核验多模态与渠道费用须分别核对

查看详情 ↗

加入对比来源 / 文档 ↗

Qwen3.5-9B-W4A16-AutoRound-AWQ

Vishva007

基础档案已收录，详细介绍后续补充。可先查看厂商、分类与来源。

基础资料已收录 · 缺失资料后续补充

分类待补充

输入待核验→ 输出待核验

价格待核验多模态与渠道费用须分别核对

查看详情 ↗

加入对比来源 / 文档 ↗

Qwen3.5-9B-W4A16-AutoRound-GPTQ

Vishva007

基础档案已收录，详细介绍后续补充。可先查看厂商、分类与来源。

基础资料已收录 · 缺失资料后续补充

分类待补充

输入待核验→ 输出待核验

价格待核验多模态与渠道费用须分别核对

查看详情 ↗

加入对比来源 / 文档 ↗

Qwen3.8-27B-W4A16-AutoRound

Vishva007

译文排队中 · 当前显示来源原文

视觉问答

输入文本 · 图像→ 输出文本

价格待核验多模态与渠道费用须分别核对

查看详情 ↗

加入对比来源 / 文档 ↗

Qwen3.8-27B-W4A16-AutoRound-GPTQ

Vishva007

This repository contains a **W4A16 (4-bit weights, 16-bit activations)** quantized version of Qwen/Qwen3.8-27B generated using Intel's AutoRound algorithm. The model was calibrated and quantized using production-grade settings to minimize accuracy degradation while significantly lowering VRAM requirements: * **Quantization Algorithm:** AutoRound * **Bits / Precision:** W4A16 (4-bit integer weights, 16-bit activation) * **Group Size:** 64 (provides higher reconstruction fidelity than standard 128) * **Symmetric (`sym`):** `True` * **Calibration Samples (`nsamples`):** 512 * **Tuning Iterations (`iters`):** 600 * **Vision Tower (`quant_nontext_module`):** `False` (Kept in **BF16** to preserve visual reasoning and OCR precision) * **Special Modules (`layer_config`):** Multi-Token Prediction (`mtp`, `mtp.fc`) layers preserved in native `bfloat16`.

译文排队中 · 当前显示来源原文

视觉问答

输入文本 · 图像→ 输出文本

价格待核验多模态与渠道费用须分别核对

查看详情 ↗

加入对比来源 / 文档 ↗

Qwen3-VL-8B-Instruct-W4A16-AutoRound

Vishva007

基础档案已收录，详细介绍后续补充。可先查看厂商、分类与来源。

视觉问答

输入文本 · 图像→ 输出文本

价格待核验多模态与渠道费用须分别核对

查看详情 ↗

加入对比来源 / 文档 ↗

Qwen3-VL-8B-Instruct-W4A16-AutoRound-AWQ

Vishva007

This model is the **AWQ (Activation-aware Weight Quantization)** export of Qwen/Qwen3-VL-8B-Instruct. It combines the **speed of AWQ** with the **accuracy of AutoRound**. The weights were fine-tuned for 800 steps to ensure the 4-bit degradation is negligible. The vision tower remains in full precision (FP16) to maintain top-tier performance on OCR and visual tasks. One-click launch environments pre-configured with PyTorch, CUDA, and dependencies for fine-tuning or quantization.

译文排队中 · 当前显示来源原文

视觉问答

输入文本 · 图像→ 输出文本

价格待核验多模态与渠道费用须分别核对

查看详情 ↗

加入对比来源 / 文档 ↗

COST EXPLORER

好模型，也要算好成本。

费用分析

调整月度 Token 用量，直观比较不同模型的预估 API 开支。

每月输入 Token 10 M每月输出 Token 2 M1 M = 100 万 Token · 美元计价
仅比较同一渠道的基础文本 Token 报价

使用已采集且单位可比的 USD / 百万 Token 渠道报价。报价为采集时快照；不计缓存优惠、阶梯价、推理额外输出与税费，请以来源的当前报价为准。

MODEL HANDBOOK

读懂模型，再做选择

选型与常见问题

API 价格应该怎么比较？+

先区分输入、输出和缓存价格，再使用同一任务和用量估算总费用。图像、音频和视频可能按张、时长或分辨率计费，不能直接与 Token 单价比较。

开放权重，就代表可以免费商用吗？+

不一定。必须逐一核对具体模型版本的许可证、商用限制及使用政策。自己部署还需要考虑显存、推理资源和运维费用。

排行榜第一，就是最适合我的模型吗？+

榜单取决于测试任务、版本与评测方法。建议用实际业务样本比较准确性、时延、稳定性和成本，再选择模型。

找到适合你的 AI 模型。

探索 AI 模型 10

gemma-4-12B-it-W4A16-AutoRound

gemma-4-12B-it-W4A16-AutoRound-AWQ

gemma-4-E2B-it-W4A16-AutoRound

gemma-4-E4B-it-W4A16-AutoRound-GPTQ

Qwen3.5-9B-W4A16-AutoRound-AWQ

Qwen3.5-9B-W4A16-AutoRound-GPTQ

Qwen3.8-27B-W4A16-AutoRound

Qwen3.8-27B-W4A16-AutoRound-GPTQ

Qwen3-VL-8B-Instruct-W4A16-AutoRound

Qwen3-VL-8B-Instruct-W4A16-AutoRound-AWQ

暂未找到匹配模型

好模型，也要算好成本。

读懂模型，再做选择

资讯看趋势，工具提效率，模型筑可能。