This repository hosts **W4A16 INT4-quantized** versions of `google/gemma-4-E4B-it`, a multimodal mixture-of-experts model supporting text, vision, and audio inputs. Two quantized variants are available: > **Note on MTP / Speculative Decoding:** > If you want to use the official speculative decoding assistant model (`google/gemma-4-E4B-it-assistant`) for MTP support, it is recommended to use the `vllm/vllm-openai:gemma4-0505-cu129` Docker image, which includes newer Gemma 4 support and decoding patches. > > Due to INT4 quantization, the assistant acceptance rate may be lower compared to the original unquantized `google/gemma-4-E4B-it` model. > **Note:** Only the language model (LM) layers are quantized to INT4. The vision tower, audio tower, and multimodal projectors are kept at full precision (BF16) to preserve multimodal quality.

翻訳待ち・原文を表示

画像質問応答

入力テキスト · 画像→ 出力テキスト

料金未確認マルチモーダル・チャネル料金は個別に確認

詳細を見る ↗

比較に追加出典・文書 ↗

Qwen3.5-9B-W4A16-AutoRound-AWQ

Vishva007

基础档案已收录，详细介绍后续补充。可先查看厂商、分类与来源。

基本情報を収録・詳細は順次追加

分類準備中

入力未確認→ 出力未確認

料金未確認マルチモーダル・チャネル料金は個別に確認

詳細を見る ↗

比較に追加出典・文書 ↗

Qwen3.5-9B-W4A16-AutoRound-GPTQ

Vishva007

基础档案已收录，详细介绍后续补充。可先查看厂商、分类与来源。

基本情報を収録・詳細は順次追加

分類準備中

入力未確認→ 出力未確認

料金未確認マルチモーダル・チャネル料金は個別に確認

詳細を見る ↗

比較に追加出典・文書 ↗

Qwen3.8-27B-W4A16-AutoRound

Vishva007

翻訳待ち・原文を表示

画像質問応答

入力テキスト · 画像→ 出力テキスト

料金未確認マルチモーダル・チャネル料金は個別に確認

詳細を見る ↗

比較に追加出典・文書 ↗

Qwen3.8-27B-W4A16-AutoRound-GPTQ

Vishva007

This repository contains a **W4A16 (4-bit weights, 16-bit activations)** quantized version of Qwen/Qwen3.8-27B generated using Intel's AutoRound algorithm. The model was calibrated and quantized using production-grade settings to minimize accuracy degradation while significantly lowering VRAM requirements: * **Quantization Algorithm:** AutoRound * **Bits / Precision:** W4A16 (4-bit integer weights, 16-bit activation) * **Group Size:** 64 (provides higher reconstruction fidelity than standard 128) * **Symmetric (`sym`):** `True` * **Calibration Samples (`nsamples`):** 512 * **Tuning Iterations (`iters`):** 600 * **Vision Tower (`quant_nontext_module`):** `False` (Kept in **BF16** to preserve visual reasoning and OCR precision) * **Special Modules (`layer_config`):** Multi-Token Prediction (`mtp`, `mtp.fc`) layers preserved in native `bfloat16`.

翻訳待ち・原文を表示

画像質問応答

入力テキスト · 画像→ 出力テキスト

料金未確認マルチモーダル・チャネル料金は個別に確認

詳細を見る ↗

比較に追加出典・文書 ↗

Qwen3-VL-8B-Instruct-W4A16-AutoRound

Vishva007

基础档案已收录，详细介绍后续补充。可先查看厂商、分类与来源。

画像質問応答

入力テキスト · 画像→ 出力テキスト

料金未確認マルチモーダル・チャネル料金は個別に確認

詳細を見る ↗

比較に追加出典・文書 ↗

Qwen3-VL-8B-Instruct-W4A16-AutoRound-AWQ

Vishva007

This model is the **AWQ (Activation-aware Weight Quantization)** export of Qwen/Qwen3-VL-8B-Instruct. It combines the **speed of AWQ** with the **accuracy of AutoRound**. The weights were fine-tuned for 800 steps to ensure the 4-bit degradation is negligible. The vision tower remains in full precision (FP16) to maintain top-tier performance on OCR and visual tasks. One-click launch environments pre-configured with PyTorch, CUDA, and dependencies for fine-tuning or quantization.

翻訳待ち・原文を表示

画像質問応答

入力テキスト · 画像→ 出力テキスト

料金未確認マルチモーダル・チャネル料金は個別に確認

詳細を見る ↗

比較に追加出典・文書 ↗

COST EXPLORER

モデル選びに、費用の視点も。

コスト分析

月間トークン数を調整してAPI費用を比較。

月間入力トークン 10 M月間出力トークン 2 M1 M = 100万トークン・米ドル
同一チャネルの基本テキスト料金を比較

収集済みの比較可能な100万トークン当たり米ドル料金です。キャッシュ割引、段階料金、追加推論出力、税金は含みません。最新料金は出典で確認してください。

MODEL HANDBOOK

モデルを理解して選ぶ

選び方とよくある質問

API料金はどう比較しますか？+

入力・出力・キャッシュ料金を分け、同じ用途と使用量で総費用を比較します。画像・音声・動画は枚数、時間、解像度で課金される場合があります。

オープンウェイトは無料で商用利用できますか？+

必ずしもそうではありません。バージョンごとのライセンス、商用制限、ポリシーを確認してください。自前運用には計算資源と保守費用も必要です。

ランキング1位が最適ですか？+

順位はテスト、バージョン、評価方法によります。実際の業務データで精度、遅延、安定性、費用を比較してください。

あなたに合う AIモデルを。

AIモデルを探す 10

gemma-4-12B-it-W4A16-AutoRound

gemma-4-12B-it-W4A16-AutoRound-AWQ

gemma-4-E2B-it-W4A16-AutoRound

gemma-4-E4B-it-W4A16-AutoRound-GPTQ

Qwen3.5-9B-W4A16-AutoRound-AWQ

Qwen3.5-9B-W4A16-AutoRound-GPTQ

Qwen3.8-27B-W4A16-AutoRound

Qwen3.8-27B-W4A16-AutoRound-GPTQ

Qwen3-VL-8B-Instruct-W4A16-AutoRound

Qwen3-VL-8B-Instruct-W4A16-AutoRound-AWQ

該当するモデルがありません

モデル選びに、費用の視点も。

モデルを理解して選ぶ

ニュースで知り、ツールで効率化、モデルで可能性を。