This repository hosts **W4A16 INT4-quantized** versions of `google/gemma-4-E4B-it`, a multimodal mixture-of-experts model supporting text, vision, and audio inputs. Two quantized variants are available: > **Note on MTP / Speculative Decoding:** > If you want to use the official speculative decoding assistant model (`google/gemma-4-E4B-it-assistant`) for MTP support, it is recommended to use the `vllm/vllm-openai:gemma4-0505-cu129` Docker image, which includes newer Gemma 4 support and decoding patches. > > Due to INT4 quantization, the assistant acceptance rate may be lower compared to the original unquantized `google/gemma-4-E4B-it` model. > **Note:** Only the language model (LM) layers are quantized to INT4. The vision tower, audio tower, and multimodal projectors are kept at full precision (BF16) to preserve multimodal quality.

번역 대기 중 · 원문 표시

시각 질의응답

입력 텍스트 · 이미지→ 출력 텍스트

요금 미확인멀티모달 및 채널 요금 별도 확인

자세히 보기 ↗

비교 추가출처 / 문서 ↗

Qwen3.5-9B-W4A16-AutoRound-AWQ

Vishva007

基础档案已收录，详细介绍后续补充。可先查看厂商、分类与来源。

기본 정보 등록 · 상세 정보 보완 예정

분류 준비 중

입력 미확인→ 출력 미확인

요금 미확인멀티모달 및 채널 요금 별도 확인

자세히 보기 ↗

비교 추가출처 / 문서 ↗

Qwen3.5-9B-W4A16-AutoRound-GPTQ

Vishva007

基础档案已收录，详细介绍后续补充。可先查看厂商、分类与来源。

기본 정보 등록 · 상세 정보 보완 예정

분류 준비 중

입력 미확인→ 출력 미확인

요금 미확인멀티모달 및 채널 요금 별도 확인

자세히 보기 ↗

비교 추가출처 / 문서 ↗

Qwen3.8-27B-W4A16-AutoRound

Vishva007

번역 대기 중 · 원문 표시

시각 질의응답

입력 텍스트 · 이미지→ 출력 텍스트

요금 미확인멀티모달 및 채널 요금 별도 확인

자세히 보기 ↗

비교 추가출처 / 문서 ↗

Qwen3.8-27B-W4A16-AutoRound-GPTQ

Vishva007

This repository contains a **W4A16 (4-bit weights, 16-bit activations)** quantized version of Qwen/Qwen3.8-27B generated using Intel's AutoRound algorithm. The model was calibrated and quantized using production-grade settings to minimize accuracy degradation while significantly lowering VRAM requirements: * **Quantization Algorithm:** AutoRound * **Bits / Precision:** W4A16 (4-bit integer weights, 16-bit activation) * **Group Size:** 64 (provides higher reconstruction fidelity than standard 128) * **Symmetric (`sym`):** `True` * **Calibration Samples (`nsamples`):** 512 * **Tuning Iterations (`iters`):** 600 * **Vision Tower (`quant_nontext_module`):** `False` (Kept in **BF16** to preserve visual reasoning and OCR precision) * **Special Modules (`layer_config`):** Multi-Token Prediction (`mtp`, `mtp.fc`) layers preserved in native `bfloat16`.

번역 대기 중 · 원문 표시

시각 질의응답

입력 텍스트 · 이미지→ 출력 텍스트

요금 미확인멀티모달 및 채널 요금 별도 확인

자세히 보기 ↗

비교 추가출처 / 문서 ↗

Qwen3-VL-8B-Instruct-W4A16-AutoRound

Vishva007

基础档案已收录，详细介绍后续补充。可先查看厂商、分类与来源。

시각 질의응답

입력 텍스트 · 이미지→ 출력 텍스트

요금 미확인멀티모달 및 채널 요금 별도 확인

자세히 보기 ↗

비교 추가출처 / 문서 ↗

Qwen3-VL-8B-Instruct-W4A16-AutoRound-AWQ

Vishva007

This model is the **AWQ (Activation-aware Weight Quantization)** export of Qwen/Qwen3-VL-8B-Instruct. It combines the **speed of AWQ** with the **accuracy of AutoRound**. The weights were fine-tuned for 800 steps to ensure the 4-bit degradation is negligible. The vision tower remains in full precision (FP16) to maintain top-tier performance on OCR and visual tasks. One-click launch environments pre-configured with PyTorch, CUDA, and dependencies for fine-tuning or quantization.

번역 대기 중 · 원문 표시

시각 질의응답

입력 텍스트 · 이미지→ 출력 텍스트

요금 미확인멀티모달 및 채널 요금 별도 확인

자세히 보기 ↗

비교 추가출처 / 문서 ↗

COST EXPLORER

좋은 모델, 명확한 비용.

비용 분석

월간 토큰 사용량으로 예상 API 비용을 비교하세요.

월간 입력 토큰 10 M월간 출력 토큰 2 M1 M = 100만 토큰 · USD
동일 채널의 기본 텍스트 토큰 요금 비교

수집된 백만 토큰당 USD 요금입니다. 캐시 할인, 구간 요금, 추가 추론 출력, 세금은 제외됩니다. 최신 요금은 출처에서 확인하세요.

MODEL HANDBOOK

이해하고 선택하세요

선택 가이드 및 FAQ

API 요금은 어떻게 비교하나요?+

입력, 출력, 캐시 요금을 구분하고 동일 작업량으로 비교하세요. 이미지, 음성, 영상은 개수, 시간, 해상도로 과금될 수 있습니다.

오픈 웨이트는 무료 상업 이용을 뜻하나요?+

반드시 그렇지는 않습니다. 버전별 라이선스, 상업 이용 제한, 정책을 확인하세요. 자체 호스팅에는 연산 및 유지 비용도 듭니다.

1위 모델이 나에게 가장 적합한가요?+

순위는 작업, 버전, 평가 방식에 따라 다릅니다. 실제 업무로 정확도, 지연, 안정성, 비용을 비교하세요.

나에게 맞는 AI 모델을 찾아보세요.

AI 모델 탐색 10

gemma-4-12B-it-W4A16-AutoRound

gemma-4-12B-it-W4A16-AutoRound-AWQ

gemma-4-E2B-it-W4A16-AutoRound

gemma-4-E4B-it-W4A16-AutoRound-GPTQ

Qwen3.5-9B-W4A16-AutoRound-AWQ

Qwen3.5-9B-W4A16-AutoRound-GPTQ

Qwen3.8-27B-W4A16-AutoRound

Qwen3.8-27B-W4A16-AutoRound-GPTQ

Qwen3-VL-8B-Instruct-W4A16-AutoRound

Qwen3-VL-8B-Instruct-W4A16-AutoRound-AWQ

일치하는 모델 없음

좋은 모델, 명확한 비용.

이해하고 선택하세요

뉴스로 흐름을, 도구로 효율을, 모델로 가능성을.