INT4 weight-only quantization of zai-org/GLM-5.3-Flash with the BF16 MTP draft head kept for speculative decoding. Only the 36,288 routed-expert GEMMs are INT4 (GPTQ, symmetric, group-size 128); attention, router, shared experts, embeddings, the vision tower and the MTP head stay in BF16. Not a new model — all capability comes from the base model. > **Two things that bite.** If your `config.json` predates 2026-09-08, re-download it — older copies fail in vLLM with `KeyError: 'layers.0.mlp.gate_up_proj.weight'` (weights are unchanged). And always pass `--max-num-seqs ≤ 512` — the vLLM default of 1024 exceeds this hybrid linear-attention model's 512 Mamba/KDA-state cache blocks. **H100 / H200, TP=4 (pinned image)** — the Quick start command is the benchmarked recipe. `num_speculative_tokens: 2` is the sweet spot on Hopper (52–55% acceptance; N=5 collapses acceptance to ~30%). Keep prefix caching off — it measured −2…−5% on H200. On 8× H200, two independent TP=4 replicas behind a load balancer beat one TP=8 endpoint by +28–38% aggregate at c128–c512; TP=8 wins single-stream and holds one 7.8M-token pool. On 2× H200 (89.5 GiB weights per GPU) add `--tensor-parallel-size 2 --max-num-seqs 128 --max-cudagraph-capture-size 128` for 262K, or `--max-model-len 1048576 --max-num-seqs 16 --gpu-memory-utilization 0.95 --max-cudagraph-capture-size 64 --max-num-batched-tokens 4096` for 1M.

번역 대기 중 · 원문 표시

시각 질의응답

입력 텍스트 · 이미지→ 출력 텍스트

요금 미확인멀티모달 및 채널 요금 별도 확인

자세히 보기 ↗

비교 추가출처 / 문서 ↗

COST EXPLORER

좋은 모델, 명확한 비용.

비용 분석

월간 토큰 사용량으로 예상 API 비용을 비교하세요.

월간 입력 토큰 10 M월간 출력 토큰 2 M1 M = 100만 토큰 · USD
동일 채널의 기본 텍스트 토큰 요금 비교

수집된 백만 토큰당 USD 요금입니다. 캐시 할인, 구간 요금, 추가 추론 출력, 세금은 제외됩니다. 최신 요금은 출처에서 확인하세요.

MODEL HANDBOOK

이해하고 선택하세요

선택 가이드 및 FAQ

API 요금은 어떻게 비교하나요?+

입력, 출력, 캐시 요금을 구분하고 동일 작업량으로 비교하세요. 이미지, 음성, 영상은 개수, 시간, 해상도로 과금될 수 있습니다.

오픈 웨이트는 무료 상업 이용을 뜻하나요?+

반드시 그렇지는 않습니다. 버전별 라이선스, 상업 이용 제한, 정책을 확인하세요. 자체 호스팅에는 연산 및 유지 비용도 듭니다.

1위 모델이 나에게 가장 적합한가요?+

순위는 작업, 버전, 평가 방식에 따라 다릅니다. 실제 업무로 정확도, 지연, 안정성, 비용을 비교하세요.

나에게 맞는 AI 모델을 찾아보세요.

AI 모델 탐색 5

DeepSeek-V4-Flash-W4A16-FP8-MTP

GLM-5.3-Flash-DFlash2-E

GLM-5.3-Flash-DFlash2-F

GLM-5.3-Flash-DFlash2-G

GLM-5.3-Flash-W4A16-MTP

일치하는 모델 없음

좋은 모델, 명확한 비용.

이해하고 선택하세요

뉴스로 흐름을, 도구로 효율을, 모델로 가능성을.