Qwen3.8-Flash-Next is 360 GB in BF16 and needs two data-center GPUs in FP8. This build serves it on one 96 GB Blackwell : 88.8 GiB of VRAM, the 51B n-gram table in host RAM, and no patched runtime. Two flags are load-bearing on a single GPU. `--distributed-executor-backend mp`: the default single-GPU executor never starts the n-gram offload worker, and the first forward waits on it forever — the server looks healthy and hangs. `VLLM_PLE_OFFLOAD_READY_TIMEOUT=1800`: the worker loads a 95 GB table before serving and the 600 s default can expire first. Host needs about 100 GB of free RAM. The reasoning parser and tool-call parser in this block are validated on this exact checkpoint: thinking lands in `reasoning` with no markup in `content`, and tool calls arrive as structured `tool_calls` with valid JSON arguments and `finish_reason: tool_calls`. If you have seen other NVFP4 cards warn that the automatic MoE backend picks `FLASHINFER_TRTLLM` and corrupts output: on this image on an RTX PRO 6000 the automatic choice is `FLASHINFER_CUTLASS`, printed at boot, and every number on this card went through it. Measured on the mixed sibling (same expert kernel), `--moe-backend marlin` decodes 10% faster single-stream (93.2 vs 84.6 tok/s) and 1–3% slower at concurrency 32, with TTFT up 12%; tool-calling under Marlin 79.5 (n=1). Marlin does not combine with MTP on this image: the BF16 MTP draft inherits the backend and refuses it, and the draft-scoped override in `--speculative-config` is ignored by Model Runner V2 until vllm-project/vllm#54788 lands. Choose MTP for interactive use, Marlin only without speculation. On vLLM nightly builds from early September the SM120 selector picks Marlin by default anyway (vllm#54788); the flag matters on this image. Two more flags are in the block since 2026-09-06: without them the image's defaults do not boot on a 96 GB card. A field report found it first and we reproduced both failures on this box the same day. Without MTP the default `--max-num-seqs` (1024) exceeds the Mamba state blocks left at 0.92 utilization (598 here) and CUDA graph capture aborts with `Engine core initialization failed`; with MTP at the native 262,1

번역 대기 중 · 원문 표시

시각 질의응답

입력 텍스트 · 이미지→ 출력 텍스트

요금 미확인멀티모달 및 채널 요금 별도 확인

자세히 보기 ↗

비교 추가출처 / 문서 ↗

COST EXPLORER

좋은 모델, 명확한 비용.

비용 분석

월간 토큰 사용량으로 예상 API 비용을 비교하세요.

월간 입력 토큰 10 M월간 출력 토큰 2 M1 M = 100만 토큰 · USD
동일 채널의 기본 텍스트 토큰 요금 비교

수집된 백만 토큰당 USD 요금입니다. 캐시 할인, 구간 요금, 추가 추론 출력, 세금은 제외됩니다. 최신 요금은 출처에서 확인하세요.

MODEL HANDBOOK

이해하고 선택하세요

선택 가이드 및 FAQ

API 요금은 어떻게 비교하나요?+

입력, 출력, 캐시 요금을 구분하고 동일 작업량으로 비교하세요. 이미지, 음성, 영상은 개수, 시간, 해상도로 과금될 수 있습니다.

오픈 웨이트는 무료 상업 이용을 뜻하나요?+

반드시 그렇지는 않습니다. 버전별 라이선스, 상업 이용 제한, 정책을 확인하세요. 자체 호스팅에는 연산 및 유지 비용도 듭니다.

1위 모델이 나에게 가장 적합한가요?+

순위는 작업, 버전, 평가 방식에 따라 다릅니다. 실제 업무로 정확도, 지연, 안정성, 비용을 비교하세요.

나에게 맞는 AI 모델을 찾아보세요.

AI 모델 탐색 10

K2-Horizon-MoVA-36B-A4B-NVFP4

LFM2.5-24B-A2B-NVFP4A16

Muse-Glimmer-30B-mixed-NVFP4

Nanbeige4.3-33B-FP8

Nanbeige4.3-33B-NVFP4

Nemotron-3.5-Lightning-30B-A3B-mixed-INT4-INT8

Ornith-1.5-35B-A3B-agentic-NVFP4-FP8

Qwen3.8-27B-mixed-NVFP4-FP8

Qwen3.8-Flash-Next-mixed-NVFP4-FP8

Qwen3.8-Flash-Next-NVFP4

일치하는 모델 없음

좋은 모델, 명확한 비용.

이해하고 선택하세요

뉴스로 흐름을, 도구로 효율을, 모델로 가능성을.