언어부터 이미지, 오픈 웨이트부터 API까지. 기능과 실제 비용을 비교하세요.
다음 아이디어에 맞는 AI를 찾아보세요.
The model was quantized from MiniMaxAI/MiniMax-M3 using AMD-Quark. The weights are quantized to MXFP4 and activations are quantized to MXFP4, and self_attn layers are quantized to PTPC-FP8. The GSM8K results were obtained using the lm-eval framework, based on the Docker image `rocm/pytorch-private:vllm-hy-mm-06112026`. The vLLM shipped in that image was used as-is, with the patch from this PR (#45794) applied on top.
번역 대기 중 · 원문 표시
基础档案已收录，详细介绍后续补充。可先查看厂商、分类与来源。
기본 정보 등록 · 상세 정보 보완 예정
基础档案已收录，详细介绍后续补充。可先查看厂商、分类与来源。
기본 정보 등록 · 상세 정보 보완 예정
基础档案已收录，详细介绍后续补充。可先查看厂商、分类与来源。
基础档案已收录，详细介绍后续补充。可先查看厂商、分类与来源。
기본 정보 등록 · 상세 정보 보완 예정
基础档案已收录，详细介绍后续补充。可先查看厂商、分类与来源。
基础档案已收录，详细介绍后续补充。可先查看厂商、分类与来源。
기본 정보 등록 · 상세 정보 보완 예정
基础档案已收录，详细介绍后续补充。可先查看厂商、分类与来源。
기본 정보 등록 · 상세 정보 보완 예정
基础档案已收录，详细介绍后续补充。可先查看厂商、分类与来源。
기본 정보 등록 · 상세 정보 보완 예정
基础档案已收录，详细介绍后续补充。可先查看厂商、分类与来源。
基础档案已收录，详细介绍后续补充。可先查看厂商、分类与来源。
基础档案已收录，详细介绍后续补充。可先查看厂商、分类与来源。
基础档案已收录，详细介绍后续补充。可先查看厂商、分类与来源。
기본 정보 등록 · 상세 정보 보완 예정
基础档案已收录，详细介绍后续补充。可先查看厂商、分类与来源。
기본 정보 등록 · 상세 정보 보완 예정
基础档案已收录，详细介绍后续补充。可先查看厂商、分类与来源。
기본 정보 등록 · 상세 정보 보완 예정
The model was quantized from Qwen/Qwen3.5-397B-A17B-FP8 using AMD-Quark. The weights are quantized to MXFP4 and activations are quantized to MXFP4. For further details or issues, please refer to the AMD-Quark documentation or contact the respective developers. The GSM8K results were obtained using the vLLM framework, based on the Docker image `rocm/vllm-dev:nightly_main_20260211`, and vLLM is installed inside the container.
번역 대기 중 · 원문 표시
This checkpoint extends the routed-expert MXFP4 quantization by **also quantizing the shared expert to MXFP4 and fusing it into the routed MoE kernel** (FSE: fused shared expert). Compared with keeping the shared expert in bf16, this further reduces the bf16 footprint and improves decode throughput, with no measurable accuracy loss on GSM8K (see Evaluation). The model was quantized from Qwen/Qwen3.5-397B-A17B using AMD-Quark. Weights and activations are quantized to OCP MXFP4. For further details or issues, please refer to the AMD-Quark documentation or contact the respective developers.
번역 대기 중 · 원문 표시
基础档案已收录，详细介绍后续补充。可先查看厂商、分类与来源。
기본 정보 등록 · 상세 정보 보완 예정
基础档案已收录，详细介绍后续补充。可先查看厂商、分类与来源。
기본 정보 등록 · 상세 정보 보완 예정
基础档案已收录，详细介绍后续补充。可先查看厂商、分类与来源。
기본 정보 등록 · 상세 정보 보완 예정
- **Model Architecture:** Qwen3_5MoeForCausalLM - **Input:** Text - **Output:** Text - **Supported Hardware Microarchitecture:** AMD MI350 / MI355 - **ROCm**: 7.2.0 - **PyTorch**: 2.12.0 - **Transformers**: 5.14.1 - **Operating System(s):** Linux - **Inference Engine:** SGLang/vLLM - **Model Optimizer:** AMD-Quark (v0.12) - **Quantized layers:** router experts - **Weight quantization:** OCP MXFP4, Static - **Activation quantization:** OCP MXFP4, Dynamic The model was quantized from Qwen/Qwen3.8-2.4T-A95B-FP8 using AMD-Quark. The weights and activations of the routed experts are quantized to MXFP4. For further details or issues, please refer to the AMD-Quark documentation or contact the respective developers.
번역 대기 중 · 원문 표시
INT4 weight-only (W4A16) quantized version of `Qwen/Qwen3.8-27B`, produced with the **AWQ** algorithm using AMD Quark. \* BFCL Overall Acc reflects only `single_turn` categories, not the full Gorilla-leaderboard formula (multi-turn/web-search/memory categories were not run and would count as 0 against the public leaderboard's own Overall Acc). Sub-metrics: Non-Live AST 86.58% (base 88.52%), Live AST 81.57% (base 83.05%), Relevance Detection 75.00% (base 75.00%), Irrelevance Detection 72.47% (base 72.22%). Recovery % = quantized / BF16-base, using flexible-extract for GSM8K rows and base/quantized (inverted, since lower is better) for perplexity — both measured by us against verified-upstream `Qwen/Qwen3.8-27B` weights, not vendor-reported numbers. GSM8K uses `lm-evaluation-harness`; non-thinking mode is approximated by pre-closing an empty ` ` block in the prompt, since the harness task is a raw few-shot completion rather than a chat-templated request. BFCL run via the official `bfcl_eval` harness.
번역 대기 중 · 원문 표시
- **Weights:** MXFP4 (OCP microscaling FP4, group size 32, E8M0 shared scale) - **Activations:** MXFP4, dynamic (per-block, computed at runtime) - **Algorithm:** AWQ - **Calibration:** 128 samples, seq_len 512, `pileval` dataset (Quark default) - **Base model:** Qwen/Qwen3.8-27B (bf16) - **Vision tower:** left unquantized (bf16) — only the language-model decoder (`model.language_model.layers`) is quantized; `model.visual.*` is excluded Recovery % is computed on the flexible-extract metric (`this model / bf16 base`). Non-thinking mode: the raw-completions endpoint used above doesn't support passing `enable_thinking=False` through a chat template, so non-thinking mode is approximated with a custom task that pre-closes an empty ` ` block in the prompt:
번역 대기 중 · 원문 표시
基础档案已收录，详细介绍后续补充。可先查看厂商、分类与来源。
기본 정보 등록 · 상세 정보 보완 예정
제공사, 분류, 입출력 조건을 조정하세요. 새 모델이 계속 등록됩니다.
월간 토큰 사용량으로 예상 API 비용을 비교하세요.
수집된 백만 토큰당 USD 요금입니다. 캐시 할인, 구간 요금, 추가 추론 출력, 세금은 제외됩니다. 최신 요금은 출처에서 확인하세요.
입력, 출력, 캐시 요금을 구분하고 동일 작업량으로 비교하세요. 이미지, 음성, 영상은 개수, 시간, 해상도로 과금될 수 있습니다.
반드시 그렇지는 않습니다. 버전별 라이선스, 상업 이용 제한, 정책을 확인하세요. 자체 호스팅에는 연산 및 유지 비용도 듭니다.
순위는 작업, 버전, 평가 방식에 따라 다릅니다. 실제 업무로 정확도, 지연, 안정성, 비용을 비교하세요.
