- **Model Architecture:** Kimi-K2.5 - **Input:** Text, Image, Video - **Output:** Text - **Supported Hardware Microarchitecture:** AMD MI350/MI355 - **ROCm:** 7.1.0 - **Operating System(s):** Linux - **Inference Engine:** vLLM - **Model Optimizer:** AMD-Quark (V0.11.1) - **Quantized layers:** `layers.0.mlp`, `experts` and `shared_experts` - **Weight quantization:** OCP MXFP4, Static - **Activation quantization:** OCP MXFP4, Dynamic - **Calibration Dataset:** Pile This model was built with Kimi-K2.5 model by applying AMD-Quark for MXFP4 quantization. The model was quantized from moonshotai/Kimi-K2.5 using AMD-Quark. The weights and activations are quantized to MXFP4.
翻訳待ち・原文を表示
分類準備中
入力 未確認→ 出力 未確認
The model was quantized from a BF16-decompressed version of moonshotai/Kimi-K2.6 using AMD-Quark. The original checkpoint uses native INT4 (compressed-tensors) quantization; it was first decompressed to BF16 before applying MXFP4 quantization. The weights and activations are quantized to MXFP4. The GSM8K results were obtained using the vLLM framework, based on the Docker image `rocm/vllm-dev:nightly_main_20260417`, with lm-eval and amd-quark compiled and installed from source, and vLLM (version `0.19.1rc1.dev369+gb1dc87a09`) pre-installed in the docker image.
翻訳待ち・原文を表示
分類準備中
入力 未確認→ 出力 未確認
基础档案已收录，详细介绍后续补充。可先查看厂商、分类与来源。
基本情報を収録・詳細は順次追加
分類準備中
入力 未確認→ 出力 未確認
基础档案已收录，详细介绍后续补充。可先查看厂商、分类与来源。
基本情報を収録・詳細は順次追加
分類準備中
入力 未確認→ 出力 未確認
基础档案已收录，详细介绍后续补充。可先查看厂商、分类与来源。
基本情報を収録・詳細は順次追加
分類準備中
入力 未確認→ 出力 未確認
基础档案已收录，详细介绍后续补充。可先查看厂商、分类与来源。
基本情報を収録・詳細は順次追加
分類準備中
入力 未確認→ 出力 未確認
基础档案已收录，详细介绍后续补充。可先查看厂商、分类与来源。
基本情報を収録・詳細は順次追加
分類準備中
入力 未確認→ 出力 未確認
基础档案已收录，详细介绍后续补充。可先查看厂商、分类与来源。
分類準備中
入力 未確認→ 出力 未確認
基础档案已收录，详细介绍后续补充。可先查看厂商、分类与来源。
基本情報を収録・詳細は順次追加
分類準備中
入力 未確認→ 出力 未確認
基础档案已收录，详细介绍后续补充。可先查看厂商、分类与来源。
基本情報を収録・詳細は順次追加
分類準備中
入力 未確認→ 出力 未確認
基础档案已收录，详细介绍后续补充。可先查看厂商、分类与来源。
基本情報を収録・詳細は順次追加
入力 テキスト→ 出力 テキスト
Quark has its own export format and allows FP8 quantized models to be efficiently deployed using the vLLM backend(vLLM-compatible). Quark currently uses perplexity(PPL) as the evaluation metric for accuracy loss before and after quantization.The specific PPL algorithm can be referenced in the quantize_quark.py. The quantization evaluation results are conducted in pseudo-quantization mode, which may slightly differ from the actual quantized inference accuracy. These results are provided for reference only.
翻訳待ち・原文を表示
分類準備中
入力 未確認→ 出力 未確認
基础档案已收录，详细介绍后续补充。可先查看厂商、分类与来源。
基本情報を収録・詳細は順次追加
分類準備中
入力 未確認→ 出力 未確認
基础档案已收录，详细介绍后续补充。可先查看厂商、分类与来源。
基本情報を収録・詳細は順次追加
入力 テキスト→ 出力 テキスト
The model was quantized from MiniMaxAI/MiniMax-M2.5 which was converted to bf16 using QuixiAI/MiniMax-M2.1-bf16/minimax_to_bf16.py using AMD-Quark. The weights are quantized to MXFP4 and activations are quantized to MXFP4. For further details or issues, please refer to the AMD-Quark documentation or contact the respective developers. The GSM8K results were obtained using the lm-eval framework, based on the Docker image `rocm/vllm-dev:nightly`.
翻訳待ち・原文を表示
入力 テキスト→ 出力 テキスト
基础档案已收录，详细介绍后续补充。可先查看厂商、分类与来源。
基本情報を収録・詳細は順次追加
入力 テキスト→ 出力 テキスト
基础档案已收录，详细介绍后续补充。可先查看厂商、分类与来源。
分類準備中
入力 未確認→ 出力 未確認
- **Model Architecture:** MiniMaxM3SparseForConditionalGeneration - **Input:** Text, Image - **Output:** Text - **Supported Hardware Microarchitecture:** AMD MI350/MI355 - **ROCm**: 7.1.1 - **PyTorch**: 2.10.0 - **Transformers**: 5.2.0 - **Operating System(s):** Linux - **Inference Engine:** vLLM - **Model Optimizer:** AMD-Quark - **Weight quantization:** OCP MXFP4, Static - **Activation quantization:** OCP MXFP4, Dynamic The model was quantized from MiniMaxAI/MiniMax-M3 using AMD-Quark. The weights are quantized to MXFP4 and activations are quantized to MXFP4. The GSM8K results were obtained using the lm-eval framework, based on the Docker image `rocm/pytorch-private:vllm-hy-mm-06112026`. The vLLM shipped in that image was used as-is, with the patch from this PR (#45794) applied on top.
翻訳待ち・原文を表示
入力 テキスト · 画像→ 出力 テキスト
The model was quantized from MiniMaxAI/MiniMax-M3 using AMD-Quark. The weights are quantized to MXFP4 and activations are quantized to MXFP4, and self_attn layers are quantized to PTPC-FP8. The GSM8K results were obtained using the lm-eval framework, based on the Docker image `rocm/pytorch-private:vllm-hy-mm-06112026`. The vLLM shipped in that image was used as-is, with the patch from this PR (#45794) applied on top.
翻訳待ち・原文を表示
入力 テキスト · 画像→ 出力 テキスト
基础档案已收录，详细介绍后续补充。可先查看厂商、分类与来源。
基本情報を収録・詳細は順次追加
分類準備中
入力 未確認→ 出力 未確認
基础档案已收录，详细介绍后续补充。可先查看厂商、分类与来源。
基本情報を収録・詳細は順次追加
入力 テキスト→ 出力 テキスト
基础档案已收录，详细介绍后续补充。可先查看厂商、分类与来源。
分類準備中
入力 未確認→ 出力 未確認
基础档案已收录，详细介绍后续补充。可先查看厂商、分类与来源。
基本情報を収録・詳細は順次追加
分類準備中
入力 未確認→ 出力 未確認
基础档案已收录，详细介绍后续补充。可先查看厂商、分类与来源。
入力 テキスト→ 出力 画像
