This repository contains optimized **ROCmFP4** and **ROCmFP8** GGUF releases of **Qwen 3.8 27B**, custom-engineered for **AMD Strix Halo (Ryzen AI Max+ 395 / Radeon 8060S)** and **AMD Radeon discrete GPUs**. > 🛠️ **Unified HaloFPX Server:** github.com/julianmb/halofpx (Multi-model zoo, hot-swapping, OpenAI API) > 📖 **Qwen 3.8 Dedicated Deep-Dive:** github.com/julianmb/q38rocm (Standalone optimization report, benchmarks & tuning) Strix Halo features a **50 TOPS XDNA 2 NPU** (`/dev/accel/accel0`). Extensive empirical benchmarking demonstrates: - **Sustained Decode Ceiling:** **33.8 tok/s** via embedded MTP (iGPU only) is the practical ceiling. The NPU does *not* improve sustained decode speed. - **Proven NPU Value:** **1.8× faster first-token TTFT on long prompts (870 ms vs 1587 ms)** via hybrid NPU-burst → iGPU handoff (`scripts/run_pipeline.py`). - **See `docs/NPU_INTEGRATION.md`** for complete setup instructions.

译文排队中 · 当前显示来源原文

文本生成

输入文本→ 输出文本

价格待核验多模态与渠道费用须分别核对

查看详情 ↗

加入对比来源 / 文档 ↗

Qwen3.8-Flash-Next-IQ4_XS-GGUF

julianmb

second-generation quant: same trunk type (iq4_xs), but calibrated with a 926-entry imatrix (1,024 chunks) via the ROCmFPX banded quantizer, and the 51B PLE lookup table **left at q8_0** (no `--tensor-type` cut). 5.56 bpw, 115 giB — 24 giB bigger than the 91g PLE file. pick M2 when you want the **best measured quality** and don't mind the 24 giB: at ≤32k plain it matches PLE, and at 32k MTP it measured fastest. for shallow-depth MTP speed take the 91g PLE; for deep 128k+ MTP the static 116g had a small in-sweep edge (17.4 vs 13.3/13.5 — within the same-config spread, n=1 caveat). every quant descends from an F16 that was byte-verified against the official `Qwen/Qwen3.8-Flash-Next-FP8` checkpoint: hyper-connection norms folded to (1 + w) (97/97 tensors — the converter bug that produces deterministic garbage is fixed in our pipeline), PLE fp8 scale applied, expert stacking identity probed 512x3, GDN v-head reorder checked. details: https://github.com/julianmb/haloq38flash

译文排队中 · 当前显示来源原文

文本生成

输入文本→ 输出文本

价格待核验多模态与渠道费用须分别核对

查看详情 ↗

加入对比来源 / 文档 ↗

COST EXPLORER

好模型，也要算好成本。

费用分析

调整月度 Token 用量，直观比较不同模型的预估 API 开支。

每月输入 Token 10 M每月输出 Token 2 M1 M = 100 万 Token · 美元计价
仅比较同一渠道的基础文本 Token 报价

使用已采集且单位可比的 USD / 百万 Token 渠道报价。报价为采集时快照；不计缓存优惠、阶梯价、推理额外输出与税费，请以来源的当前报价为准。

MODEL HANDBOOK

读懂模型，再做选择

选型与常见问题

API 价格应该怎么比较？+

先区分输入、输出和缓存价格，再使用同一任务和用量估算总费用。图像、音频和视频可能按张、时长或分辨率计费，不能直接与 Token 单价比较。

开放权重，就代表可以免费商用吗？+

不一定。必须逐一核对具体模型版本的许可证、商用限制及使用政策。自己部署还需要考虑显存、推理资源和运维费用。

排行榜第一，就是最适合我的模型吗？+

榜单取决于测试任务、版本与评测方法。建议用实际业务样本比较准确性、时延、稳定性和成本，再选择模型。

找到适合你的 AI 模型。

探索 AI 模型 5

MiniCPM5-2B-NPU2

NVIDIA-Nemotron-3.5-Lightning-30B-A3B-ROCmFP4-GGUF

Ornith-1.5-35B-A3B-ROCmFP4-GGUF

Qwen-3.8-27B-ROCmFP4-FAST-GGUF

Qwen3.8-Flash-Next-IQ4_XS-GGUF

暂未找到匹配模型

好模型，也要算好成本。

读懂模型，再做选择

资讯看趋势，工具提效率，模型筑可能。