This repository contains optimized **ROCmFP4** and **ROCmFP8** GGUF releases of **Qwen 3.8 27B**, custom-engineered for **AMD Strix Halo (Ryzen AI Max+ 395 / Radeon 8060S)** and **AMD Radeon discrete GPUs**. > 🛠️ **Unified HaloFPX Server:** github.com/julianmb/halofpx (Multi-model zoo, hot-swapping, OpenAI API) > 📖 **Qwen 3.8 Dedicated Deep-Dive:** github.com/julianmb/q38rocm (Standalone optimization report, benchmarks & tuning) Strix Halo features a **50 TOPS XDNA 2 NPU** (`/dev/accel/accel0`). Extensive empirical benchmarking demonstrates: - **Sustained Decode Ceiling:** **33.8 tok/s** via embedded MTP (iGPU only) is the practical ceiling. The NPU does *not* improve sustained decode speed. - **Proven NPU Value:** **1.8× faster first-token TTFT on long prompts (870 ms vs 1587 ms)** via hybrid NPU-burst → iGPU handoff (`scripts/run_pipeline.py`). - **See `docs/NPU_INTEGRATION.md`** for complete setup instructions.

번역 대기 중 · 원문 표시

텍스트 생성

입력 텍스트→ 출력 텍스트

요금 미확인멀티모달 및 채널 요금 별도 확인

자세히 보기 ↗

비교 추가출처 / 문서 ↗

Qwen3.8-Flash-Next-IQ4_XS-GGUF

julianmb

second-generation quant: same trunk type (iq4_xs), but calibrated with a 926-entry imatrix (1,024 chunks) via the ROCmFPX banded quantizer, and the 51B PLE lookup table **left at q8_0** (no `--tensor-type` cut). 5.56 bpw, 115 giB — 24 giB bigger than the 91g PLE file. pick M2 when you want the **best measured quality** and don't mind the 24 giB: at ≤32k plain it matches PLE, and at 32k MTP it measured fastest. for shallow-depth MTP speed take the 91g PLE; for deep 128k+ MTP the static 116g had a small in-sweep edge (17.4 vs 13.3/13.5 — within the same-config spread, n=1 caveat). every quant descends from an F16 that was byte-verified against the official `Qwen/Qwen3.8-Flash-Next-FP8` checkpoint: hyper-connection norms folded to (1 + w) (97/97 tensors — the converter bug that produces deterministic garbage is fixed in our pipeline), PLE fp8 scale applied, expert stacking identity probed 512x3, GDN v-head reorder checked. details: https://github.com/julianmb/haloq38flash

번역 대기 중 · 원문 표시

텍스트 생성

입력 텍스트→ 출력 텍스트

요금 미확인멀티모달 및 채널 요금 별도 확인

자세히 보기 ↗

비교 추가출처 / 문서 ↗

COST EXPLORER

좋은 모델, 명확한 비용.

비용 분석

월간 토큰 사용량으로 예상 API 비용을 비교하세요.

월간 입력 토큰 10 M월간 출력 토큰 2 M1 M = 100만 토큰 · USD
동일 채널의 기본 텍스트 토큰 요금 비교

수집된 백만 토큰당 USD 요금입니다. 캐시 할인, 구간 요금, 추가 추론 출력, 세금은 제외됩니다. 최신 요금은 출처에서 확인하세요.

MODEL HANDBOOK

이해하고 선택하세요

선택 가이드 및 FAQ

API 요금은 어떻게 비교하나요?+

입력, 출력, 캐시 요금을 구분하고 동일 작업량으로 비교하세요. 이미지, 음성, 영상은 개수, 시간, 해상도로 과금될 수 있습니다.

오픈 웨이트는 무료 상업 이용을 뜻하나요?+

반드시 그렇지는 않습니다. 버전별 라이선스, 상업 이용 제한, 정책을 확인하세요. 자체 호스팅에는 연산 및 유지 비용도 듭니다.

1위 모델이 나에게 가장 적합한가요?+

순위는 작업, 버전, 평가 방식에 따라 다릅니다. 실제 업무로 정확도, 지연, 안정성, 비용을 비교하세요.

나에게 맞는 AI 모델을 찾아보세요.

AI 모델 탐색 5

MiniCPM5-2B-NPU2

NVIDIA-Nemotron-3.5-Lightning-30B-A3B-ROCmFP4-GGUF

Ornith-1.5-35B-A3B-ROCmFP4-GGUF

Qwen-3.8-27B-ROCmFP4-FAST-GGUF

Qwen3.8-Flash-Next-IQ4_XS-GGUF

일치하는 모델 없음

좋은 모델, 명확한 비용.

이해하고 선택하세요

뉴스로 흐름을, 도구로 효율을, 모델로 가능성을.