This repository contains optimized **ROCmFP4** and **ROCmFP8** GGUF releases of **Qwen 3.8 27B**, custom-engineered for **AMD Strix Halo (Ryzen AI Max+ 395 / Radeon 8060S)** and **AMD Radeon discrete GPUs**. > 🛠️ **Unified HaloFPX Server:** github.com/julianmb/halofpx (Multi-model zoo, hot-swapping, OpenAI API) > 📖 **Qwen 3.8 Dedicated Deep-Dive:** github.com/julianmb/q38rocm (Standalone optimization report, benchmarks & tuning) Strix Halo features a **50 TOPS XDNA 2 NPU** (`/dev/accel/accel0`). Extensive empirical benchmarking demonstrates: - **Sustained Decode Ceiling:** **33.8 tok/s** via embedded MTP (iGPU only) is the practical ceiling. The NPU does *not* improve sustained decode speed. - **Proven NPU Value:** **1.8× faster first-token TTFT on long prompts (870 ms vs 1587 ms)** via hybrid NPU-burst → iGPU handoff (`scripts/run_pipeline.py`). - **See `docs/NPU_INTEGRATION.md`** for complete setup instructions.

翻訳待ち・原文を表示

テキスト生成

入力テキスト→ 出力テキスト

料金未確認マルチモーダル・チャネル料金は個別に確認

詳細を見る ↗

比較に追加出典・文書 ↗

Qwen3.8-Flash-Next-IQ4_XS-GGUF

julianmb

second-generation quant: same trunk type (iq4_xs), but calibrated with a 926-entry imatrix (1,024 chunks) via the ROCmFPX banded quantizer, and the 51B PLE lookup table **left at q8_0** (no `--tensor-type` cut). 5.56 bpw, 115 giB — 24 giB bigger than the 91g PLE file. pick M2 when you want the **best measured quality** and don't mind the 24 giB: at ≤32k plain it matches PLE, and at 32k MTP it measured fastest. for shallow-depth MTP speed take the 91g PLE; for deep 128k+ MTP the static 116g had a small in-sweep edge (17.4 vs 13.3/13.5 — within the same-config spread, n=1 caveat). every quant descends from an F16 that was byte-verified against the official `Qwen/Qwen3.8-Flash-Next-FP8` checkpoint: hyper-connection norms folded to (1 + w) (97/97 tensors — the converter bug that produces deterministic garbage is fixed in our pipeline), PLE fp8 scale applied, expert stacking identity probed 512x3, GDN v-head reorder checked. details: https://github.com/julianmb/haloq38flash

翻訳待ち・原文を表示

テキスト生成

入力テキスト→ 出力テキスト

料金未確認マルチモーダル・チャネル料金は個別に確認

詳細を見る ↗

比較に追加出典・文書 ↗

COST EXPLORER

モデル選びに、費用の視点も。

コスト分析

月間トークン数を調整してAPI費用を比較。

月間入力トークン 10 M月間出力トークン 2 M1 M = 100万トークン・米ドル
同一チャネルの基本テキスト料金を比較

収集済みの比較可能な100万トークン当たり米ドル料金です。キャッシュ割引、段階料金、追加推論出力、税金は含みません。最新料金は出典で確認してください。

MODEL HANDBOOK

モデルを理解して選ぶ

選び方とよくある質問

API料金はどう比較しますか？+

入力・出力・キャッシュ料金を分け、同じ用途と使用量で総費用を比較します。画像・音声・動画は枚数、時間、解像度で課金される場合があります。

オープンウェイトは無料で商用利用できますか？+

必ずしもそうではありません。バージョンごとのライセンス、商用制限、ポリシーを確認してください。自前運用には計算資源と保守費用も必要です。

ランキング1位が最適ですか？+

順位はテスト、バージョン、評価方法によります。実際の業務データで精度、遅延、安定性、費用を比較してください。

あなたに合う AIモデルを。

AIモデルを探す 5

MiniCPM5-2B-NPU2

NVIDIA-Nemotron-3.5-Lightning-30B-A3B-ROCmFP4-GGUF

Ornith-1.5-35B-A3B-ROCmFP4-GGUF

Qwen-3.8-27B-ROCmFP4-FAST-GGUF

Qwen3.8-Flash-Next-IQ4_XS-GGUF

該当するモデルがありません

モデル選びに、費用の視点も。

モデルを理解して選ぶ

ニュースで知り、ツールで効率化、モデルで可能性を。