GPTQ 4-bit quantization of Qwen/Qwen3.8-27B, a 27B-parameter dense multimodal model. Uses **FOEM** (First-Order Error Matters, AAAI 2026) for outlier-aware error compensation, enabling pure 4-bit quantization without per-module FP16 exclusions — this checkpoint lands at **+0.81% perplexity** over BF16. Includes the full vision encoder and MTP (Multi-Token Prediction) module for image understanding and speculative decoding support. All quantizable Linear modules in the text decoder are quantized to INT4 using GPTQ + FOEM. The vision encoder, MTP module, norms, embeddings, and LM head remain at BF16/FP16 for quality preservation.
번역 대기 중 · 원문 표시
입력 텍스트 · 이미지→ 출력 텍스트
基础档案已收录，详细介绍后续补充。可先查看厂商、分类与来源。
기본 정보 등록 · 상세 정보 보완 예정
입력 텍스트 · 이미지→ 출력 텍스트
基础档案已收录，详细介绍后续补充。可先查看厂商、分类与来源。
기본 정보 등록 · 상세 정보 보완 예정
입력 텍스트 · 이미지→ 출력 텍스트
基础档案已收录，详细介绍后续补充。可先查看厂商、分类与来源。
입력 텍스트→ 출력 텍스트
基础档案已收录，详细介绍后续补充。可先查看厂商、分类与来源。
기본 정보 등록 · 상세 정보 보완 예정
입력 이미지→ 출력 텍스트
基础档案已收录，详细介绍后续补充。可先查看厂商、分类与来源。
입력 텍스트→ 출력 오디오
基础档案已收录，详细介绍后续补充。可先查看厂商、分类与来源。
기본 정보 등록 · 상세 정보 보완 예정
입력 텍스트→ 출력 텍스트
基础档案已收录，详细介绍后续补充。可先查看厂商、分类与来源。
기본 정보 등록 · 상세 정보 보완 예정
입력 텍스트→ 출력 텍스트
基础档案已收录，详细介绍后续补充。可先查看厂商、分类与来源。
기본 정보 등록 · 상세 정보 보완 예정
입력 텍스트→ 출력 텍스트
基础档案已收录，详细介绍后续补充。可先查看厂商、分类与来源。
기본 정보 등록 · 상세 정보 보완 예정
입력 텍스트→ 출력 텍스트
基础档案已收录，详细介绍后续补充。可先查看厂商、分类与来源。
기본 정보 등록 · 상세 정보 보완 예정
입력 텍스트→ 출력 텍스트
基础档案已收录，详细介绍后续补充。可先查看厂商、分类与来源。
기본 정보 등록 · 상세 정보 보완 예정
입력 텍스트 · 이미지→ 출력 텍스트
基础档案已收录，详细介绍后续补充。可先查看厂商、分类与来源。
기본 정보 등록 · 상세 정보 보완 예정
입력 텍스트 · 이미지→ 출력 텍스트
基础档案已收录，详细介绍后续补充。可先查看厂商、分类与来源。
기본 정보 등록 · 상세 정보 보완 예정
입력 텍스트→ 출력 텍스트
本模型基于 **Qwen 3.8 27B Heretic‑Ara BF16** 进行 IQ4_XS 量化（4‑bit），文件体积为 **12.7-13.3 GiB**，专为 16GB 显存的显卡优化 8/22 Updated and fixed the issues with thinking; model performance remains unchanged It will probably take about another day for me to update the MTP version. 8/23 更新，对模型本身的性能进行一定优化，体积略微变大，无MTP版本13Gib，MTP版本13.3Gib 8/23 Update: The model's performance has been slightly optimized, resulting in a slight increase in size The non-MTP version is 13GiB, while the MTP version is 13.3GiB
번역 대기 중 · 원문 표시
분류 준비 중
입력 미확인→ 출력 미확인
本模型基于 **Qwen3.8-27B** 进行 **IQ4_XS** 量化（4‑bit），文件体积为 **12.9 GiB**，专为 **16GB 显存** 的显卡优化，在保持较低困惑度的同时，兼顾推理速度和显存占用。 This model is a **IQ4_XS** quantization (4‑bit) of **Qwen3.8-27B**. The file size is **12.9 GB**, and it is specifically optimized for graphics cards with **16GB VRAM**, offering a good balance between low perplexity, inference speed, and memory usage. We have conducted a comprehensive comparison with the **UD_IQ3_K_XL** quantization scheme (12.5 GB) of similar size. The evaluation metrics are shown below.
번역 대기 중 · 원문 표시
분류 준비 중
입력 미확인→ 출력 미확인
此模型可能短期更新，我发布了一个基于Heretic Arbitrary-Rank Ablation的无审查版本模型，性能更好且体积更小 链接： https://huggingface.co/Bucoid/Qwen3.8-27B-Heretic-Ara-IQ4-XS-16GB-VRAM-GGUF 这个模型可能过一段时间我会更新让他不那么菜，如果你需要无审查版本的模型，基于下载这个Ara的 This model may receive short-term updates. I have released an uncensored version based on Heretic Arbitrary-Rank Ablation, which offers better performance and a smaller file size. Link: https://huggingface.co/Bucoid/Qwen3.8-27B-Heretic-Ara-IQ4-XS-16GB-VRAM-GGUF This model may be updated in a while to make it less underwhelming If you need an uncensored version, please download this Ara-based one instead. Qwen3.8-27B Uncensored IQ4_XS 量化模型（适配 16GB 显存） 本模型基于 Qwen3.8-27B Uncensored 进行 IQ4_XS 量化（4‑bit），文件体积为 12.9 GiB，专为 16GB 显存 的显卡优化，在保持较低困惑度的同时，兼顾推理速度和显存占用。
번역 대기 중 · 원문 표시
분류 준비 중
입력 미확인→ 출력 미확인
基础档案已收录，详细介绍后续补充。可先查看厂商、分类与来源。
기본 정보 등록 · 상세 정보 보완 예정
입력 텍스트→ 출력 텍스트
基础档案已收录，详细介绍后续补充。可先查看厂商、分类与来源。
기본 정보 등록 · 상세 정보 보완 예정
분류 준비 중
입력 미확인→ 출력 미확인
基础档案已收录，详细介绍后续补充。可先查看厂商、分类与来源。
기본 정보 등록 · 상세 정보 보완 예정
분류 준비 중
입력 미확인→ 출력 미확인
基础档案已收录，详细介绍后续补充。可先查看厂商、分类与来源。
기본 정보 등록 · 상세 정보 보완 예정
입력 텍스트→ 출력 텍스트
基础档案已收录，详细介绍后续补充。可先查看厂商、分类与来源。
기본 정보 등록 · 상세 정보 보완 예정
입력 텍스트→ 출력 텍스트
基础档案已收录，详细介绍后续补充。可先查看厂商、分类与来源。
기본 정보 등록 · 상세 정보 보완 예정
분류 준비 중
입력 미확인→ 출력 미확인
基础档案已收录，详细介绍后续补充。可先查看厂商、分类与来源。
기본 정보 등록 · 상세 정보 보완 예정
분류 준비 중
입력 미확인→ 출력 미확인
