Dedicated to building a more intuitive, comprehensive, and efficient LLMs compression toolkit. 📖 Documentation    |   🤗 Hugging Face    |   🤖 ModelScope    |   💬 WeChat Low-bit quantized **Hy3 (hy_v3)** GGUFs for llama.cpp — ready to run out of the box, with MTP self-speculative decoding. This repo ships the quantized models, plus the mixed-precision recipes to build your own from a calibration set.
번역 대기 중 · 원문 표시
입력 텍스트→ 출력 텍스트
基础档案已收录，详细介绍后续补充。可先查看厂商、分类与来源。
기본 정보 등록 · 상세 정보 보완 예정
입력 텍스트→ 출력 텍스트
**Neither file runs on stock llama.cpp.** The `hyv4` architecture is not upstream. Apply the patches in `hy4-preview-patch/` **`Hy4-preview-Q4_K_M.gguf`** — a conventional Q4_K_M. Most tensors are Q4_K; `ffn_down_exps` gets Q6_K on 37 layers via llama.cpp's own logic. Use this unless you are memory-constrained. **`Hy4-preview-UD-IQ1_M.gguf`** - mixed precision with UD-IQ1_M strategy at ~2.44 bpw, roughly **half the size** for the same model. The routed-expert `gate`/`up` projections run at 1.75 bpw (IQ1_M) and 2.0625 bpw (IQ2_XXS).
번역 대기 중 · 원문 표시
분류 준비 중
입력 미확인→ 출력 미확인
Dedicated to building a more intuitive, comprehensive, and efficient LLMs compression toolkit. 📖 Documentation    |   🤗 Hugging Face    |   🤖 ModelScope    |   💬 WeChat - [26/01/13] We have released v0.3. We support the training and deployment of Eagle3 for all-scale LLMs/VLMs/Audio models, as detailed in the guidance documentation. And We released **Sherry**, the hardware-efficient 1.25 bit quantization algorithm [Paper Comming soon] | [[Code]](https://github.com/Tencent/AngelSlim/tree/sherry/Sherry)🔥🔥🔥 - [25/11/05] We have released v0.2. Quantization support for new models, such as `GLM-4.6`, `Qwen3-VL` and `Qwen3-Omni`, open-sources the Eagle3 speculative decoding training framework, and updates the Diffusion model quantization tools. - [25/09/30] We have released **SpecExit**, the reasoning early-exit algorithm: [[Paper]](http://arxiv.org/abs/2509.24248) | [[Docs]](https://angelslim.readthedocs.io/zh-cn/latest/features/speculative_decoding/spec_exit.html) | [[vLLM Code]](https://github.com/vllm-project/vllm/pull/27192) - [25/09/26] We have released **TEQUILA**, the ternary quantization algorithm [[Paper]](https://arxiv.org/abs/2509.23809) | [[Code]](https://github.com/Tencent/AngelSlim/tree/tequila/TernaryQuant) - [25/09/24] We now support the PTQ quantization of NVFP4 for the Qwen3 series models. We also opensource Qwen3-32B-NVFP4 and Qwen3-235B-A22B-NVFP4 weights.
번역 대기 중 · 원문 표시
분류 준비 중
입력 미확인→ 출력 미확인
基础档案已收录，详细介绍后续补充。可先查看厂商、分类与来源。
기본 정보 등록 · 상세 정보 보완 예정
분류 준비 중
입력 미확인→ 출력 미확인
基础档案已收录，详细介绍后续补充。可先查看厂商、分类与来源。
기본 정보 등록 · 상세 정보 보완 예정
분류 준비 중
입력 미확인→ 출력 미확인
基础档案已收录，详细介绍后续补充。可先查看厂商、分类与来源。
분류 준비 중
입력 미확인→ 출력 미확인
基础档案已收录，详细介绍后续补充。可先查看厂商、分类与来源。
분류 준비 중
입력 미확인→ 출력 미확인
基础档案已收录，详细介绍后续补充。可先查看厂商、分类与来源。
기본 정보 등록 · 상세 정보 보완 예정
분류 준비 중
입력 미확인→ 출력 미확인
基础档案已收录，详细介绍后续补充。可先查看厂商、分类与来源。
기본 정보 등록 · 상세 정보 보완 예정
입력 텍스트→ 출력 텍스트
基础档案已收录，详细介绍后续补充。可先查看厂商、分类与来源。
입력 이미지→ 출력 미확인
基础档案已收录，详细介绍后续补充。可先查看厂商、分类与来源。
기본 정보 등록 · 상세 정보 보완 예정
분류 준비 중
입력 미확인→ 출력 미확인
基础档案已收录，详细介绍后续补充。可先查看厂商、分类与来源。
입력 이미지→ 출력 텍스트
基础档案已收录，详细介绍后续补充。可先查看厂商、分类与来源。
입력 텍스트→ 출력 이미지
基础档案已收录，详细介绍后续补充。可先查看厂商、分类与来源。
기본 정보 등록 · 상세 정보 보완 예정
입력 텍스트→ 출력 텍스트
基础档案已收录，详细介绍后续补充。可先查看厂商、分类与来源。
기본 정보 등록 · 상세 정보 보완 예정
입력 텍스트→ 출력 텍스트
基础档案已收录，详细介绍后续补充。可先查看厂商、分类与来源。
입력 텍스트→ 출력 텍스트
基础档案已收录，详细介绍后续补充。可先查看厂商、分类与来源。
기본 정보 등록 · 상세 정보 보완 예정
입력 텍스트→ 출력 텍스트
基础档案已收录，详细介绍后续补充。可先查看厂商、分类与来源。
기본 정보 등록 · 상세 정보 보완 예정
입력 오디오→ 출력 미확인
基础档案已收录，详细介绍后续补充。可先查看厂商、分类与来源。
기본 정보 등록 · 상세 정보 보완 예정
입력 오디오→ 출력 미확인
基础档案已收录，详细介绍后续补充。可先查看厂商、分类与来源。
기본 정보 등록 · 상세 정보 보완 예정
입력 오디오→ 출력 미확인
基础档案已收录，详细介绍后续补充。可先查看厂商、分类与来源。
기본 정보 등록 · 상세 정보 보완 예정
입력 오디오→ 출력 미확인
基础档案已收录，详细介绍后续补充。可先查看厂商、分类与来源。
기본 정보 등록 · 상세 정보 보완 예정
입력 오디오→ 출력 미확인
Speech emotion recognition for Russian over seven classes: `anger`, `disgust`, `enthusiasm`, `fear`, `happiness`, `neutral`, `sadness`. Fine-tuned from `jonatasgrosman/exp_w2v2t_ru_wavlm_s363` on `Aniemore/resd`. - **Parameters**: 317M · **weights**: 1207 MiB (fp32) - **Input**: 16 kHz mono waveform - **Quantized builds**: `wavlm-emotion-russian-resd-quantized` — INT8, FP8 and INT4, up to 5.8x smaller on disk at the same score
번역 대기 중 · 원문 표시
입력 오디오→ 출력 미확인
