ProLLaMA
GreatCaptainNemo基础档案已收录,详细介绍后续补充。可先查看厂商、分类与来源。
기본 정보 등록 · 상세 정보 보완 예정
언어부터 이미지, 오픈 웨이트부터 API까지. 기능과 실제 비용을 비교하세요.
다음 아이디어에 맞는 AI를 찾아보세요.
基础档案已收录,详细介绍后续补充。可先查看厂商、分类与来源。
기본 정보 등록 · 상세 정보 보완 예정
基础档案已收录,详细介绍后续补充。可先查看厂商、分类与来源。
**Hardware-Accelerated Weights for Intel Arc GPUs (Battlemage Xe2 / Alchemist Xe / oneAPI SYCL)** *Engineered by Greatjedi & Gemini (DeepMind Antigravity Team)* If you own an **Intel Arc GPU** (such as the **Intel Arc Pro B60 24GB**, Arc A770 16GB, or Battlemage graphics cards) and have attempted to run popular 27B quantization variants (such as `IQ2_S`, `IQ3_XXS`, or Unsloth's "Dynamic" `UD-Q4_K_S`), you likely noticed your generation speed crawling at an agonizing **8.1 to 12.2 tokens/second**, despite the GPU having more than enough raw compute and 512 GB/s memory bandwidth. 1. **Intel Arc Matrix Engines (XMX)** utilize **DPAS** (Dot Product Accumulate Systolic) hardware. DPAS requires dense, linearly indexed integers (`INT2`, `INT4`, `INT8`) to feed its systolic pipeline at thousands of operations per clock cycle. 2. **I-Quants (`IQ2_S`, `IQ3_XXS`, `IQ4_XS`, `IQ3_S`)** use non-linear 8-dimensional vector lattice codebooks ($E_8$). They require runtime table lookups per weight element. 3. In `llama.cpp`'s SYCL backend, **there are zero kernel implementations for I-Quants**. Whenever an IQ tensor is evaluated, SYCL drops out of hardware systolic GEMM into slow CPU/host dequantization loops. 4. **The Hidden Catch in Unsloth "UD" Models**: When we reverse-engineered Unsloth's popular `Qwen3.8-27B-UD-Q4_K_S.gguf`, we discovered it secretly contains **201 I-Quant tensors** (`IQ4_XS`, `IQ3_S`, `IQ3_XXS`), causing it to suffer from the exact same dequantization stall on Intel Arc!
번역 대기 중 · 원문 표시
A small roleplay model that plays **Yayoi Akikawa**, Director of Tracen Academy from *Umamusume: Pretty Derby* It is a LoRA fine-tune of Llama-3.2-1B-Instruct-heretic, merged and exported to GGUF. It runs on a plain CPU with no GPU, no API key and no internet. At 1B parameters it answers in a couple of seconds on an ordinary desktop. The `q8_0` file is 1.3 GB, so count on around 1.5 GB of RAM once the context is loaded. Actions come wrapped in asterisks, as shown above. That convention is in the training data, so the model produces it on its own.
번역 대기 중 · 원문 표시
基础档案已收录,详细介绍后续补充。可先查看厂商、分类与来源。
기본 정보 등록 · 상세 정보 보완 예정
基础档案已收录,详细介绍后续补充。可先查看厂商、分类与来源。
기본 정보 등록 · 상세 정보 보완 예정
Готовая квантизация **Qwen/Qwen3.8-27B** под одну карту **NVIDIA RTX 3090 24 ГБ** (Ampere, sm86). W4A16 int4, group_size=128, симметричный, формат compressed-tensors / **Marlin int4** — работает на инференс-стеке vLLM-форка `syv-ai/qwen38-27b-rtx3090` (и других vLLM с поддержкой compressed-tensors). Можно просто **стянуть и использовать** — без повторной квантизации. Это "серверный" вариант: логика `lm_head`/`embed_tokens` переквантована в int8, MTP-модуль квантизован, приложен draft-vocab для многотокенного предсказания. 1. **Калибровка** (стратифицированная, n=520, по приоритетам качества): | Источник | n | Цель | |---|---|---| | magicoder | 63 | Python-код, инструменты | | agentinstruct | 48 | агентный режим | | glaive_fc | 48 | function-calling / инструменты | | nemotron_terminal | 48 | работа с терминалом (файлы, отладка, данные) | | oasst2_ru | 48 | живой RU-чат, неформальное общение | | fineweb2-ru | 48 | русский текст | | pile-10k | 48 | общий EN | | dolly | 48 | резюме-анализ / качественные тексты | | gsm8k | 40 | рассуждения/математика | | 1c_code | 40 | 1С:Предприятие (BSL) | | ru_turbo_saiga | 26 | RU-инструкции | | humaneval | 15 | Python-код | Eval: n=84 из тех же источников (hold-out). 2. **AutoRound**: `--algs awq,signround --iters 800 --batch 2 --seqlen 2048 --nsamples 200 --seed 42` (рецепт против OOM Linux с гессианом — см. репозиторий-руководство). 3. **Подготовка под форк**: `lm_head`/`embed_tokens` → int8, MTP-модуль квантизован, сборка `mtp_draft_vocab_ids.pt` (40 960 токенов), 68 shards. 4. **Верификация** в контейнере инференса: `verify: OK (0 failures)`.
번역 대기 중 · 원문 표시
基础档案已收录,详细介绍后续补充。可先查看厂商、分类与来源。
기본 정보 등록 · 상세 정보 보완 예정
The following models were included in the merge: * princeton-nlp/Llama-3-Instruct-8B-SimPO * UCLA-AGI/Llama-3-Instruct-8B-SPPO-Iter3
번역 대기 중 · 원문 표시
The following models were included in the merge: * princeton-nlp/Llama-3-Instruct-8B-SimPO * UCLA-AGI/Llama-3-Instruct-8B-SPPO-Iter3
번역 대기 중 · 원문 표시
基础档案已收录,详细介绍后续补充。可先查看厂商、分类与来源。
기본 정보 등록 · 상세 정보 보완 예정
基础档案已收录,详细介绍后续补充。可先查看厂商、分类与来源。
기본 정보 등록 · 상세 정보 보완 예정
基础档案已收录,详细介绍后续补充。可先查看厂商、分类与来源。
기본 정보 등록 · 상세 정보 보완 예정
> GritLM is a generative representational instruction tuned language model. It unifies text representation (embedding) and text generation into a single model achieving state-of-the-art performance on both types of tasks. - **Repository:** ContextualAI/gritlm - **Paper:** https://arxiv.org/abs/2402.09906 - **Logs:** https://wandb.ai/muennighoff/gritlm/runs/0uui712t/overview - **Script:** https://github.com/ContextualAI/gritlm/blob/main/scripts/training/train_gritlm_7b.sh The model usage is documented here.
번역 대기 중 · 원문 표시
> GritLM is a generative representational instruction tuned language model. It unifies text representation (embedding) and text generation into a single model achieving state-of-the-art performance on both types of tasks.
번역 대기 중 · 원문 표시
> GritLM is a generative representational instruction tuned language model. It unifies text representation (embedding) and text generation into a single model achieving state-of-the-art performance on both types of tasks.
번역 대기 중 · 원문 표시
> GritLM is a generative representational instruction tuned language model. It unifies text representation (embedding) and text generation into a single model achieving state-of-the-art performance on both types of tasks.
번역 대기 중 · 원문 표시
基础档案已收录,详细介绍后续补充。可先查看厂商、分类与来源。
기본 정보 등록 · 상세 정보 보완 예정
基础档案已收录,详细介绍后续补充。可先查看厂商、分类与来源。
기본 정보 등록 · 상세 정보 보완 예정
基础档案已收录,详细介绍后续补充。可先查看厂商、分类与来源。
기본 정보 등록 · 상세 정보 보완 예정
基础档案已收录,详细介绍后续补充。可先查看厂商、分类与来源。
기본 정보 등록 · 상세 정보 보완 예정
基础档案已收录,详细介绍后续补充。可先查看厂商、分类与来源。
기본 정보 등록 · 상세 정보 보완 예정
基础档案已收录,详细介绍后续补充。可先查看厂商、分类与来源。
기본 정보 등록 · 상세 정보 보완 예정
基础档案已收录,详细介绍后续补充。可先查看厂商、分类与来源。
기본 정보 등록 · 상세 정보 보완 예정
제공사, 분류, 입출력 조건을 조정하세요. 새 모델이 계속 등록됩니다.
월간 토큰 사용량으로 예상 API 비용을 비교하세요.
수집된 백만 토큰당 USD 요금입니다. 캐시 할인, 구간 요금, 추가 추론 출력, 세금은 제외됩니다. 최신 요금은 출처에서 확인하세요.
입력, 출력, 캐시 요금을 구분하고 동일 작업량으로 비교하세요. 이미지, 음성, 영상은 개수, 시간, 해상도로 과금될 수 있습니다.
반드시 그렇지는 않습니다. 버전별 라이선스, 상업 이용 제한, 정책을 확인하세요. 자체 호스팅에는 연산 및 유지 비용도 듭니다.
순위는 작업, 버전, 평가 방식에 따라 다릅니다. 실제 업무로 정확도, 지연, 안정성, 비용을 비교하세요.