**Inferact/Kimi-K3-DSpark** is an **MLA-native DSpark** draft model that accelerates Kimi-K3 on **vLLM**, served through vLLM's native `dspark` speculative method. The draft trains on **target hidden states extracted from vLLM itself** — the same engine that serves it, so the numerics it learns from are the numerics it meets at inference. TorchSpec provides the loop, streaming those hidden states from live target inference into concurrent FSDP draft training. **DSpark** = a block-diffusion backbone of 5 dense layers with non-causal attention, drafting 7 tokens in a single parallel pass, a low-rank sequential **Markov head** supplying the intra-block dependency, and a confidence head for resource-aware scheduling. Mirroring Kimi-K3's own MLA attention means draft and target share one KV layout (a compact 576-element latent per token), so the draft's pages unify with the target's cache — KV offloading and P/D disaggregation work with no separate page format.
번역 대기 중 · 원문 표시
입력 텍스트→ 출력 텍스트
基础档案已收录,详细介绍后续补充。可先查看厂商、分类与来源。
기본 정보 등록 · 상세 정보 보완 예정
입력 텍스트→ 출력 텍스트
**Inferact/MiniMax-M3-EAGLE3** is an EAGLE3 draft model for accelerating inference of MiniMax-M3. It is served end-to-end with **vLLM** and was trained using **TorchSpec** — a torch-native online speculative-decoding training framework that runs FSDP training and vLLM-based target inference concurrently, learning from **MiniMax-M3-regenerated responses and live vLLM-generated hidden states** to match the base model's exact token distribution. The draft is a **1-layer** dense Llama (`LlamaForCausalLMEagle3`, ~3.3 B params) operating on MiniMax-M3's `hidden_size=6144` / `vocab_size=200064`; at serve time it shares the target's embedding and LM head (EAGLE3). See `config.json` for the full architecture. All numbers are measured end-to-end against `MiniMaxAI/MiniMax-M3-MXFP8` served with vLLM at `tensor-parallel-size=4`, `num_speculative_tokens=3`, and `--enforce-eager`. Greedy draft sampling (`topk=1`).
번역 대기 중 · 원문 표시
입력 텍스트→ 출력 텍스트
**Inferact/MiniMax-M3-EAGLE3-GQA** is a **grouped-query-attention (GQA)** EAGLE3 draft model for accelerating inference of MiniMax-M3, served with **vLLM** and trained with **TorchSpec**. It is **retrained on the same datasets** as the multi-head-attention version Inferact/MiniMax-M3-EAGLE3 — **kimi-mtp, OpenCodeInstruct, SWE-bench, and SWE-bench-Pro** — with the draft's attention changed from **MHA to GQA** (`num_key_value_heads: 64 → 4`) for **inference efficiency** (16× smaller draft KV cache) and **compatibility with the target model**. The draft is a 1-layer dense Llama (`LlamaForCausalLMEagle3`) on MiniMax-M3's `hidden_size=6144` / `vocab_size=200064`; at serve time it shares the target's embedding and LM head (EAGLE3). See `config.json` for the full architecture.
번역 대기 중 · 원문 표시
입력 텍스트→ 출력 텍스트
基础档案已收录,详细介绍后续补充。可先查看厂商、分类与来源。
기본 정보 등록 · 상세 정보 보완 예정
입력 텍스트→ 출력 텍스트
基础档案已收录,详细介绍后续补充。可先查看厂商、分类与来源。
기본 정보 등록 · 상세 정보 보완 예정
입력 텍스트→ 출력 텍스트
Schematron V2 Small is a 3B-parameter HTML-to-JSON extraction model from Inference.net. It prioritizes extraction quality for complex schemas and long pages. Extraction instructions must be supplied through a JSON schema...
번역 대기 중 · 원문 표시
입력 텍스트→ 출력 텍스트
$0.05 / 백만 입력 토큰OpenRouter · inference-net/schematron-v2-small
자세히 보기 ↗Schematron V2 Turbo is a 3B-parameter HTML-to-JSON extraction model from Inference.net. It prioritizes throughput for high-volume extraction workloads. Extraction instructions must be supplied through a JSON schema in response_format rather...
번역 대기 중 · 원문 표시
입력 텍스트→ 출력 텍스트
$0.03 / 백만 입력 토큰OpenRouter · inference-net/schematron-v2-turbo
자세히 보기 ↗基础档案已收录,详细介绍后续补充。可先查看厂商、分类与来源。
기본 정보 등록 · 상세 정보 보완 예정
입력 텍스트→ 출력 텍스트
基础档案已收录,详细介绍后续补充。可先查看厂商、分类与来源。
입력 텍스트→ 출력 텍스트
基础档案已收录,详细介绍后续补充。可先查看厂商、分类与来源。
기본 정보 등록 · 상세 정보 보완 예정
입력 텍스트→ 출력 텍스트
This model uses a single `model.safetensors` file containing all weights. The checkpoint structure is identical to the original model, with the standard Llama architecture tensors: - `model.embed_tokens.weight` - `model.layers.*.self_attn.{q,k,v,o}_proj.weight` - `model.layers.*.mlp.{gate,up,down}_proj.weight` - `model.layers.*.{input,post_attention}_layernorm.weight` - `model.norm.weight` 1. Inspected the original model configuration to identify key parameters 2. Created a tiny version by reducing `num_hidden_layers` from 16 to 4 3. Fine-tuned the model on a toy dataset (famous copypastas) to validate learning capability 4. Achieved target perplexity of ~1.02 on the validation text 5. Validated checkpoint structure matches the original model format 6. Confirmed successful loading and inference
번역 대기 중 · 원문 표시
입력 텍스트→ 출력 텍스트
基础档案已收录,详细介绍后续补充。可先查看厂商、分类与来源。
입력 텍스트→ 출력 텍스트
基础档案已收录,详细介绍后续补充。可先查看厂商、分类与来源。
기본 정보 등록 · 상세 정보 보완 예정
입력 텍스트→ 출력 텍스트
The checkpoint is stored as a single `model.safetensors` file with individual expert weights matching the original Qwen3 structure. Each layer has 16 experts with separate `gate_proj`, `up_proj`, and `down_proj` weights per expert. The model was fine-tuned on a toy copypasta dataset and achieves: - **Perplexity**: 1.0 (on validation text) - **Generation**: Successfully generates coherent continuations 1. **Configuration**: Created with 10 layers and 16 experts (8 activated per token) to achieve ~1.6B total parameters with 50% MoE activation 2. **Initialization**: Randomly initialized weights using transformers `init_weights()` 3. **Fine-tuning**: Trained on famous internet copypastas until perplexity < 3.0 4. **Checkpoint Conversion**: Converted from batched expert format to individual expert format to match original Qwen3 checkpoint structure 5. **Validation**: Confirmed perplexity ~1.0 and successful text generation
번역 대기 중 · 원문 표시
입력 텍스트→ 출력 텍스트
基础档案已收录,详细介绍后续补充。可先查看厂商、分类与来源。
입력 텍스트→ 출력 텍스트
基础档案已收录,详细介绍后续补充。可先查看厂商、分类与来源。
기본 정보 등록 · 상세 정보 보완 예정
입력 텍스트→ 출력 텍스트
基础档案已收录,详细介绍后续补充。可先查看厂商、分类与来源。
기본 정보 등록 · 상세 정보 보완 예정
입력 텍스트→ 출력 텍스트
基础档案已收录,详细介绍后续补充。可先查看厂商、分类与来源。
기본 정보 등록 · 상세 정보 보완 예정
입력 텍스트→ 출력 텍스트
基础档案已收录,详细介绍后续补充。可先查看厂商、分类与来源。
기본 정보 등록 · 상세 정보 보완 예정
입력 텍스트→ 출력 텍스트
基础档案已收录,详细介绍后续补充。可先查看厂商、分类与来源。
기본 정보 등록 · 상세 정보 보완 예정
입력 텍스트→ 출력 텍스트
基础档案已收录,详细介绍后续补充。可先查看厂商、分类与来源。
기본 정보 등록 · 상세 정보 보완 예정
입력 텍스트→ 출력 텍스트
基础档案已收录,详细介绍后续补充。可先查看厂商、分类与来源。
기본 정보 등록 · 상세 정보 보완 예정
입력 텍스트→ 출력 텍스트
基础档案已收录,详细介绍后续补充。可先查看厂商、分类与来源。
기본 정보 등록 · 상세 정보 보완 예정
입력 텍스트→ 출력 텍스트