We present Kanana-2 SLM, **Kakao's second series of Small Language Models (SLMs)**, designed to deliver strong language capabilities while remaining compact and efficient for practical deployment. The series includes 3B, 1.3B, and 0.9B models. This release publicly includes the 3B model and the compressed 1.3B model, providing a balance between capability and efficiency for a wide range of applications. Kanana-2-3B was **pretrained from scratch on TPU clusters** and further improved through post-training with **supervised fine-tuning and reinforcement learning**, resulting in strong instruction-following and reasoning capabilities. Kanana-2-1.3B models are derived from Kanana-2-3B through a **cascade pruning and distillation pipeline**. To further improve deployment efficiency, they adopt **Sliding Window Attention (SWA)**, enabling memory-efficient long-context inference with support for context lengths of up to **32K tokens** while substantially reducing KV-cache memory requirements. General Tasks MMLU acc 5 62.77 56.49 62.32 MMLU-Pro acc 5 36.54 29.87 37.08 BBH acc 3 54.23 45.58 53.60 SimpleQA † acc 5 27.39 23.76 16.83 Mathematics Tasks MATH em 4 35.08 30.82 41.74 GSM8K em 8 61.03 51.93 75.74 Coding Tasks HumanEval pass@1 0 55.96 51.33 45.31 MBPP pass@1 3 50.95 44.86 53.85 Korean Tasks KMMLU acc 5 47.92 44.17 43.08 KoSimpleQA † acc 5 32.50 28.50 13.40 HAE-RAE Bench (v1.0) acc 5 80.66 75.34 55.54 MATH-Ko ‡ em 4 31.54 24.75 31.92 MBPP-Ko § pass@1 3 44.55 39.38 47.97 Long Context Tasks RULER-32K acc 0 67.50 55.72 69.01 Instruction-following, chat, tool-calling, code, math, and knowledge benchmarks for the Kanana-2 SLM series. Scores use greedy decoding (temperature 0.0, top-p 1.0, max 4096 tokens); the metric for each benchmark is listed in the Metric column.
翻訳待ち・原文を表示
入力 テキスト→ 出力 テキスト
基础档案已收录，详细介绍后续补充。可先查看厂商、分类与来源。
基本情報を収録・詳細は順次追加
分類準備中
入力 未確認→ 出力 未確認
基础档案已收录，详细介绍后续补充。可先查看厂商、分类与来源。
基本情報を収録・詳細は順次追加
分類準備中
入力 未確認→ 出力 未確認
基础档案已收录，详细介绍后续补充。可先查看厂商、分类与来源。
基本情報を収録・詳細は順次追加
入力 テキスト→ 出力 テキスト
基础档案已收录，详细介绍后续补充。可先查看厂商、分类与来源。
基本情報を収録・詳細は順次追加
入力 テキスト→ 出力 テキスト
基础档案已收录，详细介绍后续补充。可先查看厂商、分类与来源。
基本情報を収録・詳細は順次追加
入力 テキスト→ 出力 テキスト
基础档案已收录，详细介绍后续补充。可先查看厂商、分类与来源。
基本情報を収録・詳細は順次追加
入力 テキスト→ 出力 テキスト
基础档案已收录，详细介绍后续补充。可先查看厂商、分类与来源。
基本情報を収録・詳細は順次追加
入力 テキスト→ 出力 テキスト
基础档案已收录，详细介绍后续补充。可先查看厂商、分类与来源。
基本情報を収録・詳細は順次追加
入力 テキスト→ 出力 テキスト
基础档案已收录，详细介绍后续补充。可先查看厂商、分类与来源。
基本情報を収録・詳細は順次追加
入力 テキスト→ 出力 テキスト
This is an uncensored version of Qwen/Qwen3.8-27B created with abliteration (see remove-refusals-with-transformers to know more about it). This is a crude, proof-of-concept implementation to remove refusals from an LLM model without using TransformerLens. The newly added **Huihui-Qwen3.8-27B-abliterated-Underdog-Saluki** series come from ConwayResearch/Underdog-Saluki-27B-1.0 and ukisai/Swift-1.5-Qwen3.8-27B-GSQ-RCO-GGUF. Only layers **22 to 52 (0-based indexing)** have been ablated, while the other layers remain unablated. It may come with a small disclaimer warning. Due to ConwayResearch/Underdog-Saluki-27B-1.0 not providing an imatrix file, we will attempt to perform ablation by mixing the GGUF weights of Swift-1.5 and ConwayResearch/Underdog-Saluki-27B-1.0.
翻訳待ち・原文を表示
入力 テキスト · 画像→ 出力 テキスト
基础档案已收录，详细介绍后续补充。可先查看厂商、分类与来源。
基本情報を収録・詳細は順次追加
分類準備中
入力 未確認→ 出力 未確認
基础档案已收录，详细介绍后续补充。可先查看厂商、分类与来源。
基本情報を収録・詳細は順次追加
入力 テキスト · 画像→ 出力 テキスト
基础档案已收录，详细介绍后续补充。可先查看厂商、分类与来源。
基本情報を収録・詳細は順次追加
入力 テキスト→ 出力 テキスト
基础档案已收录，详细介绍后续补充。可先查看厂商、分类与来源。
分類準備中
入力 未確認→ 出力 未確認
基础档案已收录，详细介绍后续补充。可先查看厂商、分类与来源。
基本情報を収録・詳細は順次追加
分類準備中
入力 未確認→ 出力 未確認
基础档案已收录，详细介绍后续补充。可先查看厂商、分类与来源。
基本情報を収録・詳細は順次追加
分類準備中
入力 未確認→ 出力 未確認
基础档案已收录，详细介绍后续补充。可先查看厂商、分类与来源。
基本情報を収録・詳細は順次追加
分類準備中
入力 未確認→ 出力 未確認
基础档案已收录，详细介绍后续补充。可先查看厂商、分类与来源。
基本情報を収録・詳細は順次追加
入力 テキスト→ 出力 テキスト
基础档案已收录，详细介绍后续补充。可先查看厂商、分类与来源。
基本情報を収録・詳細は順次追加
入力 テキスト→ 出力 テキスト
基础档案已收录，详细介绍后续补充。可先查看厂商、分类与来源。
基本情報を収録・詳細は順次追加
入力 テキスト→ 出力 テキスト
基础档案已收录，详细介绍后续补充。可先查看厂商、分类与来源。
基本情報を収録・詳細は順次追加
入力 テキスト→ 出力 テキスト
This repository contains more than 25 different types of embedding models, together with practical information about embeddings, document retrieval, chunking, context length, and local RAG (Retrieval-Augmented Generation). Some models might need a mmproj-file for image/video/audio - but i focus on txt here. * the quality and structure of your source documents * how the documents are converted to text * how the text is split into chunks * the embedding model * the vector database and retrieval settings * optional keyword or reranking steps * the context given to the main LLM * the main LLM itself * the system prompt Changing only the embedding model therefore does not automatically make a RAG system better.
翻訳待ち・原文を表示
入力 テキスト→ 出力 埋め込み
基础档案已收录，详细介绍后续补充。可先查看厂商、分类与来源。
基本情報を収録・詳細は順次追加
分類準備中
入力 未確認→ 出力 未確認
