All quants made using imatrix option with dataset provided by Kalomaze here A great write up with charts showing various performances is provided by Artefact2 here The first thing to figure out is how big a model you can run. To do this, you'll need to figure out how much RAM and/or VRAM you have.
번역 대기 중 · 원문 표시
입력 텍스트→ 출력 텍스트
基础档案已收录,详细介绍后续补充。可先查看厂商、分类与来源。
기본 정보 등록 · 상세 정보 보완 예정
입력 텍스트→ 출력 텍스트
基础档案已收录,详细介绍后续补充。可先查看厂商、分类与来源。
입력 텍스트→ 출력 텍스트
基础档案已收录,详细介绍后续补充。可先查看厂商、分类与来源。
기본 정보 등록 · 상세 정보 보완 예정
입력 텍스트→ 출력 텍스트
Using llama.cpp release b5074 with my PR changes from here for quantization. All quants made using imatrix option with dataset from here Run them directly with llama.cpp, or any other llama.cpp based project
번역 대기 중 · 원문 표시
입력 텍스트→ 출력 텍스트
基础档案已收录,详细介绍后续补充。可先查看厂商、分类与来源。
기본 정보 등록 · 상세 정보 보완 예정
입력 텍스트→ 출력 텍스트
基础档案已收录,详细介绍后续补充。可先查看厂商、分类与来源。
입력 텍스트 · 이미지→ 출력 텍스트
基础档案已收录,详细介绍后续补充。可先查看厂商、分类与来源。
입력 텍스트→ 출력 텍스트
All quants made using imatrix option with dataset from here Run them directly with llama.cpp, or any other llama.cpp based project Some of these quants (Q3_K_XL, Q4_K_L etc) are the standard quantization method with the embeddings and output weights quantized to Q8_0 instead of what they would normally default to.
번역 대기 중 · 원문 표시
입력 텍스트→ 출력 텍스트
基础档案已收录,详细介绍后续补充。可先查看厂商、分类与来源。
입력 텍스트→ 출력 텍스트
基础档案已收录,详细介绍后续补充。可先查看厂商、分类与来源。
입력 텍스트→ 출력 텍스트
基础档案已收录,详细介绍后续补充。可先查看厂商、分类与来源。
입력 텍스트→ 출력 텍스트
基础档案已收录,详细介绍后续补充。可先查看厂商、分类与来源。
입력 텍스트→ 출력 텍스트
基础档案已收录,详细介绍后续补充。可先查看厂商、分类与来源。
기본 정보 등록 · 상세 정보 보완 예정
입력 텍스트 · 이미지→ 출력 텍스트
**Model details:** - Parameter count: 28B (source checkpoint) - Input support: text, image (with mmproj file) - details - Speculative decoding: yes (MTP) - details - imatrix: yes - details **Don't know which to choose?** Grab Q4_K_M (17.44GB) - usually a good mix of size and performance. Download instructions available here The files marked `true` in the Split column above are stored as multiple parts in a folder. To download all the parts to a local folder, run:
번역 대기 중 · 원문 표시
입력 텍스트 · 이미지→ 출력 텍스트
基础档案已收录,详细介绍后续补充。可先查看厂商、分类与来源。
입력 텍스트 · 이미지→ 출력 텍스트
基础档案已收录,详细介绍后续补充。可先查看厂商、分类与来源。
입력 텍스트→ 출력 텍스트
基础档案已收录,详细介绍后续补充。可先查看厂商、分类与来源。
기본 정보 등록 · 상세 정보 보완 예정
입력 텍스트→ 출력 텍스트
**Model details:** - Parameter count: 9B - Input support: text, image (with mmproj file) - details - Speculative decoding: no - imatrix: yes - details **Don't know which to choose?** Grab Q4_K_M (5.84GB) - usually a good mix of size and performance. Download instructions available here These quants run with llama.cpp - installable in one line via llama.app:
번역 대기 중 · 원문 표시
입력 텍스트→ 출력 텍스트
基础档案已收录,详细介绍后续补充。可先查看厂商、分类与来源。
입력 텍스트→ 출력 텍스트
基础档案已收录,详细介绍后续补充。可先查看厂商、分类与来源。
입력 텍스트 · 이미지→ 출력 텍스트
基础档案已收录,详细介绍后续补充。可先查看厂商、分类与来源。
입력 텍스트 · 이미지→ 출력 텍스트
**Model details:** - Parameter count: 35B (source checkpoint) - Input support: text, image (with mmproj file) - details - Speculative decoding: no - imatrix: yes - details **Don't know which to choose?** Grab Q4_K_M (22.32GB) - usually a good mix of size and performance. Download instructions available here The files marked `true` in the Split column above are stored as multiple parts in a folder. To download all the parts to a local folder, run:
번역 대기 중 · 원문 표시
입력 텍스트 · 이미지→ 출력 텍스트
**Model details:** - Parameter count: 3B - Input support: text - Speculative decoding: no - imatrix: yes - details **Don't know which to choose?** Grab Q4_K_M (1.62GB) - usually a good mix of size and performance. Download instructions available here These quants were made with llama.cpp release b10883 - if this model's architecture is newly supported, you'll need that release or newer to run them.
번역 대기 중 · 원문 표시
입력 텍스트→ 출력 텍스트