언어부터 이미지, 오픈 웨이트부터 API까지. 기능과 실제 비용을 비교하세요.
다음 아이디어에 맞는 AI를 찾아보세요.
If the model is bigger than 50GB, it will have been split into multiple files. In order to download them all to a local folder, run: You can either specify a new local-dir (Meta-Llama-3.1-8B-Instruct-abliterated-Q8_0) or download them all in place (./) The first thing to figure out is how big a model you can run. To do this, you'll need to figure out how much RAM and/or VRAM you have.
번역 대기 중 · 원문 표시
All quants made using imatrix option with dataset from here - 30-07-2024: Updated chat template to fix small bug with tool usage being undefined, if you don't use the built-in chat template it shouldn't change anything Thank you kalomaze and Dampf for assistance in creating the imatrix calibration dataset
번역 대기 중 · 원문 표시
基础档案已收录，详细介绍后续补充。可先查看厂商、分类与来源。
기본 정보 등록 · 상세 정보 보완 예정
If the model is bigger than 50GB, it will have been split into multiple files. In order to download them all to a local folder, run: You can either specify a new local-dir (Meta-Llama-3-70B-Instruct-Q8_0) or download them all in place (./) The first thing to figure out is how big a model you can run. To do this, you'll need to figure out how much RAM and/or VRAM you have.
번역 대기 중 · 원문 표시
基础档案已收录，详细介绍后续补充。可先查看厂商、分类与来源。
기본 정보 등록 · 상세 정보 보완 예정
基础档案已收录，详细介绍后续补充。可先查看厂商、分类与来源。
All quants made using imatrix option with dataset provided by Kalomaze here A great write up with charts showing various performances is provided by Artefact2 here The first thing to figure out is how big a model you can run. To do this, you'll need to figure out how much RAM and/or VRAM you have.
번역 대기 중 · 원문 표시
基础档案已收录，详细介绍后续补充。可先查看厂商、分类与来源。
기본 정보 등록 · 상세 정보 보완 예정
基础档案已收录，详细介绍后续补充。可先查看厂商、分类与来源。
基础档案已收录，详细介绍后续补充。可先查看厂商、分类与来源。
기본 정보 등록 · 상세 정보 보완 예정
Using llama.cpp release b5074 with my PR changes from here for quantization. All quants made using imatrix option with dataset from here Run them directly with llama.cpp, or any other llama.cpp based project
번역 대기 중 · 원문 표시
基础档案已收录，详细介绍后续补充。可先查看厂商、分类与来源。
기본 정보 등록 · 상세 정보 보완 예정
基础档案已收录，详细介绍后续补充。可先查看厂商、分类与来源。
基础档案已收录，详细介绍后续补充。可先查看厂商、分类与来源。
All quants made using imatrix option with dataset from here Run them directly with llama.cpp, or any other llama.cpp based project Some of these quants (Q3_K_XL, Q4_K_L etc) are the standard quantization method with the embeddings and output weights quantized to Q8_0 instead of what they would normally default to.
번역 대기 중 · 원문 표시
基础档案已收录，详细介绍后续补充。可先查看厂商、分类与来源。
基础档案已收录，详细介绍后续补充。可先查看厂商、分类与来源。
基础档案已收录，详细介绍后续补充。可先查看厂商、分类与来源。
基础档案已收录，详细介绍后续补充。可先查看厂商、分类与来源。
基础档案已收录，详细介绍后续补充。可先查看厂商、分类与来源。
기본 정보 등록 · 상세 정보 보완 예정
**Model details:** - Parameter count: 28B (source checkpoint) - Input support: text, image (with mmproj file) - details - Speculative decoding: yes (MTP) - details - imatrix: yes - details **Don't know which to choose?** Grab Q4_K_M (17.44GB) - usually a good mix of size and performance. Download instructions available here The files marked `true` in the Split column above are stored as multiple parts in a folder. To download all the parts to a local folder, run:
번역 대기 중 · 원문 표시
基础档案已收录，详细介绍后续补充。可先查看厂商、分类与来源。
基础档案已收录，详细介绍后续补充。可先查看厂商、分类与来源。
基础档案已收录，详细介绍后续补充。可先查看厂商、分类与来源。
기본 정보 등록 · 상세 정보 보완 예정
제공사, 분류, 입출력 조건을 조정하세요. 새 모델이 계속 등록됩니다.
월간 토큰 사용량으로 예상 API 비용을 비교하세요.
수집된 백만 토큰당 USD 요금입니다. 캐시 할인, 구간 요금, 추가 추론 출력, 세금은 제외됩니다. 최신 요금은 출처에서 확인하세요.
입력, 출력, 캐시 요금을 구분하고 동일 작업량으로 비교하세요. 이미지, 음성, 영상은 개수, 시간, 해상도로 과금될 수 있습니다.
반드시 그렇지는 않습니다. 버전별 라이선스, 상업 이용 제한, 정책을 확인하세요. 자체 호스팅에는 연산 및 유지 비용도 듭니다.
순위는 작업, 버전, 평가 방식에 따라 다릅니다. 실제 업무로 정확도, 지연, 안정성, 비용을 비교하세요.
