言語から画像、オープンウェイトからAPIまで。能力と実際の費用を比較。
次のアイデアに合うAIを見つけましょう。
**Model details:** - Parameter count: 9B - Input support: text, image (with mmproj file) - details - Speculative decoding: no - imatrix: yes - details **Don't know which to choose?** Grab Q4_K_M (5.84GB) - usually a good mix of size and performance. Download instructions available here These quants run with llama.cpp - installable in one line via llama.app:
翻訳待ち・原文を表示
基础档案已收录，详细介绍后续补充。可先查看厂商、分类与来源。
基础档案已收录，详细介绍后续补充。可先查看厂商、分类与来源。
基础档案已收录，详细介绍后续补充。可先查看厂商、分类与来源。
**Model details:** - Parameter count: 35B (source checkpoint) - Input support: text, image (with mmproj file) - details - Speculative decoding: no - imatrix: yes - details **Don't know which to choose?** Grab Q4_K_M (22.32GB) - usually a good mix of size and performance. Download instructions available here The files marked `true` in the Split column above are stored as multiple parts in a folder. To download all the parts to a local folder, run:
翻訳待ち・原文を表示
**Model details:** - Parameter count: 3B - Input support: text - Speculative decoding: no - imatrix: yes - details **Don't know which to choose?** Grab Q4_K_M (1.62GB) - usually a good mix of size and performance. Download instructions available here These quants were made with llama.cpp release b10883 - if this model's architecture is newly supported, you'll need that release or newer to run them.
翻訳待ち・原文を表示
基础档案已收录，详细介绍后续补充。可先查看厂商、分类与来源。
基本情報を収録・詳細は順次追加
基础档案已收录，详细介绍后续补充。可先查看厂商、分类与来源。
基础档案已收录，详细介绍后续补充。可先查看厂商、分类与来源。
基本情報を収録・詳細は順次追加
If running with CUDA on a model that has `Q4_K` or `Q5_K` for `61.blk.ffn_down_exps` you should compile with the following flag: to avoid `NaN` activations. This is most likely an issue in `llama.cpp` itself and will hopefully be resolved, but in the meantime this fixes the issue. You can check in the info on huggingface which models are affected, but it seems to be `Q5_K_S`, `Q4_K_S`, `Q3_K_XL`, `Q3_K_L`, `Q3_K_M`, `IQ3_M`, `IQ3_XS`, and `IQ3_XXS`
翻訳待ち・原文を表示
基础档案已收录，详细介绍后续补充。可先查看厂商、分类与来源。
Some of these quants (Q3_K_XL, Q4_K_L etc) are the standard quantization method with the embeddings and output weights quantized to Q8_0 instead of what they would normally default to. Some say that this improves the quality, others don't notice any difference. If you use these models PLEASE COMMENT with your findings. I would like feedback that these are actually used and useful so I don't keep uploading quants no one is using. If the model is bigger than 50GB, it will have been split into multiple files. In order to download them all to a local folder, run:
翻訳待ち・原文を表示
基础档案已收录，详细介绍后续补充。可先查看厂商、分类与来源。
基础档案已收录，详细介绍后续补充。可先查看厂商、分类与来源。
基本情報を収録・詳細は順次追加
基础档案已收录，详细介绍后续补充。可先查看厂商、分类与来源。
基础档案已收录，详细介绍后续补充。可先查看厂商、分类与来源。
基本情報を収録・詳細は順次追加
基础档案已收录，详细介绍后续补充。可先查看厂商、分类与来源。
基础档案已收录，详细介绍后续补充。可先查看厂商、分类与来源。
基本情報を収録・詳細は順次追加
基础档案已收录，详细介绍后续补充。可先查看厂商、分类与来源。
基本情報を収録・詳細は順次追加
基础档案已收录，详细介绍后续补充。可先查看厂商、分类与来源。
基础档案已收录，详细介绍后续补充。可先查看厂商、分类与来源。
基本情報を収録・詳細は順次追加
基础档案已收录，详细介绍后续补充。可先查看厂商、分类与来源。
基础档案已收录，详细介绍后续补充。可先查看厂商、分类与来源。
基本情報を収録・詳細は順次追加
基础档案已收录，详细介绍后续补充。可先查看厂商、分类与来源。
基本情報を収録・詳細は順次追加
提供元・分類・入出力の条件を変更してください。新しいモデルを随時追加しています。
月間トークン数を調整してAPI費用を比較。
収集済みの比較可能な100万トークン当たり米ドル料金です。キャッシュ割引、段階料金、追加推論出力、税金は含みません。最新料金は出典で確認してください。
入力・出力・キャッシュ料金を分け、同じ用途と使用量で総費用を比較します。画像・音声・動画は枚数、時間、解像度で課金される場合があります。
必ずしもそうではありません。バージョンごとのライセンス、商用制限、ポリシーを確認してください。自前運用には計算資源と保守費用も必要です。
順位はテスト、バージョン、評価方法によります。実際の業務データで精度、遅延、安定性、費用を比較してください。
