rwkv-3-pile-169m
BlinkDL基础档案已收录,详细介绍后续补充。可先查看厂商、分类与来源。
基本情報を収録・詳細は順次追加
言語から画像、オープンウェイトからAPIまで。能力と実際の費用を比較。
次のアイデアに合うAIを見つけましょう。
基础档案已收录,详细介绍后续补充。可先查看厂商、分类与来源。
基本情報を収録・詳細は順次追加
基础档案已收录,详细介绍后续补充。可先查看厂商、分类与来源。
基本情報を収録・詳細は順次追加
基础档案已收录,详细介绍后续补充。可先查看厂商、分类与来源。
基本情報を収録・詳細は順次追加
RWKV-4 14B is a L40-D5120 causal language model trained on the Pile. See https://github.com/BlinkDL/RWKV-LM for details. RWKV-4-Pile-14B-2023xxxx-ctx8192-testxxx.pth : Fine-tuned to ctx_len 8192. * The best general model. "Raven": RWKV alpaca+vicuna-style model: https://huggingface.co/BlinkDL/rwkv-4-raven (highly recommended)
翻訳待ち・原文を表示
基础档案已收录,详细介绍后续补充。可先查看厂商、分类与来源。
基本情報を収録・詳細は順次追加
基础档案已收录,详细介绍后续补充。可先查看厂商、分类与来源。
基本情報を収録・詳細は順次追加
RWKV-4 3B is a L32-D2560 causal language model trained on the Pile. See https://github.com/BlinkDL/RWKV-LM for details. RWKV-4-Pile-3B-20221110-ctx4096.pth (RECOMMENDED) : Fine-tuned to ctx_len 4096. * LAMBADA ppl 5.25, acc 63.96% * PIQA acc 74.16% * SC2016 acc 70.71% * Hellaswag acc_norm 59.89% * ctx_len = 4096 n_layer = 32 n_embd = 2560 RWKV-4-Pile-3B-20221008-8023.pth : Trained on the Pile for 331B tokens. * Pile loss 1.9469 * LAMBADA ppl 5.24, acc 63.94% * PIQA acc 73.72% * SC2016 acc 70.28% * Hellaswag acc_norm 59.63% * ctx_len = 1024 n_layer = 32 n_embd = 2560
翻訳待ち・原文を表示
基础档案已收录,详细介绍后续补充。可先查看厂商、分类与来源。
基本情報を収録・詳細は順次追加
RWKV-4 7B is a L32-D4096 causal language model trained on the Pile. See https://github.com/BlinkDL/RWKV-LM for details. RWKV-4-Pile-7B-20230109-ctx4096.pth : Fine-tuned to ctx_len 4096. * Likely the best. Please test. "Raven": RWKV alpaca+vicuna-style model: https://huggingface.co/BlinkDL/rwkv-4-raven (highly recommended)
翻訳待ち・原文を表示
基础档案已收录,详细介绍后续补充。可先查看厂商、分类与来源。
基本情報を収録・詳細は順次追加
These are RWKV-4-Pile 1.5/3/7/14B models finetuned on Alpaca, CodeAlpaca, Guanaco, GPT4All, ShareGPT and more. **Even the 1.5B model is surprisingly good for its size.** Gradio Demo: https://huggingface.co/spaces/BlinkDL/Raven-RWKV-7B and https://huggingface.co/spaces/BlinkDL/ChatRWKV-gradio See https://github.com/BlinkDL/RWKV-LM for details on the RWKV Language Model (100% RNN).
翻訳待ち・原文を表示
World = Some_Pile + Some_RedPajama + Some_OSCAR + All_Wikipedia + All_ChatGPT_Data_I_can_find How to use: * use https://github.com/josStorer/RWKV-Runner for GUI * use latest rwkv pip package (0.8.0+) * use https://github.com/BlinkDL/ChatRWKV/blob/main/v2/benchmark_world.py and https://github.com/BlinkDL/ChatRWKV/blob/main/API_DEMO_WORLD.py to test it The differences between World & Raven: * set pipeline = PIPELINE(model, "rwkv_vocab_v20230424") instead of 20B_tokenizer.json (EXACTLY AS WRITTEN HERE. "rwkv_vocab_v20230424" is included in rwkv 0.7.4+) * use Question/Answer or User/AI or Human/Bot for chat. **DO NOT USE Bob/Alice or Q/A**
翻訳待ち・原文を表示
基础档案已收录,详细介绍后续补充。可先查看厂商、分类与来源。
基本情報を収録・詳細は順次追加
基础档案已收录,详细介绍后续补充。可先查看厂商、分类与来源。
基础档案已收录,详细介绍后续补充。可先查看厂商、分类与来源。
基础档案已收录,详细介绍后续补充。可先查看厂商、分类与来源。
基本情報を収録・詳細は順次追加
基础档案已收录,详细介绍后续补充。可先查看厂商、分类与来源。
基本情報を収録・詳細は順次追加
These are BASE models (pretrained with web/code/synthetic + instruction/chat/reasoning data), suitable for post-training and fine-tuning (check https://huggingface.co/spaces/Jellyfish042/UncheatableEval to see their performance at language modeling). **Recommended GUI (for fast batch generation, similar to https://huggingface.co/spaces/BlinkDL/RWKV-Gradio-3)**: https://github.com/BlinkDL/Albatross/blob/main/faster3a_2607/app4b.py RWKV Chat: https://rwkv.halowang.cloud/ (local inference for mobile/desktop) and https://github.com/RWKV-APP/RWKV_APP
翻訳待ち・原文を表示
Here are some cutting-edge preview RWKV models: https://huggingface.co/BlinkDL/temp-latest-training-models/tree/main including RWKV-7 checkpts (already supported by https://pypi.org/project/rwkv/ and https://github.com/Ai00-X/ai00_server) "single_round_qa" are "states" (check https://x.com/BlinkDL_AI/status/1788354345807057035) and these are single round Q&A states
翻訳待ち・原文を表示
提供元・分類・入出力の条件を変更してください。新しいモデルを随時追加しています。
月間トークン数を調整してAPI費用を比較。
収集済みの比較可能な100万トークン当たり米ドル料金です。キャッシュ割引、段階料金、追加推論出力、税金は含みません。最新料金は出典で確認してください。
入力・出力・キャッシュ料金を分け、同じ用途と使用量で総費用を比較します。画像・音声・動画は枚数、時間、解像度で課金される場合があります。
必ずしもそうではありません。バージョンごとのライセンス、商用制限、ポリシーを確認してください。自前運用には計算資源と保守費用も必要です。
順位はテスト、バージョン、評価方法によります。実際の業務データで精度、遅延、安定性、費用を比較してください。