rwkv-3-pile-169m
BlinkDL基础档案已收录,详细介绍后续补充。可先查看厂商、分类与来源。
基础资料已收录 · 缺失资料后续补充
从语言到影像,从开源到 API。读懂模型能力、比较真实成本,
为你的下一个想法,找到合适的智能引擎。
基础档案已收录,详细介绍后续补充。可先查看厂商、分类与来源。
基础资料已收录 · 缺失资料后续补充
基础档案已收录,详细介绍后续补充。可先查看厂商、分类与来源。
基础资料已收录 · 缺失资料后续补充
基础档案已收录,详细介绍后续补充。可先查看厂商、分类与来源。
基础资料已收录 · 缺失资料后续补充
RWKV-4 14B is a L40-D5120 causal language model trained on the Pile. See https://github.com/BlinkDL/RWKV-LM for details. RWKV-4-Pile-14B-2023xxxx-ctx8192-testxxx.pth : Fine-tuned to ctx_len 8192. * The best general model. "Raven": RWKV alpaca+vicuna-style model: https://huggingface.co/BlinkDL/rwkv-4-raven (highly recommended)
译文排队中 · 当前显示来源原文
基础档案已收录,详细介绍后续补充。可先查看厂商、分类与来源。
基础资料已收录 · 缺失资料后续补充
基础档案已收录,详细介绍后续补充。可先查看厂商、分类与来源。
基础资料已收录 · 缺失资料后续补充
RWKV-4 3B is a L32-D2560 causal language model trained on the Pile. See https://github.com/BlinkDL/RWKV-LM for details. RWKV-4-Pile-3B-20221110-ctx4096.pth (RECOMMENDED) : Fine-tuned to ctx_len 4096. * LAMBADA ppl 5.25, acc 63.96% * PIQA acc 74.16% * SC2016 acc 70.71% * Hellaswag acc_norm 59.89% * ctx_len = 4096 n_layer = 32 n_embd = 2560 RWKV-4-Pile-3B-20221008-8023.pth : Trained on the Pile for 331B tokens. * Pile loss 1.9469 * LAMBADA ppl 5.24, acc 63.94% * PIQA acc 73.72% * SC2016 acc 70.28% * Hellaswag acc_norm 59.63% * ctx_len = 1024 n_layer = 32 n_embd = 2560
译文排队中 · 当前显示来源原文
基础档案已收录,详细介绍后续补充。可先查看厂商、分类与来源。
基础资料已收录 · 缺失资料后续补充
RWKV-4 7B is a L32-D4096 causal language model trained on the Pile. See https://github.com/BlinkDL/RWKV-LM for details. RWKV-4-Pile-7B-20230109-ctx4096.pth : Fine-tuned to ctx_len 4096. * Likely the best. Please test. "Raven": RWKV alpaca+vicuna-style model: https://huggingface.co/BlinkDL/rwkv-4-raven (highly recommended)
译文排队中 · 当前显示来源原文
基础档案已收录,详细介绍后续补充。可先查看厂商、分类与来源。
基础资料已收录 · 缺失资料后续补充
These are RWKV-4-Pile 1.5/3/7/14B models finetuned on Alpaca, CodeAlpaca, Guanaco, GPT4All, ShareGPT and more. **Even the 1.5B model is surprisingly good for its size.** Gradio Demo: https://huggingface.co/spaces/BlinkDL/Raven-RWKV-7B and https://huggingface.co/spaces/BlinkDL/ChatRWKV-gradio See https://github.com/BlinkDL/RWKV-LM for details on the RWKV Language Model (100% RNN).
译文排队中 · 当前显示来源原文
World = Some_Pile + Some_RedPajama + Some_OSCAR + All_Wikipedia + All_ChatGPT_Data_I_can_find How to use: * use https://github.com/josStorer/RWKV-Runner for GUI * use latest rwkv pip package (0.8.0+) * use https://github.com/BlinkDL/ChatRWKV/blob/main/v2/benchmark_world.py and https://github.com/BlinkDL/ChatRWKV/blob/main/API_DEMO_WORLD.py to test it The differences between World & Raven: * set pipeline = PIPELINE(model, "rwkv_vocab_v20230424") instead of 20B_tokenizer.json (EXACTLY AS WRITTEN HERE. "rwkv_vocab_v20230424" is included in rwkv 0.7.4+) * use Question/Answer or User/AI or Human/Bot for chat. **DO NOT USE Bob/Alice or Q/A**
译文排队中 · 当前显示来源原文
基础档案已收录,详细介绍后续补充。可先查看厂商、分类与来源。
基础资料已收录 · 缺失资料后续补充
基础档案已收录,详细介绍后续补充。可先查看厂商、分类与来源。
基础档案已收录,详细介绍后续补充。可先查看厂商、分类与来源。
基础档案已收录,详细介绍后续补充。可先查看厂商、分类与来源。
基础资料已收录 · 缺失资料后续补充
基础档案已收录,详细介绍后续补充。可先查看厂商、分类与来源。
基础资料已收录 · 缺失资料后续补充
These are BASE models (pretrained with web/code/synthetic + instruction/chat/reasoning data), suitable for post-training and fine-tuning (check https://huggingface.co/spaces/Jellyfish042/UncheatableEval to see their performance at language modeling). **Recommended GUI (for fast batch generation, similar to https://huggingface.co/spaces/BlinkDL/RWKV-Gradio-3)**: https://github.com/BlinkDL/Albatross/blob/main/faster3a_2607/app4b.py RWKV Chat: https://rwkv.halowang.cloud/ (local inference for mobile/desktop) and https://github.com/RWKV-APP/RWKV_APP
译文排队中 · 当前显示来源原文
Here are some cutting-edge preview RWKV models: https://huggingface.co/BlinkDL/temp-latest-training-models/tree/main including RWKV-7 checkpts (already supported by https://pypi.org/project/rwkv/ and https://github.com/Ai00-X/ai00_server) "single_round_qa" are "states" (check https://x.com/BlinkDL_AI/status/1788354345807057035) and these are single round Q&A states
译文排队中 · 当前显示来源原文
可以调整厂商、分类或输入输出条件;新模型正持续收录。
调整月度 Token 用量,直观比较不同模型的预估 API 开支。
使用已采集且单位可比的 USD / 百万 Token 渠道报价。报价为采集时快照;不计缓存优惠、阶梯价、推理额外输出与税费,请以来源的当前报价为准。
先区分输入、输出和缓存价格,再使用同一任务和用量估算总费用。图像、音频和视频可能按张、时长或分辨率计费,不能直接与 Token 单价比较。
不一定。必须逐一核对具体模型版本的许可证、商用限制及使用政策。自己部署还需要考虑显存、推理资源和运维费用。
榜单取决于测试任务、版本与评测方法。建议用实际业务样本比较准确性、时延、稳定性和成本,再选择模型。