layoutlmv2-base-uncased
MicrosoftThe documentation of this model in the Transformers library can be found here.
翻訳待ち・原文を表示
入力 未確認→ 出力 未確認
料金未確認マルチモーダル・チャネル料金は個別に確認
詳細を見る ↗DISCOVER & COMPARE
AIモデルを探す 85001
layoutlmv2-large-uncased
MicrosoftLayoutLMv2 is an improved version of LayoutLM with new pre-training tasks to model the interaction among text, layout, and image in a single multi-modal framework. It outperforms strong baselines and achieves new state-of-the-art results on a wide variety of downstream visually-rich document understanding tasks, including , including FUNSD (0.7895 → 0.8420), CORD (0.9493 → 0.9601), SROIE (0.9524 → 0.9781), Kleister-NDA (0.834 → 0.852), RVL-CDIP (0.9443 → 0.9564), and DocVQA (0.7295 → 0.8672). LayoutLMv2: Multi-modal Pre-training for Visually-Rich Document Understanding Yang Xu, Yiheng Xu, Tengchao Lv, Lei Cui, Furu Wei, Guoxin Wang, Yijuan Lu, Dinei Florencio, Cha Zhang, Wanxiang Che, Min Zhang, Lidong Zhou, ACL 2021
翻訳待ち・原文を表示
入力 未確認→ 出力 未確認
料金未確認マルチモーダル・チャネル料金は個別に確認
詳細を見る ↗layoutlmv3-base
MicrosoftLayoutLMv3 is a pre-trained multimodal Transformer for Document AI with unified text and image masking. The simple unified architecture and training objectives make LayoutLMv3 a general-purpose pre-trained model. For example, LayoutLMv3 can be fine-tuned for both text-centric tasks, including form understanding, receipt understanding, and document visual question answering, and image-centric tasks such as document image classification and document layout analysis. The content of this project itself is licensed under the Attribution-NonCommercial-ShareAlike 4.0 International (CC BY-NC-SA 4.0). Portions of the source code are based on the transformers project. Microsoft Open Source Code of Conduct
翻訳待ち・原文を表示
入力 テキスト→ 出力 テキスト
料金未確認マルチモーダル・チャネル料金は個別に確認
詳細を見る ↗layoutlmv3-base-chinese
Microsoft基础档案已收录，详细介绍后续补充。可先查看厂商、分类与来源。
入力 未確認→ 出力 未確認
料金未確認マルチモーダル・チャネル料金は個別に確認
詳細を見る ↗layoutlmv3-large
MicrosoftLayoutLMv3 is a pre-trained multimodal Transformer for Document AI with unified text and image masking. The simple unified architecture and training objectives make LayoutLMv3 a general-purpose pre-trained model. For example, LayoutLMv3 can be fine-tuned for both text-centric tasks, including form understanding, receipt understanding, and document visual question answering, and image-centric tasks such as document image classification and document layout analysis. The content of this project itself is licensed under the Attribution-NonCommercial-ShareAlike 4.0 International (CC BY-NC-SA 4.0). Portions of the source code are based on the transformers project. Microsoft Open Source Code of Conduct
翻訳待ち・原文を表示
入力 未確認→ 出力 未確認
料金未確認マルチモーダル・チャネル料金は個別に確認
詳細を見る ↗layoutxlm-base
MicrosoftThe documentation of this model in the Transformers library can be found here. Yiheng Xu, Tengchao Lv, Lei Cui, Guoxin Wang, Yijuan Lu, Dinei Florencio, Cha Zhang, Furu Wei, arXiv Preprint 2021
翻訳待ち・原文を表示
入力 未確認→ 出力 未確認
料金未確認マルチモーダル・チャネル料金は個別に確認
詳細を見る ↗LLaMA-2-13b-GTL-Delta
Microsoft基础档案已收录，详细介绍后续补充。可先查看厂商、分类与来源。
基本情報を収録・詳細は順次追加
入力 テキスト→ 出力 テキスト
料金未確認マルチモーダル・チャネル料金は個別に確認
詳細を見る ↗LLaMA-2-7b-GTL-Delta
Microsoft基础档案已收录，详细介绍后续补充。可先查看厂商、分类与来源。
基本情報を収録・詳細は順次追加
入力 テキスト→ 出力 テキスト
料金未確認マルチモーダル・チャネル料金は個別に確認
詳細を見る ↗Llama2-7b-WhoIsHarryPotter
Microsoft基础档案已收录，详细介绍后续补充。可先查看厂商、分类与来源。
基本情報を収録・詳細は順次追加
入力 テキスト→ 出力 テキスト
料金未確認マルチモーダル・チャネル料金は個別に確認
詳細を見る ↗llava-med-7b-delta
Microsoft基础档案已收录，详细介绍后续补充。可先查看厂商、分类与来源。
基本情報を収録・詳細は順次追加
入力 テキスト→ 出力 テキスト
料金未確認マルチモーダル・チャネル料金は個別に確認
詳細を見る ↗llava-med-v1.5-mistral-7b
MicrosoftLarge Language and Vision Assistant for bioMedicine (i.e., “LLaVA-Med”) is a large language and vision model trained using a curriculum learning method for adapting LLaVA to the biomedical domain. It is an open-source release intended for research use only to facilitate reproducibility of the corresponding paper which claims improved performance for open-ended biomedical questions answering tasks, including common visual question answering (VQA) benchmark datasets such as PathVQA and VQA-RAD. LLaVA-Med was proposed in LLaVA-Med: Training a Large Language-and-Vision Assistant for Biomedicine in One Day by Chunyuan Li, Cliff Wong, Sheng Zhang, Naoto Usuyama, Haotian Liu, Jianwei Yang, Tristan Naumann, Hoifung Poon, Jianfeng Gao. **Where to send questions or comments about the model:** https://github.com/microsoft/LLaVA-Med/issues
翻訳待ち・原文を表示
入力 テキスト · 画像→ 出力 テキスト
料金未確認マルチモーダル・チャネル料金は個別に確認
詳細を見る ↗llava-rad
Microsoft基础档案已收录，详细介绍后续补充。可先查看厂商、分类与来源。
基本情報を収録・詳細は順次追加
入力 未確認→ 出力 未確認
料金未確認マルチモーダル・チャネル料金は個別に確認
詳細を見る ↗LLM2CLIP-EVA02-B-16
Microsoft基础档案已收录，详细介绍后续补充。可先查看厂商、分类与来源。
基本情報を収録・詳細は順次追加
入力 未確認→ 出力 未確認
料金未確認マルチモーダル・チャネル料金は個別に確認
詳細を見る ↗LLM2CLIP-EVA02-L-14-336
Microsoft基础档案已收录，详细介绍后续补充。可先查看厂商、分类与来源。
基本情報を収録・詳細は順次追加
入力 未確認→ 出力 未確認
料金未確認マルチモーダル・チャネル料金は個別に確認
詳細を見る ↗基础档案已收录，详细介绍后续补充。可先查看厂商、分类与来源。
基本情報を収録・詳細は順次追加
入力 未確認→ 出力 未確認
料金未確認マルチモーダル・チャネル料金は個別に確認
詳細を見る ↗LLM2CLIP: Extending the Capability Boundaries of CLIP through Large Language Models Weiquan Huang 1* , Aoqi Wu 1* , Yifan Yang 2† , Xufang Luo 2 , Yuqing Yang 2 , Liang Hu 1 , Qi Dai 2 , Xiyang Dai 2 , Dongdong Chen 2 , Chong Luo 2 , Lili Qiu 2 1 Tongji Universiy, 2 Microsoft Corporation * Equal contribution † Corresponding to: yifanyang@microsoft.com In this paper, we propose LLM2CLIP, a novel approach that embraces the power of LLMs to unlock CLIP’s potential. By fine-tuning the LLM in the caption space with contrastive learning, we extract its textual capabilities into the output embeddings, significantly improving the output layer’s textual discriminability. We then design an efficient training process where the fine-tuned LLM acts as a powerful teacher for CLIP’s visual encoder. Thanks to the LLM’s presence, we can now incorporate longer and more complex captions without being restricted by vanilla CLIP text encoder’s context window and ability limitations. Our experiments demonstrate that this approach brings substantial improvements in cross-modal tasks. Our method directly boosted the performance of the previously SOTA EVA02 model by 16.5% on both long-text and short-text retrieval tasks, transforming a CLIP model trained solely on English data into a state-of-the-art cross-lingual model. Moreover, when integrated into mul- timodal training with models like Llava 1.5, it consistently outperformed CLIP across nearly all benchmarks, demonstrating comprehensive performance improvements.
翻訳待ち・原文を表示
入力 未確認→ 出力 未確認
料金未確認マルチモーダル・チャネル料金は個別に確認
詳細を見る ↗基础档案已收录，详细介绍后续补充。可先查看厂商、分类与来源。
基本情報を収録・詳細は順次追加
入力 未確認→ 出力 未確認
料金未確認マルチモーダル・チャネル料金は個別に確認
詳細を見る ↗LLM2CLIP-Llama3.2-1B-EVA02-L-14-224
Microsoft基础档案已收录，详细介绍后续补充。可先查看厂商、分类与来源。
基本情報を収録・詳細は順次追加
入力 未確認→ 出力 未確認
料金未確認マルチモーダル・チャネル料金は個別に確認
詳細を見る ↗LLM2CLIP-Llama3.2-1B-EVA02-L-14-336
Microsoft基础档案已收录，详细介绍后续补充。可先查看厂商、分类与来源。
基本情報を収録・詳細は順次追加
入力 未確認→ 出力 未確認
料金未確認マルチモーダル・チャネル料金は個別に確認
詳細を見る ↗LLM2CLIP-Openai-B-16
Microsoft基础档案已收录，详细介绍后续补充。可先查看厂商、分类与来源。
基本情報を収録・詳細は順次追加
入力 未確認→ 出力 未確認
料金未確認マルチモーダル・チャネル料金は個別に確認
詳細を見る ↗LLM2CLIP-Openai-L-14-224
Microsoft基础档案已收录，详细介绍后续补充。可先查看厂商、分类与来源。
基本情報を収録・詳細は順次追加
入力 未確認→ 出力 未確認
料金未確認マルチモーダル・チャネル料金は個別に確認
詳細を見る ↗LLM2CLIP-Openai-L-14-336
MicrosoftLLM2CLIP: Extending the Capability Boundaries of CLIP through Large Language Models Weiquan Huang 1* , Aoqi Wu 1* , Yifan Yang 2† , Xufang Luo 2 , Yuqing Yang 2 , Liang Hu 1 , Qi Dai 2 , Xiyang Dai 2 , Dongdong Chen 2 , Chong Luo 2 , Lili Qiu 2 1 Tongji Universiy, 2 Microsoft Corporation * Equal contribution † Corresponding to: yifanyang@microsoft.com In this paper, we propose LLM2CLIP, a novel approach that embraces the power of LLMs to unlock CLIP’s potential. By fine-tuning the LLM in the caption space with contrastive learning, we extract its textual capabilities into the output embeddings, significantly improving the output layer’s textual discriminability. We then design an efficient training process where the fine-tuned LLM acts as a powerful teacher for CLIP’s visual encoder. Thanks to the LLM’s presence, we can now incorporate longer and more complex captions without being restricted by vanilla CLIP text encoder’s context window and ability limitations. Our experiments demonstrate that this approach brings substantial improvements in cross-modal tasks. Our method directly boosted the performance of the previously SOTA EVA02 model by 16.5% on both long-text and short-text retrieval tasks, transforming a CLIP model trained solely on English data into a state-of-the-art cross-lingual model. Moreover, when integrated into mul- timodal training with models like Llava 1.5, it consistently outperformed CLIP across nearly all benchmarks, demonstrating comprehensive performance improvements.
翻訳待ち・原文を表示
入力 未確認→ 出力 未確認
料金未確認マルチモーダル・チャネル料金は個別に確認
詳細を見る ↗This model was introduced in the paper **LLMLingua-2: Data Distillation for Efficient and Faithful Task-Agnostic Prompt Compression** (Pan et al, 2024). It is a BERT multilingual base model (cased) finetuned to perform token classification for task agnostic prompt compression. The probability `$p_{preserve}$` of each token `$x_i$` is used as the metric for compression. This model is trained on the extractive text compression dataset constructed with the methodology proposed in the **LLMLingua-2**, using training examples from MeetingBank (Hu et al, 2023) as the seed data. You can evaluate the model on downstream tasks such as question answering (QA) and summarization over compressed meeting transcripts using this dataset. For more details, please check the project page of LLMLingua-2 and LLMLingua Series.
翻訳待ち・原文を表示
入力 テキスト→ 出力 テキスト
料金未確認マルチモーダル・チャネル料金は個別に確認
詳細を見る ↗This model was introduced in the paper **LLMLingua-2: Data Distillation for Efficient and Faithful Task-Agnostic Prompt Compression** (Pan et al, 2024). It is a XLM-RoBERTa (large-sized model) finetuned to perform token classification for task agnostic prompt compression. The probability $p_{preserve}$ of each token $x_i$ is used as the metric for compression. This model is trained on the extractive text compression dataset constructed with the methodology proposed in the **LLMLingua-2**, using training examples from MeetingBank (Hu et al, 2023) as the seed data. You can evaluate the model on downstream tasks such as question answering (QA) and summarization over compressed meeting transcripts using this dataset. For more details, please check the home page of LLMLingua-2 and LLMLingua Series.
翻訳待ち・原文を表示
入力 テキスト→ 出力 テキスト
料金未確認マルチモーダル・チャネル料金は個別に確認
詳細を見る ↗該当するモデルがありません
提供元・分類・入出力の条件を変更してください。新しいモデルを随時追加しています。
COST EXPLORER
モデル選びに、費用の視点も。
月間トークン数を調整してAPI費用を比較。
1 M = 100万トークン・米ドル
同一チャネルの基本テキスト料金を比較
同一チャネルの基本テキスト料金を比較
収集済みの比較可能な100万トークン当たり米ドル料金です。キャッシュ割引、段階料金、追加推論出力、税金は含みません。最新料金は出典で確認してください。
MODEL HANDBOOK
モデルを理解して選ぶ
API料金はどう比較しますか？+
入力・出力・キャッシュ料金を分け、同じ用途と使用量で総費用を比較します。画像・音声・動画は枚数、時間、解像度で課金される場合があります。
オープンウェイトは無料で商用利用できますか？+
必ずしもそうではありません。バージョンごとのライセンス、商用制限、ポリシーを確認してください。自前運用には計算資源と保守費用も必要です。
ランキング1位が最適ですか？+
順位はテスト、バージョン、評価方法によります。実際の業務データで精度、遅延、安定性、費用を比較してください。