Skip to main content
Back to top
Ctrl
+
K
快速上手
安装
快速开始
其他软硬件平台
华为昇腾（Atlas 800T A2）
模型列表
支持的模型
大语言模型(LLMs)部署
LLM 离线推理 pipeline
部署 LLM 类 openai 服务
Tools
Reasoning Outputs
LoRA 推理服务
部署 gradio 服务
请求分发服务器
视觉-语言模型(VLMs)部署
VLM 离线推理 pipeline
部署 VLM 类 openai 服务
视觉语言模型
DeepSeek-VL2
LLaVA
InternVL
InternLM-XComposer-2.5
cogvlm
MiniCPM-V
Phi-3 Vision
Mllama
Qwen2-VL
Qwen2.5-VL
Qwen2-VL
Gemma3
量化
INT4 模型量化和部署
W8A8 LLM 模型部署
Key-Value(KV) Cache 量化
测试基准
性能测试
如何使用OpenCompass测评LLMs
进阶指南
TurboMind 框架
lmdeploy.pytorch 架构
lmdeploy.pytorch 新模型支持
长文本外推
自定义对话模板
如何调试 Turbomind
结构化输出
PyTorchEngine 多节点部署指南
API 文档
推理 pipeline
Repository
Show source
Suggest edit
Open issue
.rst
.pdf
其他软硬件平台
其他软硬件平台
#
NPU(Huawei)
华为昇腾（Atlas 800T A2）
