欢迎来到 LMDeploy 的中文文档!¶ 点击页面左下角切换中英文。 编译 编译和安装 在 docker 内编译安装(强烈推荐) 在物理机上编译安装(可选) 服务 模型服务 部署 LLaMA-2 服务 部署 LLaMA 服务 TurboMind TurboMind TurboMind 结构 Persistent Batch KV 缓存管理器 TurboMind 的 LLaMa 实现 API TurboMind 和 FasterTransformer 的区别 FAQ 语言切换 English 简体中文 Indices and tables¶ 索引 搜索页面