type
status
date
slug
summary
tags
category
icon
password
项目简介
本项目提供基于 LitServe 的多 GPU 并行处理方案。LitServe 是一个简便且灵活的 AI 模型服务引擎，基于 FastAPI 构建。它为 FastAPI 增强了批处理、流式传输和 GPU 自动扩展等功能，无需为每个模型单独重建 FastAPI 服务器。
环境配置
请使用以下命令配置所需的环境：
快速使用
1. 启动服务端
以下示例展示了如何启动服务端，支持自定义设置：
启动服务端命令：
2. 启动客户端
以下代码展示了客户端的使用方式，可根据需求修改配置：
启动客户端命令：
好了，你的文件会自动在多个 GPU 上并行处理！🍻🍻🍻