LitServe

用纯Python构建自定义AI推理服务的框架，自主控制批处理、流式与多模型编排并可自托管部署。