Agent 基础设施
标签
同类项目
sglang38.7k面向 大模型 与 多 模态 模型 的 高性 能 推理 服务 框架， 优化 智 能 体 负载、 大规模 serving 与 强化 学习 rollout。 
nano-vllm16.3k从零实现 的 轻量 vLLM 推理 引擎， 代码 精简 可读， 推理 速度 可 比肩 原版vLLM。 
inference9.6k统一 的 大模型 推理 服务库， 一 条 命令部署 开源 模型， 兼容OpenAI 接口 并 支持 分 布式 运行。 
beellama.cpp1.2k面向 本 地 大模型 推理 的 量化 引擎 分支， 通过 缓存 精度 优化 在 同显存下 实现 更长 上 下文 推理。 
TensorRT-LLM15k英伟达 开源 的 大模型 推理 优化 库， 提供 高效 内核 与 运行 时， 支撑 高性 能 部署。 
vllm-omni7.5k面向 全 模态 模型 的 高效 推理 服务 框架， 支持 文本 图 像 音 频视频 与 动作统 一 服务。