Agent 基础设施
标签
同类项目
sglang38.7k面向 大模型 与 多 模态 模型 的 高性 能 推理 服务 框架， 优化 智 能 体 负载、 大规模 serving 与 强化 学习 rollout。 
LMCache12.3k面向 大模型 推理 的 KV 缓存 管理层， 实现 跨 引擎持久化 复用 与 可 观测， 显著降低 首字 延迟 提升 吞吐。 
project-maya2.6kProject Maya 是 本 地 大模型 推理 引擎， 可 在 自有 GPU 上 运行 GLM、 DeepSeek、 MiniMax 并 提供 兼容 API 与 面板。 
llm-algo-leetcode744面向 大模 型 算法 与 系统 的 可运行 Notebook 教程， 贯通PyTorch、 Triton 与 CUDA性 能 优化 实战。 
onnxruntime22.3k跨平台高性 能 机器 学习 推理 训练 加速 引擎， 兼容 多 框架 模型 并 利用 硬件 加速 优化 执行。 
freetoken16.8k面向 个 人 硬件 的 边缘 MoE 推理 引擎， 可 在 消费 级 GPU 上 运行 超大 开源 模型， 并 提供 桌面 应用、 CLI 与 OpenAI/Anthropic 兼容 API。