Agent 基础设施
标签
同类项目
sglang38.7k面向 大模型 与 多 模态 模型 的 高性 能 推理 服务 框架， 优化 智 能 体 负载、 大规模 serving 与 强化 学习 rollout。 
turbo-fieldfare7.2k为苹果 芯片 Mac 打造 的 Gemma 4 高效 推理 运行 时， 低 内存流式 加载 专家 并 提供 应用 与 评测。 
tokenspeed2.9k为智 能 体 负载 打造 的 极速 LLM 推理 引擎， 兼顾 高性 能 与 易用性， 提供 调度器 与 高性 能 内核 的 完整 服务。 
GoModel1.3kGoModel 是 Go 编写 的 可自 托管 AI 网关， 统 一 OpenAI/Anthropic 兼容 接口， 支持 多 供 应商、 路由、 缓存、 成本 追踪 与 可观测性。 
bigmoeonedge709让超大 MoE模型 在 手机 上 无损 运行 的 推理 引擎， 按需 从 闪存加载 专家， 基于 llama.cpp。 
xybrid513跨平台端侧 AI 推理 工具包， 通过 Flutter、 Swift、 Kotlin、 Rust 等 SDK 在 应用 和 游戏 中本 地 运行 LLM、 语 音识别 与 合成 模型。