Agent 基础设施
标签
同类项目
freetoken16.8k面向 个 人 硬件 的 边缘 MoE 推理 引擎， 可 在 消费 级 GPU 上 运行 超大 开源 模型， 并 提供 桌面 应用、 CLI 与 OpenAI/Anthropic 兼容 API。 
nano-vllm16.3k从零实现 的 轻量 vLLM 推理 引擎， 代码 精简 可读， 推理 速度 可 比肩 原版vLLM。 
LMCache12.3k面向 大模型 推理 的 KV 缓存 管理层， 实现 跨 引擎持久化 复用 与 可 观测， 显著降低 首字 延迟 提升 吞吐。 
Rapid-MLX4.1k面向 苹果 芯片 的 本 地 大模型 推理 服务 与 Mac 应用， 兼容 主流 API 并 为 编程 智 能 体 优化 工具 调用 与 并发。 
project-maya2.6kProject Maya 是 本 地 大模型 推理 引擎， 可 在 自有 GPU 上 运行 GLM、 DeepSeek、 MiniMax 并 提供 兼容 API 与 面板。 
willow-inference-server511开源自托 管语言 推理 服务器， 针对 CUDA 优化， 通过 REST/WebRTC/WS 提供 Whisper 语 音识别、 TTS 与 LLM 推理 服务。