Agent 基础设施
标签
同类项目
beellama.cpp1.2k面向 本 地 大模型 推理 的 量化 引擎 分支， 通过 缓存 精度 优化 在 同显存下 实现 更长 上 下文 推理。 
project-maya2.6kProject Maya 是 本 地 大模型 推理 引擎， 可 在 自有 GPU 上 运行 GLM、 DeepSeek、 MiniMax 并 提供 兼容 API 与 面板。 
mlx-dspark736苹果芯片 上 原生 的 推测 解码 加速 推理 引擎， 兼容 多 模型 并 提供 本 地 API 服务。 
pooled647浏览器内的 点 对 点 LLM 推理 网络： 多 台 设备 各持 部分 模型 层， 通过 WebRTC 协作 运行 大模型， 并 提供 聊天、 Code 模式 及 OpenAI/Anthropic 兼容 接口。 
little-coder2.7k基于Pi 封装 的 轻量 编码 智 能 体 外壳， 捆绑 扩展 与 技能 并 优化 冷 启动， 适配 小 参数 本 地 模型。 
mtplx2.7k在Mac 上 本 地 运行 Qwen 等 大模型 的 应用 与 推理 服务， 带聊 天 仪 表盘 与 兼容 API。