Agent 基础设施
标签
同类项目
beellama.cpp1.2k面向 本 地 大模型 推理 的 量化 引擎 分支， 通过 缓存 精度 优化 在 同显存下 实现 更长 上 下文 推理。 
atomic-agent3.7k本地 优先 的 通用 智 能 体， 可 浏览 网页、 读写 文件、 执行 命令 并 跨会 话 记忆， 通过 终端 直接 使用。 
OGAM3.3k手机和 Mac 上 的 离线 AI 套件， 集成 本 地 大 模型、 图像 生成、 视觉、 语音 转写、 工具 调用 和 知识库。 
sglang38.7k面向 大模型 与 多 模态 模型 的 高性 能 推理 服务 框架， 优化 智 能 体 负载、 大规模 serving 与 强化 学习 rollout。 
llamafile26.6k将大模型 打包 为 单文件 可 执行 程序， 无 需 安装即 可 在 多 系统本 地 运行 LLM 与 语音识别。 
nano-vllm16.3k从零实现 的 轻量 vLLM 推理 引擎， 代码 精简 可读， 推理 速度 可 比肩 原版vLLM。