Agent 基础设施
标签
同类项目
OGAM3.3k手机和 Mac 上 的 离线 AI 套件， 集成 本 地 大 模型、 图像 生成、 视觉、 语音 转写、 工具 调用 和 知识库。 
shimmy6k纯Rust单二进制本 地 推理 服务器， GGUF 原生、 OpenAI 兼容， 替代 Ollama。 
claude-code-local3.5k让Claude Code 在 Apple Silicon 或 普通 PC 上 完全 本 地 运行 的 方案， 通过 MLX/llama.cpp 提供 Anthropic API 兼容 服务 并 自动 选 择 本 地 模型。 
lucebox3k面向 消费 级 显卡 的 快速 大模型 推理 服务器， 采用 推测 解码 与 定制 内核 提升 吞吐 降低 显存。 
deltafin858在消费 级 硬件 上 运行 完整 Kimi K3 的 单文件 推理 程序， 并 提供 本 地 对话 与 编码 代理 兼容 的 API 服务。 
bigmoeonedge709让超大 MoE模型 在 手机 上 无损 运行 的 推理 引擎， 按需 从 闪存加载 专家， 基于 llama.cpp。