Agent 基础设施
freetoken
flashml-org/freetoken
面
标签
同类项目
sglang38.7k面向 大模型 与 多 模态 模型 的 高性 能 推理 服务 框架， 优化 智 能 体 负载、 大规模 serving 与 强化 学习 rollout。 
whisper.cpp55.1kWhisper模型 的 纯C /C++ 高性 能 推理 实现， 无 依赖 跨 平台， 支持量化 与 多 硬件 加速 及 多 语言 绑定。 
nano-vllm16.3k从零实现 的 轻量 vLLM 推理 引擎， 代码 精简 可读， 推理 速度 可 比肩 原版vLLM。 
server11.1k英伟达 开源 的 AI 模型 推理 服务 软件， 支持 多 框 架 模型 的 高性 能 云边 部署。 
vllm-omni7.5k面向 全 模态 模型 的 高效 推理 服务 框架， 支持 文本 图 像 音 频视频 与 动作统 一 服务。 
tokenspeed2.9k为智 能 体 负载 打造 的 极速 LLM 推理 引擎， 兼顾 高性 能 与 易用性， 提供 调度器 与 高性 能 内核 的 完整 服务。