库 / 框架
标签
同类项目
ms-swift16.1k支持六百余 大模型 微调 对 齐 与 推理 部署 的 全流 程 框架， 覆盖 训练评 估量化 与 WebUI。 
peft21.9k实现LoRA 等 参数 高效微 调 方法 的 Python库， 只训 少量 参数 即 可 适配 大模型 到 下游 任务。 
Soup10.5k单配置单命令微调LLM 的 CLI 框架， 支持 QLoRA 与 层流式 低显存训练 及 评 估 导出。 
AngelSlim1.8k腾讯混元 开源 的 模型 压缩工 具 包， 集成量化、 投机 解码、 稀疏 注意力 与 蒸馏 等 方法， 用于 降低 大模型 部署 成本。 
airllm42.3k让70B乃 至 671B 大模型 在 单张 小显 存显卡上 推理 与 微调 的 Python 推理 加速库。 
sglang38.7k面向 大模型 与 多 模态 模型 的 高性 能 推理 服务 框架， 优化 智 能 体 负载、 大规模 serving 与 强化 学习 rollout。