exllamav3

一个用于在消费级GPU上高效运行本地大型语言模型的推理库，支持多种模型架构和量化格式。