mistral.rs

高性能多模态LLM推理引擎，提供量化、兼容API服务与SDK，支持本地与多卡快速部署运行。