AI工具

vllm-moet

kacper-daftcode/vllm-moet

在消费级Blackwell GPU上高效运行超大规模MoE模型的vLLM补丁,通过2-bit量化、分层存储和专家缓存技术实现。