AI工具

redknot

rednote-machine-learning/redknot

基于SGLang的长上下文LLM推理加速库,通过头分类和KV重用实现高效推理