AI工具

streaming-llm

mit-han-lab/streaming-llm

一种使大语言模型无需微调即可处理无限长度输入的高效流式推理框架