web-llm

浏览器端高性能大模型推理引擎，基于图形加速且兼容开放接口，开发者可用软件包集成构建本地化AI应用。