willow-inference-server

开源自托管语言推理服务器，针对 CUDA 优化，通过 REST/WebRTC/WS 提供 Whisper 语音识别、TTS 与 LLM 推理服务。