koboldcpp

KoboldCpp是一个基于GGML/GGUF模型的易用AI文本生成软件，支持CPU/GPU，并提供图像、语音、视频等多种生成能力。