omlx

一个优化Mac的LLM推理服务器，支持连续批处理和分层KV缓存，通过菜单栏管理。