WhimRead 需要 JavaScript 才能使用站内搜索。
Whim
Read
随手一翻
发现
全部工具
推荐
惊喜
关于
搜索
English
Agent 基础设施
lucebox
luce-org/lucebox
面
向
消费
级
显卡
的
快速
大模型
推理
服务器,
采用
推测
解码
与
定制
内核
提升
吞吐
降低
显存。
去 GitHub 看仓库
复制链接
标签
kernel
llama-cpp
local-ai
qwen
rtx3090
megakernel
cuda
cuda-kernels
同类项目
llamafile
26.6k
将
大模型
打包
为
单文件
可
执行
程序,
无
需
安装即
可
在
多
系统本
地
运行
LLM
与
语音识别。
cuda-samples
9.7k
英伟
达
官
方CUDA示例代
码
合集,
演示
工具
包各
功
能
用法,
供开发者
编译
运行
学习
并
参考
开发。
ods
7.8k
将
个
人
电脑
变
为
本
地
AI
服务器,
一键
部署
推理、
聊天、
语音、
智
能
体、
RAG
与
生图
全
栈
能力。
OGAM
3.3k
手机
和
Mac
上
的
离线
AI
套件,
集成
本
地
大
模型、
图像
生成、
视觉、
语音
转写、
工具
调用
和
知识库。
mtplx
2.7k
在
Mac
上
本
地
运行
Qwen
等
大模型
的
应用
与
推理
服务,
带聊
天
仪
表盘
与
兼容
API。
YuE2-Studio
2k
本
地
AI歌曲生成
桌面
工作室,
基于
YuE2
在
自有
GPU
上
生成带人
声
的
完整
歌曲,
可编
辑
乐谱、
做翻唱、
精确
重渲染
并
训练LoRA。
2976
kernel,llama-cpp,local-ai
面向消费级显卡的快速大模型推理服务器,采用推测解码与定制内核提升吞吐降低显存。
←
上一个
swift-agent-skills
下一个
→
vexa