WhimRead 需要 JavaScript 才能使用站内搜索。
Whim
Read
随手一翻
发现
全部工具
推荐
惊喜
关于
搜索
English
Agent 基础设施
pooled
Nehanth/pooled
浏览器内
的
点
对
点 LLM
推理
网络:
多
台
设备
各持
部分
模型
层,
通过
WebRTC
协作
运行
大模型,
并
提供
聊天、
Code
模式
及
OpenAI/Anthropic
兼容
接口。
去 GitHub 看仓库
复制链接
标签
browser
distributed-inference
inference
llm
local-llm
peer-to-peer
speculative-decoding
webgpu
同类项目
mlx-serve
2.4k
苹果
芯片
本
地
大模型
推理
服务
与
多
模态
AI
平台,
兼容
开放
接口
并
提供
聊天
与
智
能
体
应用。
sglang
38.7k
面
向
大模型
与
多
模态
模型
的
高性
能
推理
服务
框架,
优化
智
能
体
负载、
大规模
serving
与
强化
学习 rollout。
web-llm
19.4k
浏览器
端
高性
能
大模型
推理
引擎,
基于
图形
加速且
兼容
开放
接口,
开发者
可用
软件
包集
成构
建本
地化
AI
应用。
nano-vllm
16.3k
从
零实现
的
轻量
vLLM
推理
引擎,
代码
精简
可读,
推理
速度
可
比肩
原版vLLM。
LMCache
12.3k
面
向
大模型
推理
的
KV
缓存
管理层,
实现
跨
引擎持久化
复用
与
可
观测,
显著降低
首字
延迟
提升
吞吐。
inference
9.6k
统
一
的
大模型
推理
服务库,
一
条
命令部署
开源
模型,
兼容OpenAI
接口
并
支持
分
布式
运行。
647
browser,distributed-inference,inference
浏览器内的点对点 LLM 推理网络:多台设备各持部分模型层,通过 WebRTC 协作运行大模型,并提供聊天、Code 模式及 OpenAI/Anthropic 兼容接口。
←
上一个
django-crm
下一个
→
egui_dock