搜索结果：inference（55 个）
按分类缩小范围
Strata
综合 49
消费级硬件上的本地推理引擎，支持 Windows/Linux 一键部署及 OpenAI 兼容 API。
vllm （大模型推理与服务引擎）
综合 48
面向 LLM 的高吞吐量、低显存占用的推理与服务引擎。
OmniRoute （AI 模型聚合网关）
综合 48
免费 MIT 协议 AI 网关，单接口聚合数百家服务商及上千款模型，兼容 Cursor、Cline 等工具。
涵盖文本、视觉、音频及多模态的前沿机器学习模型框架，支持推理与训练。
gpt4all （本地大模型运行工具）
综合 48
支持在任意设备上本地运行 LLM 的开源工具，允许免费商业使用。
TensorRT
综合 47
NVIDIA GPU 高性能深度学习推理 SDK，本仓库包含其开源组件。
local-dream
综合 45
在 Android 设备上运行 Stable Diffusion，支持骁龙 NPU 加速及 CPU/GPU 推理。
colibri
综合 44
C 语言编写的 MoE 分层推理引擎，按热度在 GPU、RAM 与 NVMe 间调度专家权重。
turbo-fieldfare
综合 44
可在任意 M 系列 MacBook 上以约 2GB 内存运行 Gemma 4 26B-A4B 推理。
基于 C/C++ 实现的轻量高效 LLM 推理框架。
ds4
综合 43
支持 Metal、CUDA 和 ROCm 的 DeepSeek 4 本地推理引擎。
ComfyUI （节点式 AI 绘图工作流工具）
综合 41
基于节点流程图的扩散模型 GUI 与后端工具，支持 API 调用，用于灵活、模块化地进行本地 AI 内容生成与推理。
flux
综合 40
FLUX.1 系列模型的官方推理代码仓库。
ncnn
综合 39
专为移动端优化的高性能神经网络推理框架。
FluidAudio
综合 31
Swift 音频库，为应用提供前沿 CoreML 模型，支持 TTS、STT、语音活动检测与说话人日志。