搜索结果：inference（53 个）
按分类缩小范围
vllm （大模型推理与服务引擎）
综合 47
面向 LLM 的高吞吐量、低显存占用的推理与服务引擎。
MNN
综合 47
阿里开源的极速轻量级深度学习推理引擎，专为端侧 LLM 和边缘端 AI 高性能运行打造。
涵盖文本、视觉、音频及多模态的前沿机器学习模型框架，支持推理与训练。
zod
综合 46
以 TypeScript 为先、支持静态类型推断的 Schema 校验库。
ComfyUI （节点式 AI 绘图工作流工具）
综合 45
基于节点流程图的扩散模型 GUI 与后端工具，支持 API 调用，用于灵活、模块化地进行本地 AI 内容生成与推理。
openvino
综合 45
英特尔开源的 AI 模型优化与推理部署加速工具套件。
zinc
综合 44
Zig 推理引擎，支持在 AMD GPU 和 Apple Silicon 上进行本地 LLM 推理。
TensorRT
综合 43
NVIDIA GPU 高性能深度学习推理 SDK，本仓库包含其开源组件。
3FS
综合 43
专为应对 AI 训练与推理负载挑战设计的高性能分布式文件系统。
FluidAudio
综合 42
Swift 音频库，为应用提供前沿 CoreML 模型，支持 TTS、STT、语音活动检测与说话人日志。
ds4
综合 41
支持 Metal、CUDA 和 ROCm 的 DeepSeek 4 本地推理引擎。
ncnn
综合 41
专为移动端优化的高性能神经网络推理框架。
colibri
综合 36
C 语言编写的 MoE 分层推理引擎，按热度在 GPU、RAM 与 NVMe 间调度专家权重。