搜索结果：cuda（8 个）
按分类缩小范围
TensorFold
综合 45
支持 Metal、CUDA 和 Vulkan 的 LLM 推理引擎。
TensorRT-LLM
综合 70
提供易用的 Python API，针对 NVIDIA GPU 优化 LLM 高效推理加速。
ACE-Step-1.5
综合 63
可在本地运行的音乐生成模型，支持 Mac、AMD、Intel 和 CUDA 设备。
voicebox
综合 62
开源 AI 语音工作站，支持声音克隆、听写与音频创作。
LMCache
综合 60
专为 LLM 设计的高速 KV Cache 缓存层，有效加速大模型推理与响应。
burn
综合 51
兼顾灵活性、高效性与跨平台特性的 Rust 深度学习框架。
colibri
综合 44
C 语言编写的 MoE 分层推理引擎，按热度在 GPU、RAM 与 NVMe 间调度专家权重。
ds4
综合 43
支持 Metal、CUDA 和 ROCm 的 DeepSeek 4 本地推理引擎。