搜索结果：inference（55 个）
按分类缩小范围
zod
综合 59
以 TypeScript 为先、支持静态类型推断的 Schema 校验库。
ChatTTS
综合 58
专注于日常对话场景的生成式文本转语音（TTS）模型。
server
综合 58
专为云端和边缘计算场景优化的 Triton AI 推理服务器解决方案。
DeepInfer 是面向 DeepSeek 模型的高性能推理框架，开源版本提供支持大规模服务所需的核心离线推理能力。
openvino
综合 57
英特尔开源的 AI 模型优化与推理部署加速工具套件。
vcluster
综合 57
创建轻量级、完全隔离的虚拟 Kubernetes 租户集群，每个集群拥有独立的 API server 与 CRD。
private-gpt
综合 57
基于本地模型的私有 AI 应用 API 层，支持 RAG、工具、MCP 及 Text-to-SQL 等，兼容 OpenAI 接口。
FreeToken
综合 57
将数据中心级模型服务带到桌面端，在本地快速高效运行超大模型。
faster-whisper
综合 56
基于 CTranslate2 的高速 Whisper 转录工具。
airllm
综合 56
单张 4GB 显卡即可运行超大规模 LLM 的轻量化推理框架。
ktransformers
综合 56
灵活的异构 LLM 推理与微调优化实验框架。
3FS
综合 55
专为应对 AI 训练与推理负载挑战设计的高性能分布式文件系统。
ubicloud
综合 54
AWS 开源替代方案，提供弹性计算、存储、K8s 及托管 Postgres 等服务。
kimi-k3-in-c
综合 53
纯 C99 实现的 Kimi K3 推理，无需 GPU、BLAS 或任何框架，单 CPU 和 8.24 GB 内存即可运行。
BitNet
综合 52
微软官方出品，针对 1-bit LLM 的推理框架。
DeepSpeed
综合 50
专注于提升分布式训练与推理效率的深度学习优化库。
pytorch-image-models
综合 50
PyTorch 图像骨干网络合集，包含各类主流模型、预训练权重及训练推理脚本。
nano-vllm
综合 50
Nano vLLM
MNN
综合 49
阿里开源的极速轻量级深度学习推理引擎，专为端侧 LLM 和边缘端 AI 高性能运行打造。
sam3
综合 49
提供 Meta SAM 3 的推理与微调代码、模型权重下载及示例 Notebook。