搜索结果：inference（7 个）
按分类缩小范围
OpenLLM
综合 77
支持将 DeepSeek、Llama 等开源 LLM 作为兼容 OpenAI 的 API 端点在云端运行。
ml-engineering
综合 71
机器学习工程开源电子书。
server
综合 58
专为云端和边缘计算场景优化的 Triton AI 推理服务器解决方案。
vcluster
综合 57
创建轻量级、完全隔离的虚拟 Kubernetes 租户集群，每个集群拥有独立的 API server 与 CRD。
ubicloud
综合 54
AWS 开源替代方案，提供弹性计算、存储、K8s 及托管 Postgres 等服务。
kimi-k3-in-c
综合 53
纯 C99 实现的 Kimi K3 推理，无需 GPU、BLAS 或任何框架，单 CPU 和 8.24 GB 内存即可运行。
ncnn
综合 39
专为移动端优化的高性能神经网络推理框架。