搜索结果：llm-inference（5 个）
按分类缩小范围
OpenLLM
商机 79
支持将 DeepSeek、Llama 等开源 LLM 作为兼容 OpenAI 的 API 端点在云端运行。
litgpt
商机 76
支持 20+ 款高性能 LLM，提供规模化预训练、微调及部署方案。
gitleaks
商机 74
用于检测并防止代码仓库泄露密钥、密码等敏感信息的工具。
kimi-k3-in-c
商机 64
纯 C99 实现的 Kimi K3 推理，无需 GPU、BLAS 或任何框架，单 CPU 和 8.24 GB 内存即可运行。
gpt4all
商机 58
支持在任意设备上本地运行 LLM 的开源工具，允许免费商业使用。