搜索结果：llm-serving（3 个）
按分类缩小范围
OpenLLM
商机 79
支持将 DeepSeek、Llama 等开源 LLM 作为兼容 OpenAI 的 API 端点在云端运行。
skypilot
商机 76
AI 算力编排平台，将分散的 AI 算力整合为虚拟超级计算机，加速模型研发。
TensorRT-LLM
商机 71
提供易用的 Python API，针对 NVIDIA GPU 优化 LLM 高效推理加速。