搜索结果：inference（54 个）
按分类缩小范围
FunASR
商机 81
支持训练、推理、流式 ASR、VAD、标点恢复及 OpenAI/MCP 兼容服务的开源语音识别工具包。
OpenLLM
商机 79
支持将 DeepSeek、Llama 等开源 LLM 作为兼容 OpenAI 的 API 端点在云端运行。
omlx
商机 78
面向 Apple Silicon 的 LLM 推理服务器，支持连续批处理与 SSD 缓存，可在 macOS 菜单栏管理。
litgpt
商机 76
支持 20+ 款高性能 LLM，提供规模化预训练、微调及部署方案。
web-llm
商机 74
直接在浏览器内运行的高性能 LLM 推理引擎。
NemoClaw
商机 74
在 NVIDIA OpenShell 中更安全地运行智能体并托管推理服务。
gitleaks
商机 74
用于检测并防止代码仓库泄露密钥、密码等敏感信息的工具。
LMCache
商机 72
专为 LLM 设计的高速 KV Cache 缓存层，有效加速大模型推理与响应。
Langchain-Chatchat
商机 72
基于 Langchain 与主流开源 LLM 构建的本地知识库 RAG 与 Agent 应用框架。
ml-engineering
商机 72
机器学习工程开源电子书。
TensorRT-LLM
商机 71
提供易用的 Python API，针对 NVIDIA GPU 优化 LLM 高效推理加速。
CosyVoice
商机 71
多语言大规模语音生成模型，提供涵盖推理、训练和部署的全栈能力。
ChatTTS
商机 70
专注于日常对话场景的生成式文本转语音（TTS）模型。
vcluster
商机 70
创建轻量级、完全隔离的虚拟 Kubernetes 租户集群，每个集群拥有独立的 API server 与 CRD。
FreeToken
商机 69
将数据中心级模型服务带到桌面端，在本地快速高效运行超大模型。
faster-whisper
商机 68
基于 CTranslate2 的高速 Whisper 转录工具。
airllm
商机 68
单张 4GB 显卡即可运行超大规模 LLM 的轻量化推理框架。
server
商机 68
专为云端和边缘计算场景优化的 Triton AI 推理服务器解决方案。
ktransformers
商机 68
灵活的异构 LLM 推理与微调优化实验框架。
Halfrost-Field
商机 66
冰霜之地技术博客，包含深度源码解析、系统设计与工程实践笔记。