搜索结果：inference（53 个）
按分类缩小范围
FunASR
综合 80
支持训练、推理、流式 ASR、VAD、标点恢复及 OpenAI/MCP 兼容服务的开源语音识别工具包。
omlx
综合 77
面向 Apple Silicon 的 LLM 推理服务器，支持连续批处理与 SSD 缓存，可在 macOS 菜单栏管理。
OpenLLM
综合 77
支持将 DeepSeek、Llama 等开源 LLM 作为兼容 OpenAI 的 API 端点在云端运行。
OmniRoute （AI 模型聚合网关）
综合 76
免费 MIT 协议 AI 网关，单接口聚合数百家服务商及上千款模型，兼容 Cursor、Cline 等工具。
litgpt
综合 76
支持 20+ 款高性能 LLM，提供规模化预训练、微调及部署方案。
web-llm
综合 73
直接在浏览器内运行的高性能 LLM 推理引擎。
NemoClaw
综合 73
在 NVIDIA OpenShell 中更安全地运行智能体并托管推理服务。
gitleaks
综合 73
用于检测并防止代码仓库泄露密钥、密码等敏感信息的工具。
Langchain-Chatchat
综合 71
基于 Langchain 与主流开源 LLM 构建的本地知识库 RAG 与 Agent 应用框架。
ml-engineering
综合 71
机器学习工程开源电子书。
CosyVoice
综合 70
多语言大规模语音生成模型，提供涵盖推理、训练和部署的全栈能力。
ChatTTS
综合 69
专注于日常对话场景的生成式文本转语音（TTS）模型。
FreeToken
综合 68
将数据中心级模型服务带到桌面端，在本地快速高效运行超大模型。
faster-whisper
综合 67
基于 CTranslate2 的高速 Whisper 转录工具。
airllm
综合 67
单张 4GB 显卡即可运行超大规模 LLM 的轻量化推理框架。
ktransformers
综合 67
灵活的异构 LLM 推理与微调优化实验框架。
zod
综合 66
以 TypeScript 为先、支持静态类型推断的 Schema 校验库。
yolov3
综合 65
YOLOv3 系列的 PyTorch 实现，支持实时目标检测的训练、验证、推理及多格式导出
Halfrost-Field
综合 64
冰霜之地技术博客，包含深度源码解析、系统设计与工程实践笔记。
ts-pattern
综合 61
适用于 TypeScript 的穷尽模式匹配库，具备智能类型推断功能。