搜索结果：inference（7 个）
按分类缩小范围
airllm
商机 68
单张 4GB 显卡即可运行超大规模 LLM 的轻量化推理框架。
serviceradar
商机 66
开源的网络管理、监控、IT 运维管理（ITOM）、可观测性与安全分析系统。
BitNet
商机 52
微软官方出品，针对 1-bit LLM 的推理框架。
pytorch-image-models
商机 49
PyTorch 图像骨干网络合集，包含各类主流模型、预训练权重及训练推理脚本。
ubicloud
商机 48
AWS 开源替代方案，提供弹性计算、存储、K8s 及托管 Postgres 等服务。
turbo-fieldfare
商机 43
可在任意 M 系列 MacBook 上以约 2GB 内存运行 Gemma 4 26B-A4B 推理。
ncnn
商机 41
专为移动端优化的高性能神经网络推理框架。