登录 注册

req_llm

去点 Star
AI 模型与开发框架
607
Stars
—
Forks
0
Watchers
—
Open Issues
待补全
许可证
Elixir
语言
—
创建时间
最近更新

项目能做什么

基于 Req 和 Finch 构建的可组合 Elixir LLM 交互库。
来源：AI 基于仓库事实生成 · 内容以仓库实际 README 为准

使用说明 查看原始 README 原仓库文档

中文使用说明暂未生成。下面保留原仓库 README 摘录，命令与配置均以原文为准。
原始 README 摘录（英文原文，节选前 3000 字符） 
# ReqLLM

[![Hex.pm](https://img.shields.io/hexpm/v/req_llm.svg)](https://hex.pm/packages/req_llm)
[![Hex Docs](https://img.shields.io/badge/hex-docs-lightgreen.svg)](https://hexdocs.pm/req_llm/)
[![CI](https://github.com/agentjido/req_llm/actions/workflows/ci.yml/badge.svg)](https://github.com/agentjido/req_llm/actions/workflows/ci.yml)
[![License](https://img.shields.io/hexpm/l/req_llm.svg)](https://github.com/agentjido/req_llm/blob/main/LICENSE)
[![Website](https://img.shields.io/badge/website-jido.run-0f172a.svg)](https://jido.run)
[![Ecosystem](https://img.shields.io/badge/ecosystem-jido.run-0ea5e9.svg)](https://jido.run/ecosystem)
[![Discord](https://img.shields.io/badge/discord-join-5865F2.svg?logo=discord&logoColor=white)](https://jido.run/discord)

> **Join the community!** Come chat about building AI tools with Elixir and coding Elixir with LLMs in [The Swarm: Elixir AI Collective](https://jido.run/discord) Discord server.

A [Req](https://github.com/wojtekmach/req)- and [Finch](https://github.com/sneako/finch)-backed package to call LLM APIs that standardizes requests and responses across providers.

## Why Req LLM?

LLM APIs are inconsistent. ReqLLM provides a unified, idiomatic Elixir interface with standardized requests and responses across providers.

**Unified architecture:**

- **High-level API** – Vercel AI SDK-inspired functions (`generate_text/3`, `stream_text/3`, `generate_object/4` and more) that normalize requests and responses across providers.
- **Provider transports** – Req powers request/response calls; Finch powers streaming. Dedicated provider modules or the shared catalog gateway translate model metadata, options, bodies, and responses behind the same public API.

### Provider Integrations and Model Support

ReqLLM gets model metadata from [LLMDB](https://llmcatalog.dev). It sends a
request through one of two integration paths:

- **Dedicated provider module**: A registered ReqLLM module owns the provider's
  authentication, routes, wire format, and special behavior.
- **Shared catalog gateway**: The provider has no dedicated ReqLLM module.
  LLMDB supplies an execution contract, and ReqLLM sends the request through
  its shared OpenAI Chat Completions, Cohere-compatible rerank, or decision evaluation adapter.

These paths describe request routing. They do not describe support quality. A
model can be in LLMDB before ReqLLM has verified its API behavior. Support tiers
such as **First-class** describe fixture evidence for an exact model and
operation. See [Model Support Evidence](guides/model-support.md) for that detail.

Community contributions can add either integration path. After a
provider-specific module is merged, it is a dedicated provider module. The
origin of the contribution does not change its integration type.

#### Hosted APIs With Dedicated Modules

Each provider in this table has a registered module in ReqLLM. Main operations
show the module's broad scope. The selected model can support fewer operations
阅读完整原文

项目深度分析 AI 生成

LLM 统一网关与可观测性代理（Elixir/BEAM 架构）

产品构想基于 ReqLLM 核心封装独立的代理服务或 Phoenix 插件，提供 API Key 统一分发、自动 Fallback 故障转移、延迟与成本实时监控大屏。
核心功能统一接入点、自动降级/重试策略、多模型成本核算与用量配额、OpenTelemetry 追踪与可视化控制台。
目标用户生产环境部署多模型调用的小微技术团队与 Elixir SaaS 创始人。
难度/周期中等 · 4-6 周 · 成本：低（服务器、基础域名与少量测试 API Key 成本）
收费模式按调用量计费的托管网关（SaaS），或企业私有部署的商业授权（Open-core）。
竞争风险现有非 Elixir 竞品众多（如 Portkey、LiteLLM），受众高度局限于 Elixir 圈内。
依据 已验证事实（基于统一抽象与跨服务商调用架构）与 AI推测（Elixir 开发者对统一可观测网关的需求）。

Phoenix LiveView 原生 AI UI 商业组件库

产品构想配合 ReqLLM 的流式输出能力，提供一套开箱即用的 Phoenix LiveView AI 组件库（类似 shadcn AI 组件但针对 Elixir）。
核心功能流式聊天组件、Tool Calling 可视化卡片、结构化输出（generate_object）双向绑定表单、中断与重试 UI 控件。
目标用户使用 Phoenix LiveView 开发 AI 聊天、结构化表单生成、流式 Markdown 渲染的前后端开发者。
难度/周期低 · 2-3 周 · 成本：极低
收费模式一次性买断源码的商业 UI 套件（Tailwind + LiveView 模式）。
竞争风险目标用户体量依赖 Elixir 开发者基数，市场天花板较明确。
依据 AI推测

专有模型适配与企业支持订阅

产品构想为企业内部自建模型（如 vLLM、TGI、Ollama 专有集群）或非标准国内/海外云厂商提供定制 Provider 模块编写与 SLA 级维护支持。
核心功能定制化 Provider 驱动、本地模型兼容层认证、企业级安全与协议转换咨询、长期维护支持。
目标用户有合规要求、私有化部署 LLM 的 Elixir 架构中大型企业团队。
难度/周期低 · 按需（1-2 周/适配器） · 成本：极低（主要是时间成本）
收费模式企业咨询费、定制开发费及按年技术支持合同。
竞争风险企业客户线索获取依赖个人影响力，交付周期不可控。
依据 数据支持的判断（README 明确展示 Provider 扩展机制分 Dedicated 与 Shared 两种路径，易于定制）。
AI 基于仓库公开数据分析生成，含推测成分，不构成收益承诺。
报告会保存到 个人中心

竞品与相似项目 GitHub Search 真实检索

相似项目数据正在完善中，暂不展示（避免误导）

项目优势与风险

技术成熟度创建时间待补全，最近推送 ，发布过 32 个 Release
社区活跃Star 607 / Fork 0 / Issue 0（数据支持，可自行核实）
许可证未检测到（需人工确认）
主要风险上游项目方向可能变化；同赛道竞争者较多（见竞品表）；热度与需求不完全等价

安装与使用

此项目未提供 Docker 镜像，安装步骤以原仓库 README 为准（涉及依赖安装与环境配置，对新手门槛较高）。