Skip to content

模型供应商

Note: ⚠️ 本文档由 AI 自动翻译。如有任何不准确之处，请参考英文原版。

模型供应商为你的工作区提供AI模型访问。你构建的每个应用程序都需要模型才能运行，在工作区级别配置供应商意味着所有团队成员都可以在所有项目中使用它们。

系统供应商 vs 自定义供应商

系统供应商由FlexAI管理。你无需设置即可立即访问模型，通过FlexAI订阅计费，并在新模型可用时自动更新。最适合快速入门。

自定义供应商使用你自己的API密钥直接访问模型供应商，如OpenAI、Anthropic或Google。你获得完全控制权、直接计费，通常还有更高的速率限制。最适合生产应用程序。

你可以同时使用两种方式——系统供应商用于原型设计，自定义供应商用于生产。

配置自定义供应商

只有工作区管理员和所有者才能配置模型供应商。整个过程在各供应商之间是一致的：

导航至设置 → 模型供应商

在工作区设置中访问模型供应商配置。

选择你的供应商

从OpenAI、Anthropic、Google、Cohere或其他支持的供应商中选择。

添加凭据

输入你的API密钥和供应商要求的任何其他配置。

测试并保存

FlexAI在使供应商对你的工作区可用之前会验证你的凭据。

支持的供应商

大型语言模型： - OpenAI (GPT-4, GPT-3.5-turbo) - Anthropic (Claude)
- Google (Gemini) - Cohere - 通过Ollama的本地模型

文本嵌入模型： - OpenAI Embeddings - Cohere Embeddings - Azure OpenAI - 本地文本嵌入模型

专用模型： - 图像生成 (DALL-E, Stable Diffusion) - 语音 (Whisper, ElevenLabs) - 内容审核API

供应商配置示例

OpenAI:

**必需**：来自OpenAI平台的API密钥

**可选**：用于Azure OpenAI或代理的自定义基础URL，用于组织范围使用的组织ID

**可用模型**：GPT-4、GPT-3.5-turbo、DALL-E、Whisper、文本嵌入

Anthropic:

**必需**：来自Anthropic控制台的API密钥

**可用模型**：Claude 3 (Opus, Sonnet, Haiku)、Claude 2.1、Claude Instant

本地 (Ollama):

**必需**：Ollama服务器URL（通常为http://localhost:11434）

**设置**：安装Ollama，拉取模型（`ollama pull llama2`），配置FlexAI连接

**优势**：完全数据隐私，无外部API成本，自定义模型微调

管理模型凭据

为模型供应商的预定义模型和自定义模型添加多个凭据，并轻松进行切换、删除、修改等操作。

在以下场景中，推荐添加多个模型凭据：

  • 环境隔离：为开发、测试、生产等不同环境配置独立的模型凭据。例如，在开发环境中选择有速率限制的凭据用于功能调试，在生产环境中选择性能稳定、配额充足的付费凭据以保障服务质量。

  • 成本优化：通过添加和切换来自不同账户或模型供应商的多个凭据，最大限度地利用免费或低成本额度，降低应用开发与运营成本。

  • 模型实验：在模型微调或迭代过程中，可能会产出多个模型版本。通过添加不同模型版本的凭据，快速切换并测试其应用效果。

Tip:

可使用多个凭据为模型配置负载均衡。

预定义模型:

安装模型供应商并配置首个凭据后，点击供应商面板右上角的 **配置**，可进行以下操作：

- 添加新凭据
- 选择任一凭据作为所有预定义模型的默认凭据
- 修改凭据
- 删除凭据

Note:

若默认凭据被删除，需手动指定新的默认凭据。

![Manage credentials for predefined models](/images/predefined_model_credential.png)

自定义模型:

### 管理单个自定义模型的凭据

安装模型供应商并添加自定义模型后，按照以下步骤操作：

1. 在模型列表中，点击模型对应的 **配置**。

2. 在 **指定模型凭据** 面板中，点击默认凭据以打开凭据列表，可进行以下操作：

    - 添加新凭据
    - 选择任一凭据作为该自定义模型的默认凭据
    - 修改凭据
    - 删除凭据

Warning:

若删除某个自定义模型的唯一凭据，该模型将被一同删除。

![Manage credentials for a single custom model](/images/custom_model_credential.png)

Info:

添加自定义模型时，若填写的模型名称与模型类型与一个已存在的自定义模型完全相同，系统将不会创建重复的模型，而是会为已存在的模型添加一个新的凭据。

### 管理所有自定义模型的凭据

点击 **管理凭据**，查看、修改或删除所有自定义模型的凭据。

![Manage credentials for all custom models](/images/custom_model_credential_list.png)

对于被移除的自定义模型，其所有凭据仍将保留在 **管理凭据** 列表中。当你点击 **添加模型** 时，系统将展示所有已移除但凭据尚存的自定义模型，供你快速重新添加。

![Removed models displayed for quick re-add](/images/removed_custom_model_re-add.png)

若从 **管理凭据** 列表中删除某个已移除的自定义模型的所有凭据，该模型将不会在点击 **添加模型** 时出现。

配置模型负载均衡

Info:

负载均衡为付费特性，可通过 订阅 SaaS 付费服务或者购买企业版 以启用。

通常，模型供应商会限制用户在指定时间内访问 API 服务的次数（模型速率限制），以确保服务的稳定性与合理使用。对于企业级应用，来自单一凭据的高并发请求容易触发模型速率限制，从而影响用户访问。

而负载均衡可将请求流量分配至多个模型凭据，有效避免模型速率限制和单点故障，并为所有用户提供更快的响应速度，保障业务稳定运行。

FlexAI 采用轮询策略的负载均衡机制，即：将模型请求按顺序依次分配给负载均衡池中的各个凭据。若某个凭据触发模型速率限制，系统将在接下来一分钟内的轮询中暂时跳过该凭据，以避免无效重试。

为模型配置负载均衡，按照以下步骤操作：

  1. 在模型列表中找到目标模型，点击对应的 配置，选择 负载均衡 模式。

  2. 在负载均衡池中，点击 添加凭据，从已有凭据中选择或添加新凭据。

Info:

**默认配置** 为当前指定的默认凭据。

Tip:

若某个凭据的配额充足或性能更优，可重复添加该凭据以增加其在负载均衡中的权重，使其承担更大比例的请求负载。

<img src="/images/add_load_balancing_credential.png" alt="Add credentials for load balancing" width="400" />

  1. 在负载均衡池中启用至少 2 个凭据，点击 保存。已启用负载均衡的模型将带有特殊标识。

    Load balancing icon

Info:

从负载均衡模式切换回默认的单凭据模式时，系统将保留负载均衡配置以备后用。

访问和计费

系统供应商通过你的FlexAI订阅计费，使用限制基于你的计划。自定义供应商直接通过供应商（OpenAI、Anthropic等）向你收费，通常提供更高的速率限制。

团队访问遵循工作区权限： - 所有者/管理员可以配置、修改和删除供应商 - 编辑者/成员可以查看可用供应商并在应用程序中使用它们

Warning:

API密钥安全存储但授予工作区范围的模型访问权限。只将管理权限授予应承担计费责任的可信团队成员。

故障排除

身份验证失败：验证API密钥准确性，检查过期时间，确保有足够积分，确认密钥权限。

模型不可用：检查供应商配置是否包含该模型，验证API密钥等级访问权限，刷新供应商设置。

速率限制：升级供应商账户，实施请求队列，考虑使用自定义供应商获得更高限制。