OpenAI SDK 接入
如果你使用的是 OpenAI 兼容 SDK,只需要覆盖 base URL 和 API key 即可接入 UniGateway。
前置条件
- 已安装 OpenAI SDK(
openai包) - UniGateway API 密钥
- Node.js 或 Python 环境
安装 SDK
# Python
pip install openai
# TypeScript
npm install openai
配置客户端
验证模型发现
在使用具体模型前,先获取可用模型列表:
models = client.models.list()
for model in models.data:
print(model.id)
开启流式输出与工具调用
基础非流式请求验证通过后,再开启 streaming 或 tool use。
先调用 GET /v1/models 再选择模型 ID。从 chat.completions 开始,不要一开始就使用提供方特有参数。
推荐接入流程
- 先调用
GET /v1/models,再选择模型 ID - 先使用
chat.completions或responses,不要一开始就用提供方特有参数 - 基础非流式请求成功后,再开启 streaming 或 tools
- 在应用层配置回退路由,不要长期硬编码单一模型
常见问题
| 问题 | 处理方式 |
|---|---|
| 请求仍然打到原始厂商 | 检查 base_url / baseURL 是否指向 UniGateway |
第一次请求就报 404 或 401 | 核对 base URL 结尾是否包含 /v1,并确认 token 有效 |
| 某个模型能用,另一个不能用 | 重新读取 GET /v1/models,模型可用性和账号相关 |
| 不同模型的流式表现不一致 | 把 streaming 当成单独的兼容性测试项 |