智能路由
依每條渠道近期的成功率、價格與首字延遲綜合評分,同一個模型名自動分派到當下最合適的上游;也能用優先級與權重自行調整策略。
渠道 C0.92
渠道 D0.78
渠道 E0.54
評分 = 穩定性 × 價格 × 延遲· 示意
RelayHub 提供 OpenAI 相容接口與 Anthropic 原生接口。現有程式碼不必重寫,只要換掉 Base URL 與 API Key。
在控制台註冊帳號,建立一把 sk- 開頭的 Key,可設定額度上限與可用模型。
OpenAI SDK 設為 /v1;Anthropic SDK 設為 /。
模型名照舊填寫,例如 gpt-4o-mini。選路、重試、計費都由平台處理,用量即時顯示在控制台。
curl {{ORIGIN}}/v1/chat/completions \
-H "Authorization: Bearer $RELAYHUB_API_KEY" \
-H "Content-Type: application/json" \
-d '{
"model": "gpt-4o-mini",
"messages": [{"role": "user", "content": "你好!"}],
"stream": true
}'
from openai import OpenAI
client = OpenAI(
base_url="{{ORIGIN}}/v1",
api_key="sk-...", # 在控制台建立的 Key
)
resp = client.chat.completions.create(
model="gpt-4o-mini",
messages=[{"role": "user", "content": "你好!"}],
)
print(resp.choices[0].message.content)
import OpenAI from "openai";
const client = new OpenAI({
baseURL: "{{ORIGIN}}/v1",
apiKey: process.env.RELAYHUB_API_KEY,
});
const resp = await client.chat.completions.create({
model: "gpt-4o-mini",
messages: [{ role: "user", content: "你好!" }],
});
console.log(resp.choices[0].message.content);
你不必再自己寫重試、降級與帳務對帳。RelayHub 在每次請求之間做這些事。
依每條渠道近期的成功率、價格與首字延遲綜合評分,同一個模型名自動分派到當下最合適的上游;也能用優先級與權重自行調整策略。
上游逾時、5xx 或限流時自動換下一條渠道重試;連續失敗即熔斷,冷卻後再試探恢復。
所有模型以美元、每百萬 tokens 計價,輸入與輸出分開計算。一個帳戶、一份帳單,每筆請求的費用都查得到。
同一把 Key 同時支援 OpenAI 相容接口與 Anthropic Messages 接口,兩種 SDK 都能直接使用,Bearer 與 x-api-key 皆可驗證。
各品牌名稱與商標屬於其各自所有者,此處僅用於標示相容的模型來源。
base_url 改成 /v1,使用 Anthropic SDK 時改成 /,再換上 RelayHub 的 API Key 即可,請求與回應格式維持不變。"stream": true 即可,用量也會在串流結束時正確計費。註冊即可取得 API Key,並獲得 試用額度,不需要信用卡。