Gateway API 文档

目前还不支持的特性包括：

  1. 各个厂商的显式缓存调用
  2. 各个厂商的 batch api

【公告】API支持概况

Memene Gateway 保留统一鉴权、公开模型、限流并发和人民币账本；请求会映射到 LiteLLM 的 model_name。 具体协议组合与模型能力由对应 LiteLLM Deployment 决定，请以模型目录和端点说明为准。

一、协议入口

协议路径流式支持
OpenAI compatible/openai/v1/* · /v1/*Chat / Responses 支持流式
Google Gemini/gemini/v1beta/* · /v1beta/*streamGenerateContent 支持流式
Anthropic/anthropic/v1/*Messages 支持流式

二、API 端点

OpenAI 兼容
方法路径名称流式
POST/openai/v1/chat/completionsChat Completions✓
POST/openai/v1/responsesResponses API✓
POST/openai/v1/images/generationsImages Generations—
POST/openai/v1/embeddingsEmbeddings—
POST/openai/v1/filesFiles 上传（仅 Batch）—
POST/openai/v1/batchesBatch 创建（离线批量）—
GET/openai/v1/batches/{batch_id}Batch 查询—
Google Gemini
方法路径名称流式
POST/gemini/v1beta/models/{model}:generateContentGenerate Content—
POST/gemini/v1beta/models/{model}:streamGenerateContentStream Generate Content✓
Anthropic
方法路径名称流式
POST/anthropic/v1/messagesMessages✓
系统
方法路径名称流式
GET/health健康检查—
GET/models模型列表—

三、协议兼容边界

Gateway 只保留公开路径并改写模型名称，不自行翻译请求、响应或 SSE。 LiteLLM 是否能用某个 SDK 协议调用某个模型，取决于该模型的 Deployment 和已验证能力； 切换协议或模型前请先在 Playground 或测试环境验证工具调用、推理内容、流式 usage 和取消行为。

四、已发布厂商

厂商内部标识可用模型数
阿里百炼alibailian11
Anthropicanthropic6
DeepSeekdeepseek5
Google Geminigemini5
MiniMax (Hailuo)minimax1
Moonshot (Kimi)moonshot2
OpenAIopenai16
OpenRouteropenrouter0
火山引擎 (豆包 Doubao)volcengine2
xAIxai0
智谱 BigModel (GLM)zhipu6

前往 模型与定价 查看公开模型与人民币单价。

五、平台核心能力

专属 GatewayKey

调用 AI 网关使用 gw_memene_*，与平台业务 API Key 分离。Authorization、x-api-key 和 x-goog-api-key 最终都进入同一套 GatewayKey 校验。

LiteLLM 技术数据面

Provider 凭证、Deployment、协议兼容、Retry、Cooldown 与 Fallback 由 LiteLLM 管理；Memene 不再维护第二套 Provider Key 池或跨协议翻译。

公开模型映射

请求中的 model 必须是已发布的公开模型。Gateway 将它改写为绑定的 LiteLLM model_name，再由 LiteLLM 选择 Deployment。

人民币后付费

Memene 从 LiteLLM 响应读取 usage，按请求时人民币价格和倍率结算，LiteLLM spend 不替代 Memene 账本。

限流与单模型排队

默认全局 5000 请求/秒、开发者 100 请求/秒；每个公开模型默认 8 个并发槽位、100 位等待队列和 30 秒等待超时。

OpenAI-compatible Files/Batch

仅 /v1/files 与 /v1/batches 提供 Memene 归属隔离、逐行价格快照、后台轮询和幂等人民币结算。Gemini 与 Anthropic Batch 当前没有同等保证。