只问模型“你是谁”几乎没有判断力。更可靠的做法是把协议结构、响应模型、Token、随机nonce、SSE和工具调用放在同一轮测试中交叉核对。在线工具支持符合协议范围的第三方公开中转站,不要求使用AI快站。
根据你的使用场景选择入口
检测边界: 这是一套黑盒协议与行为筛查,不是OpenAI、Anthropic、Google、DeepSeek或其他模型厂商认证。网关可以改写
model等元数据,单轮行为也可能受系统提示、路由和采样影响。
开始前准备什么
- 从目标中转站创建一个临时、低额度API Key;
- 从控制台或
/models返回中复制准确的模型ID; - Base URL填写到版本路径,例如
https://api.example.com/v1,不要附加/models或/chat/completions; - 先选快速模式确认基础协议,再运行标准模式;
- 检测结束后撤销临时Key。
检测会向目标接口发送真实模型请求,可能按目标中转站的计费规则产生少量Token费用。快速模式约3次请求;标准模式约7次请求,并增加输出风格、知识边界、SSE和工具调用探针。
报告重点看什么
请求模型与响应模型
请求的模型ID和响应model字段持续不同,可能来自模型别名、网关改写或实际路由变化。该字段本身也能被网关改写,因此它是一条一致性证据,不是身份证明。
固定指令与随机nonce
检测会要求模型原样返回本轮随机字符串。仅返回HTTP 200不算通过;内容为空、增加解释、改写标点或nonce不匹配,都说明当前接口无法稳定完成这项固定指令。
Token与元数据
usage长期缺失、输入输出Token为负数、总Token算术不一致,或者id、object、created等关键字段大量缺失,说明协议兼容性或计费透明度值得继续排查。
R1随机动态题
服务端每次随机生成参数和nonce,并精确核对答案与随机值。动态题比固定题更难被提前适配,但它仍只反映本轮行为,不能单独证明模型来源。
SSE流式输出
标准模式会检查text/event-stream、增量事件、结束标记、拼接结果以及流式usage是否可识别。普通聊天成功而SSE失败,通常更像兼容层问题,不应直接下结论说模型被替换。
工具调用
检测会要求模型调用一个带JSON Schema的固定函数,并核对工具名、参数结构与随机nonce。目标站如果没有完整实现工具调用,可能在这里失败;这说明该能力不适合直接投入生产,但不自动等于“套壳”。
把基础检测放进CI
独立开源仓库提供无第三方运行时依赖的Node.js CLI、Postman Collection和Node 20/22/24 GitHub Actions示例。API Key只从环境变量读取,不接受命令行明文Key。
git clone https://github.com/KKWANG4444/openai-compatible-api-check.git
cd openai-compatible-api-check
export OPENAI_API_KEY="你的临时限额Key"
node bin/model-api-check.mjs \
--base-url https://api.example.com/v1 \
--model your-model-id \
--output reports/check.md
CLI快速模式用3次请求完成9项检查:模型列表、模型ID可发现、Chat Completions、协议层合规、固定指令、元数据指纹、响应模型声明、Token算术和R1动态题。报告可输出Markdown或JSON Schema v2,方法论与示例报告均可公开复核。
在线标准模式覆盖10个检测维度,并追加输出风格、知识边界、SSE和工具调用等探针。Postman仅是2请求基础冒烟测试,不能与CLI或在线完整检测混为一谈。
分数怎么解释
| 分数 | 含义 | 下一步 |
|---|---|---|
| 85–100 | 本轮大部分协议与能力探针通过 | 再跑真实业务题集和多时段测试 |
| 65–84 | 基础调用可能可用,但部分字段或能力有差异 | 查看失败项,分别复测SSE、tools和usage |
| 0–64 | 认证、协议或关键能力存在明显异常 | 暂缓生产接入,保留报告并向服务商核实 |
总分是接口综合兼容度,不是模型“真假分”。单轮高分不代表生产环境长期稳定,低分也可能由限流、临时维护、网关参数差异或模型本身不支持某项能力造成。
避免四个误判
/models返回401、403、429或不公开,不等于模型造假;- 单次风格和知识截止自述是弱信号,不参与兼容度评分;
- 响应
model一致,不代表底层一定来自该厂商; - 一次检测通过,不代表高并发、账单、延迟和长期路由都稳定。
比较多个中转站时,应保持模型、参数、地区、网络和业务题集一致,并在低峰、高峰各跑一次。真正有价值的是保存多次报告,看相同条件下的结果是否持续漂移。
隐私与协议边界
在线工具声明不会使用localStorage或sessionStorage保存Key。Key只随本次POST /api/model-check请求发送,不写入URL、数据库、缓存或报告。CLI同样不会把Key写入报告,并对恶意上游回显执行脱敏。即便如此,仍应使用临时限额Key并在检测后撤销。
当前固定探针只覆盖OpenAI Chat Completions兼容入口。Anthropic Messages、Gemini generateContent、OpenAI Responses API以及私有自定义协议不在这套固定探针范围内。
常见问题
模型检测能证明底层一定是官方模型吗?
不能。黑盒检测只能交叉核对协议、元数据和行为信号。报告可以暴露明显异常,但不是模型厂商认证,也不能仅凭单轮结果证明模型身份。
检测第三方中转站会保存API Key吗?
在线工具声明Key只用于本次检测,不写入URL、数据库、缓存或报告。建议始终创建临时限额Key,并在检测后撤销。
HTTP 200是否代表接口兼容?
不代表。还需要核对随机nonce、响应结构、usage、SSE、工具调用和真实业务题集。HTTP成功但内容错误,在CLI中仍会返回失败退出码。
检测通过后可以直接投入生产吗?
不建议。生产上线还应测试并发、p50/p95延迟、429和5xx分布、重试、账单、数据条款以及不同时段的路由变化。
如果当前中转站结果不稳定,可保持相同模型、参数和题集,对其他线路运行同一套检测。
披露: 本页、在线检测工具和开源CLI由AI快站运营方维护。检测对象不限于AI快站;涉及AI快站能力与价格的内容属于第一方说明,生产选型仍应结合真实测试、服务条款和当前控制台信息。