聊天机器人 API 集成:将聊天接口接入应用
聊天机器人 API 集成有一条不可跳过的规则:浏览器绝不能持有 API 密钥。在中间放置一个小型后端代理,通过它流式输出回复,其余部分就是普通的 Web 开发。
更新于

要点
- 浏览器与您的服务器通信;您的服务器使用密钥与聊天 API 通信。
- 使用服务器发送的事件进行流式输出,以便逐字显示回复。
- 限制历史记录,设置每个用户的限制,并在出现 429 响应时进行短暂等待处理。
- 该接口与 OpenAI 兼容,因此更改 Base URL 后官方 SDK 即可使用。
一张图中的模式
每个安全的聊天机器人 api 集成从上方看都是一样的。浏览器中的页面将用户的消息发送到您自己的接口。您的服务器添加系统提示词,修剪历史记录,附加 API 密钥并转发请求。回复以相同的方式流式返回。
Browser --POST /api/chat--> Your server --POST /v1/chat/completions--> Chat API
Browser <--SSE stream------ Your server <--SSE stream----------------- Chat API
代理存在四个原因:它隐藏密钥,允许您检查调用者,允许您限制每个用户的成本,并为您提供一个地方来更改模型设置。前端 JavaScript 中的密钥在页面加载时即公开,其他人会消耗您的预付额度。
API 遵循 OpenAI 格式。Base URL 是https://api.uncensoredchatbotapi.com/v1,模型是uncensored,认证是Authorization: Bearer YOUR_KEY。在密钥页面获取密钥。
步骤 1:服务器代理
此 Express 服务器接受对话,添加系统提示词,以流式输出调用 API 并转发文本。使用npm i express openai安装依赖项,并在环境中设置CHAT_API_KEY。
import express from "express";
import OpenAI from "openai";
const app = express();
app.use(express.json({ limit: "200kb" }));
app.use(express.static("public"));
const client = new OpenAI({
baseURL: "https://api.uncensoredchatbotapi.com/v1",
apiKey: process.env.CHAT_API_KEY,
});
const SYSTEM = "You are a helpful companion for adults. Keep replies under 150 words.";
app.post("/api/chat", async (req, res) => {
const incoming = Array.isArray(req.body.messages) ? req.body.messages : [];
const clean = incoming
.filter((m) => ["user", "assistant"].includes(m.role) && typeof m.content === "string")
.slice(-20)
.map((m) => ({ role: m.role, content: m.content.slice(0, 4000) }));
res.writeHead(200, { "Content-Type": "text/event-stream", "Cache-Control": "no-cache" });
try {
const stream = await client.chat.completions.create({
model: "uncensored",
messages: [{ role: "system", content: SYSTEM }, ...clean],
stream: true,
});
for await (const part of stream) {
const t = part.choices[0]?.delta?.content;
if (t) res.write(`data: ${JSON.stringify(t)}\n\n`);
}
res.write("data: [DONE]\n\n");
} catch (e) {
res.write(`event: error\ndata: ${JSON.stringify(e.status === 429 ? "busy" : "failed")}\n\n`);
}
res.end();
});
app.listen(3000);
注意过滤器。客户端可以发送任何内容,因此服务器仅保留user和assistant消息,截断每条消息,并忽略浏览器尝试注入的任何system消息。系统提示词始终来自您的代码。
步骤 2:浏览器端
浏览器使用fetch读取流,并在文本到达时附加文本。不需要库。
const messages = [];
async function send(text, out) {
messages.push({ role: "user", content: text });
const res = await fetch("/api/chat", {
method: "POST",
headers: { "Content-Type": "application/json" },
body: JSON.stringify({ messages }),
});
const reader = res.body.getReader();
const dec = new TextDecoder();
let reply = "", buf = "";
while (true) {
const { done, value } = await reader.read();
if (done) break;
buf += dec.decode(value, { stream: true });
const events = buf.split("\n\n");
buf = events.pop();
for (const ev of events) {
if (ev === "data: [DONE]") break;
if (ev.startsWith("data: ")) {
reply += JSON.parse(ev.slice(6));
out.textContent = reply;
}
}
}
messages.push({ role: "assistant", content: reply });
}
缓冲区很重要。网络块不与事件边界对齐,因此您在空行处拆分,并将未完成的尾部保留给下一次读取。有关页面本身的逐步指南,请参阅网络聊天教程,有关将机器人添加到站点的更广泛图片,请参阅如何在网站中实现聊天机器人。
限制、错误和重试
完整密钥允许 8 个并发请求和每分钟 300 个请求。试用密钥允许 2 个和 60 个。流式请求会占用其槽位,直到流结束,因此使用 8 个槽位时,你最多可以同时处理 8 个正在生成的回复。如果你的网站同时在线用户数超过此限制,请在服务器端对请求进行排队,并返回“请稍候”而不是失败。
- 429 并发请求过多:
concurrency请求正在处理中。请排队并重试。 - 429 且
rate_limited: 每分钟请求过多。请放慢速度。 - 带有
Retry-After: 5标头的 429:临时过载。等待 5 秒并重试。 - 401: 密钥错误或缺失。
- 请求体超过 8 MB: 被拒绝,请精简你发送的内容。
添加一个小型内存计数器,以便你的服务器永远不会打开超过 8 个上游流:
let active = 0;
const MAX = 8;
app.use("/api/chat", (req, res, next) => {
if (active >= MAX) return res.status(503).json({ error: "busy" });
active++;
res.on("close", () => { active--; });
next();
});
在聊天路由之前注册此中间件。当响应结束或用户离开时,close事件触发,因此计数器不会泄漏。
控制每次对话的成本
价格为每 100 万输入 token $0.15,每 100 万输出 token $0.50。由于每次对话都会重发历史记录,历史记录的容量限制是你最大的杠杆。假设最后 20 条消息每条约 60 个 token,加上 100 个 token 的系统提示词,一次请求大约包含 1,300 个输入 token。150 个 token 的回复会增加输出 token 数。
每次对话的成本:1,300 / 1,000,000 x $0.15 = $0.000195,加上 150 / 1,000,000 x $0.50 = $0.000075,即 $0.00027。30 次对话的会话在此大小下最多花费 $0.0081,因为早期对话较短。每个用户的每日上限,例如 100 条消息,将您的最坏情况限制为每个用户每天 100 x $0.00027 = $0.027。有关网站机器人定价的更多信息,请阅读网站聊天机器人成本页面,并使用文档中的参数,如max_tokens。
谁在调用您的代理
代理保护了密钥,但它也会成为任何找到该 URL 的人都可以使用的免费聊天端点。在发布之前,请决定谁可以使用它。
对于公共网站,通常在登录时设置签名会话 cookie 是标准做法。在路由顶部检查它,如果缺失则返回 401。对于快速原型,使用 express-rate-limit 等包设置每 IP 限制比没有好,尽管共享网络会使 IP 限制不够精确。无论选择哪种方式,请按用户统计消息数,而不是按连接统计,并将计数存储在一个重启无法重置的地方。
当应用规模扩大时,请在服务器端保留对话历史。在每次对话时从浏览器发送完整的历史记录虽然易于构建,但用户可以编辑它。在数据库中以会话 ID 存储消息,在每次请求时加载最后 20 条,并在流结束后追加回复。这也允许用户关闭标签页并回到同一个对话。
在发布之前
简短的检查清单可确保发布日顺利。
- 密钥仅存在于服务器的环境变量中,存储库中不包含它。
- 服务器忽略来自客户端的任何系统消息。
- 每个用户都有每日消息上限和消息长度上限。
- 错误显示友好消息,从不打印内部详细信息。
- 你记录来自
X-Request-Id请求头的请求 ID 和 token 计数,而不是完整文本。 - 你监控
X-Balance-USD,当额度不足时收到警报。 - 你的条款规定仅限成人受众,且机器人从不生成涉及未成年人的性内容。
最后一点与 成人聊天机器人安全 中的指导共享。此 API 背后的模型经过调整,在合法成人使用时不进行内容拒绝即可回答,这使得你自身的年龄限制和审核规则更为重要,而非更不重要。此处的充值仅限加密货币(TRC20 上的 USDT 或 Base 上的 USDC),金额为 $20 至 $500,新用户可先领取 $0.50 试用额度。
更多指南
问答
为什么不能直接从浏览器中的 JavaScript 调用 API?
因为密钥会对所有打开网络标签页的人可见。后端代理将密钥保留在您的服务器上,并允许您为每个用户添加限制。
API 支持流式传输吗?
可以。将 stream 设置为 true,API 会发送服务器发送的事件,并在末尾附带使用情况。您的代理可以将这些事件转发给浏览器。
我应该使用哪个 SDK?
任何 OpenAI SDK 或 HTTP 客户端均可使用。将 Base URL 更改为 https://api.uncensoredchatbotapi.com/v1,使用您的密钥,并将模型设置为 uncensored。
如果太多用户同时聊天会发生什么?
完整密钥允许 8 个并发请求。超出后,API 返回 429 且代码为 concurrency,因此请在你的服务器中排队额外请求并稍后重试。