中文 ▾
Uncensored Chatbot API直接访问一个无审查 LLM 的 API获取 API 密钥

Uncensored Chatbot API安全

聊天机器人 API 集成:将聊天接口接入应用

聊天机器人 API 集成有一条不可跳过的规则:浏览器绝不能持有 API 密钥。在中间放置一个小型后端代理,通过它流式输出回复,其余部分就是普通的 Web 开发。

更新于

玻璃管道连接浏览器方块和服务器方块,通过锁门显示后端聊天代理

要点

  • 浏览器与您的服务器通信;您的服务器使用密钥与聊天 API 通信。
  • 使用服务器发送的事件进行流式输出,以便逐字显示回复。
  • 限制历史记录,设置每个用户的限制,并在出现 429 响应时进行短暂等待处理。
  • 该接口与 OpenAI 兼容,因此更改 Base URL 后官方 SDK 即可使用。

一张图中的模式

每个安全的聊天机器人 api 集成从上方看都是一样的。浏览器中的页面将用户的消息发送到您自己的接口。您的服务器添加系统提示词,修剪历史记录,附加 API 密钥并转发请求。回复以相同的方式流式返回。

Browser  --POST /api/chat-->  Your server  --POST /v1/chat/completions-->  Chat API
Browser  <--SSE stream------  Your server  <--SSE stream-----------------  Chat API

代理存在四个原因:它隐藏密钥,允许您检查调用者,允许您限制每个用户的成本,并为您提供一个地方来更改模型设置。前端 JavaScript 中的密钥在页面加载时即公开,其他人会消耗您的预付额度。

API 遵循 OpenAI 格式。Base URL 是https://api.uncensoredchatbotapi.com/v1,模型是uncensored,认证是Authorization: Bearer YOUR_KEY。在密钥页面获取密钥。

步骤 1:服务器代理

此 Express 服务器接受对话,添加系统提示词,以流式输出调用 API 并转发文本。使用npm i express openai安装依赖项,并在环境中设置CHAT_API_KEY。

import express from "express";
import OpenAI from "openai";

const app = express();
app.use(express.json({ limit: "200kb" }));
app.use(express.static("public"));

const client = new OpenAI({
  baseURL: "https://api.uncensoredchatbotapi.com/v1",
  apiKey: process.env.CHAT_API_KEY,
});

const SYSTEM = "You are a helpful companion for adults. Keep replies under 150 words.";

app.post("/api/chat", async (req, res) => {
  const incoming = Array.isArray(req.body.messages) ? req.body.messages : [];
  const clean = incoming
    .filter((m) => ["user", "assistant"].includes(m.role) && typeof m.content === "string")
    .slice(-20)
    .map((m) => ({ role: m.role, content: m.content.slice(0, 4000) }));

  res.writeHead(200, { "Content-Type": "text/event-stream", "Cache-Control": "no-cache" });
  try {
    const stream = await client.chat.completions.create({
      model: "uncensored",
      messages: [{ role: "system", content: SYSTEM }, ...clean],
      stream: true,
    });
    for await (const part of stream) {
      const t = part.choices[0]?.delta?.content;
      if (t) res.write(`data: ${JSON.stringify(t)}\n\n`);
    }
    res.write("data: [DONE]\n\n");
  } catch (e) {
    res.write(`event: error\ndata: ${JSON.stringify(e.status === 429 ? "busy" : "failed")}\n\n`);
  }
  res.end();
});

app.listen(3000);

注意过滤器。客户端可以发送任何内容,因此服务器仅保留user和assistant消息,截断每条消息,并忽略浏览器尝试注入的任何system消息。系统提示词始终来自您的代码。

步骤 2:浏览器端

浏览器使用fetch读取流,并在文本到达时附加文本。不需要库。

const messages = [];

async function send(text, out) {
  messages.push({ role: "user", content: text });
  const res = await fetch("/api/chat", {
    method: "POST",
    headers: { "Content-Type": "application/json" },
    body: JSON.stringify({ messages }),
  });

  const reader = res.body.getReader();
  const dec = new TextDecoder();
  let reply = "", buf = "";

  while (true) {
    const { done, value } = await reader.read();
    if (done) break;
    buf += dec.decode(value, { stream: true });
    const events = buf.split("\n\n");
    buf = events.pop();
    for (const ev of events) {
      if (ev === "data: [DONE]") break;
      if (ev.startsWith("data: ")) {
        reply += JSON.parse(ev.slice(6));
        out.textContent = reply;
      }
    }
  }
  messages.push({ role: "assistant", content: reply });
}

缓冲区很重要。网络块不与事件边界对齐,因此您在空行处拆分,并将未完成的尾部保留给下一次读取。有关页面本身的逐步指南,请参阅网络聊天教程,有关将机器人添加到站点的更广泛图片,请参阅如何在网站中实现聊天机器人。

限制、错误和重试

完整密钥允许 8 个并发请求和每分钟 300 个请求。试用密钥允许 2 个和 60 个。流式请求会占用其槽位,直到流结束,因此使用 8 个槽位时,你最多可以同时处理 8 个正在生成的回复。如果你的网站同时在线用户数超过此限制,请在服务器端对请求进行排队,并返回“请稍候”而不是失败。

  • 429 并发请求过多:concurrency 请求正在处理中。请排队并重试。
  • 429 且 rate_limited: 每分钟请求过多。请放慢速度。
  • 带有Retry-After: 5标头的 429:临时过载。等待 5 秒并重试。
  • 401: 密钥错误或缺失。
  • 请求体超过 8 MB: 被拒绝,请精简你发送的内容。

添加一个小型内存计数器,以便你的服务器永远不会打开超过 8 个上游流:

let active = 0;
const MAX = 8;

app.use("/api/chat", (req, res, next) => {
  if (active >= MAX) return res.status(503).json({ error: "busy" });
  active++;
  res.on("close", () => { active--; });
  next();
});

在聊天路由之前注册此中间件。当响应结束或用户离开时,close事件触发,因此计数器不会泄漏。

控制每次对话的成本

价格为每 100 万输入 token $0.15,每 100 万输出 token $0.50。由于每次对话都会重发历史记录,历史记录的容量限制是你最大的杠杆。假设最后 20 条消息每条约 60 个 token,加上 100 个 token 的系统提示词,一次请求大约包含 1,300 个输入 token。150 个 token 的回复会增加输出 token 数。

每次对话的成本:1,300 / 1,000,000 x $0.15 = $0.000195,加上 150 / 1,000,000 x $0.50 = $0.000075,即 $0.00027。30 次对话的会话在此大小下最多花费 $0.0081,因为早期对话较短。每个用户的每日上限,例如 100 条消息,将您的最坏情况限制为每个用户每天 100 x $0.00027 = $0.027。有关网站机器人定价的更多信息,请阅读网站聊天机器人成本页面,并使用文档中的参数,如max_tokens。

谁在调用您的代理

代理保护了密钥,但它也会成为任何找到该 URL 的人都可以使用的免费聊天端点。在发布之前,请决定谁可以使用它。

对于公共网站,通常在登录时设置签名会话 cookie 是标准做法。在路由顶部检查它,如果缺失则返回 401。对于快速原型,使用 express-rate-limit 等包设置每 IP 限制比没有好,尽管共享网络会使 IP 限制不够精确。无论选择哪种方式,请按用户统计消息数,而不是按连接统计,并将计数存储在一个重启无法重置的地方。

当应用规模扩大时,请在服务器端保留对话历史。在每次对话时从浏览器发送完整的历史记录虽然易于构建,但用户可以编辑它。在数据库中以会话 ID 存储消息,在每次请求时加载最后 20 条,并在流结束后追加回复。这也允许用户关闭标签页并回到同一个对话。

在发布之前

简短的检查清单可确保发布日顺利。

  1. 密钥仅存在于服务器的环境变量中,存储库中不包含它。
  2. 服务器忽略来自客户端的任何系统消息。
  3. 每个用户都有每日消息上限和消息长度上限。
  4. 错误显示友好消息,从不打印内部详细信息。
  5. 你记录来自 X-Request-Id 请求头的请求 ID 和 token 计数,而不是完整文本。
  6. 你监控 X-Balance-USD,当额度不足时收到警报。
  7. 你的条款规定仅限成人受众,且机器人从不生成涉及未成年人的性内容。

最后一点与 成人聊天机器人安全 中的指导共享。此 API 背后的模型经过调整,在合法成人使用时不进行内容拒绝即可回答,这使得你自身的年龄限制和审核规则更为重要,而非更不重要。此处的充值仅限加密货币(TRC20 上的 USDT 或 Base 上的 USDC),金额为 $20 至 $500,新用户可先领取 $0.50 试用额度。

问答

为什么不能直接从浏览器中的 JavaScript 调用 API?

因为密钥会对所有打开网络标签页的人可见。后端代理将密钥保留在您的服务器上,并允许您为每个用户添加限制。

API 支持流式传输吗?

可以。将 stream 设置为 true,API 会发送服务器发送的事件,并在末尾附带使用情况。您的代理可以将这些事件转发给浏览器。

我应该使用哪个 SDK?

任何 OpenAI SDK 或 HTTP 客户端均可使用。将 Base URL 更改为 https://api.uncensoredchatbotapi.com/v1,使用您的密钥,并将模型设置为 uncensored。

如果太多用户同时聊天会发生什么?

完整密钥允许 8 个并发请求。超出后,API 返回 429 且代码为 concurrency,因此请在你的服务器中排队额外请求并稍后重试。

只差一张表单,即可获得密钥

创建账户,复制密钥,更改基础 URL。这就是全部设置。

获取 API 密钥阅读文档