三端同源部署 · 各应用独立登录态

AI AGENT ENGINEER × PRODUCT · BEIJING

你好,我是 biao

把复杂的智能系统,做成可以亲手体验的产品。

多 Agent 编排、RAG 知识库与可观测平台——三套系统同源部署、在线可玩。每一层推理、每一次工具调用、每一笔 token 成本,都留痕、可回放、可验证。

北京 · 求职中 三端在线演示 全链路可回放 北京时间UTC+8

在线演示

一条从供数、生成到观测的完整链路。三套系统同源部署、独立登录,可以直接打开体验。

LIVE

游戏策划工坊

多 Agent 系统 · 主项目
  • 编排:意图前置路由(chat / query / task,模式只是偏置)→ 导演分解任务 + Skill 匹配 → DAG 分层并行,Blackboard 共享短期上下文
  • 治理:工具风险分级、参数沙箱、熔断降级;结构化输出校验失败自动反馈重试,双层 Token 预算控制成本
  • 人在环:三级人工审阅按需开启(默认直达),不可逆操作审批常开;每步推理留痕可回放,任务进度卡片进主对话
TypeScriptHonoNext.jsRedis StreamsPostgreSQLpgvector
LIVE

知识库

RAG 知识库 · 支撑系统(基于腾讯开源 WeKnora 搭建)
  • 204 张 AI 生成的演示数值表与 49 篇策划文档(非真实游戏数据),词项 + 向量混合检索,答案带出处引用
  • 覆盖导入 → 构建 → 发布冻结 → MCP 消费 → 反馈回流的全链路
  • 经 MCP 协议把 31 个知识工具暴露给工坊 Agent 供数
Go / GinVueSQLiteMCPBGE-M3 混合检索
LIVE

Agent 观测台

可观测性平台 · 质量闭环
  • 异步只读直连共享库,零侵入采集 Trace / Span 与每步 token 成本
  • 成本归因、错误率指标与告警,分析结果驱动 Agent 迭代
  • 执行全程留痕可回放:哪轮推理、调了什么工具、花了多少 token,一目了然
FastifyReact QueryPostgreSQLOpenTelemetry 思路

演示环境:工坊免登录直接体验(每日免费额度共享,也可在设置里填自己的模型 Key,AES-256-GCM 加密存储);观测台登录页已预填访客账号;知识库演示账号自动预填登录(只读)。

架构

一台服务器上的全链路:接入、服务、数据,以及多 Agent 编排的每一次决策。两张图都可以细看,手机上左右滑动可查看完整图。

接入层 服务层 · systemd · 仅监听 127.0.0.1 数据层 用户浏览器 nginx · 443 HTTPS Let's Encrypt 自动续期 · 登录限流 · 同源嵌入 / /design /api/ /kb/ /obs/ 门户 静态单文件 HTML nginx 直服 · 无构建 工坊前端 Next.js 16 · :3001 basePath /design 工坊后端 + Worker Hono · :13000 ExecutionWorker 消费队列 知识库 WeKnora Go 单二进制 · :4175 内嵌 SQLite · BGE-M3 混检 观测台 Fastify · :4180 React Query · 只读直连 MCP · stdio · 31 知识工具 PostgreSQL 18 库 game_designer:sessions · traces · spans · executions hitl_checkpoints · cost_usage · audit_logs · attempts gdt 读写(gdt_app)· 观测台只读(obs_reader) schema 由 drizzle 迁移统一管理 Redis 8 Streams:mq:executions · 消费组 gd-workers at-least-once · 死信队列 · 崩溃看门狗 限流(RPM / TPM)· 租户并发 · 黑板缓存 访客额度(2M token / 人) SQL 读写 XADD / XREADGROUP 只读 SELECT · obs_reader 实线 = 请求 / 调用 · 虚线 = 只读连接 · 蓝线 = MCP(stdio 子进程) · 框色:红 = 工坊 蓝 = 知识库 绿 = 观测台
一句需求 意图路由:chat 直接聊 · query 查知识 · task 进规划(模式 = 偏置) ① 计划 · 先与人对齐 ② 执行 · DAG 分层并行 ④ 横切治理 · HOOKS ③ 整合 · 对账 · 交付 导演 Agent · Director 任务路由 · Skill 匹配(7 技能 / 9 工作流) TaskPlanner 分解任务 · 编号 F1…Fn 由代码分配 计划净化 去重复编号 剪悬空依赖 · 环检测 计划审批 HITL-① · 按需开启 默认直达 重规划(≤ 3 次) 只重做失败任务 · 成功结果带入下一轮 任务失败 执行留痕 · 可回放 七态状态机 · 逐任务 attempt · SSE 断线续订 L0 并行 系统设计 战斗设计 L1 等上游 数值规划 L2 并行 玩法设计 执行规划 QA 审查 HITL-② 产出审阅 · 按需开启 · 检查点落库 执行支撑 Blackboard · 团队黑板 工具结果按「工具名 + 参数指纹」共享缓存 调研要点互见 · 后开工者直接复用 工具层 · 任务级白名单三态 MCP 31 个知识工具(WeKnora 知识库) tavily 联网 · 工作区读写 Token 双预算 单 trace · 多 Agent 共享 工具循环检测 同指纹 ≥ 3 次即停 熔断 · 降级 3 次失败冷却 60s 上下文压缩 滑窗 + 归档 · 保思考链 Trace 九相位 每步留痕 · 成本归因 调用栈守卫 深度 ≤ 3 · 扇出 ≤ 8 每次调用生效 · 不可逆操作审批常开 Integrator · 跨域对账 表格行 / key:value 抽取数值字段 同字段多值 → 自动冲突报告 终稿验收 HITL-③ · 按需开启 开启后签字交付 交付物 + 冲突报告 数值表 · 设计文档 · 审阅记录 全程 Trace 可回放 实线 = 控制流 · 红虚线 = 失败回退 · ○ = 人工审阅点(默认直达,按点开启;不可逆操作审批常开)

设计哲学

从实现里长出来的原则,而不是挂在墙上的口号。每一条背后都有一次真实事故或一轮真实迭代。

编排

编号由代码分配,LLM 只负责内容

一次真实事故:让模型为 6 个任务决策回显编号,它把 6 个全部写成了 "F1"。从此任务编号、依赖改写、路由键一律由代码生成,LLM 输出的 ID 不被采信;依赖图进流水线前先净化——重复编号、悬空依赖直接丢弃并告警,成环则整体拒绝执行。

编排

分层并行,成功绝不重跑

任务图拓扑排序后按层执行:同层并行、层间把上游的「蒸馏结论」交给下游,而不是塞全文。前驱失败则后继标 skipped;触发重规划时只重做失败任务,成功结果原样带入下一轮——省的不只是 token,还有已经对齐过的人工审阅。

编排

一块黑板,让并行的 Agent 不做重复劳动

六个子 Agent 并行调研,难免查同一份知识、发同一次搜索。Blackboard 是会话级共享缓存:昂贵检索按「工具名 + 参数指纹」读穿透缓存,谁先查过、后来者直接命中;调研要点也主动上黑板,后开工的 Agent 先看黑板再决定查什么。

编排

先问意图,再谈模式

一句「你好」不该触发策划工作流。所有消息先过意图路由:chat 直接聊、query 查知识、task 才进规划;用户选的模式从硬开关降级为「偏置」,只在意图模糊时起作用。路由本身也有围栏——6 秒超时、静态寒暄兜底、失败回落当前模式;91 例黄金评测集从 v1 迭代到 v9 保持 100%。

质量

一致性靠对账,不靠自觉

六份稿子拼起来不叫整合。Integrator 用启发式从表格行和 key:value 里抽取每个 Agent 实际写下的数值字段,写入字段注册表;同名字段出现不同取值即为冲突,自动生成冲突报告随交付物一起交人审——这是可验证的信号,不是模型自评「一致」。

质量

答案必须带出处

知识引用不只活在实时事件流里:执行完成时把引用来源去重后落库,会话回放也能看到「引用 N 篇」徽标并点开证据面板。有出处的回答才能被审计——评测打分、排错归因、访客信任,都建立在同一份证据上。

人机

审阅点放哪儿、开不开,都是显式设计

系统保留三级人工审阅(计划 / 单任务产出 / 终稿),卡在错误成本最高的位置;但默认全部关闭、按点粒度开启——演示与低风险场景直达结果,卡点只在需要时出现。唯一的例外是不可逆操作审批常开:内容可以自动通过,危险不可以。人不在时怎么办同样是显式配置(四种超时策略一行切换),代决必留审计标记。

治理

对模型保持信任,但每一层都有围栏

结构化输出校验失败,把具体错误喂回模型重试,仍失败按场景降级——路由失败就退回确定性映射。工具调用同参数指纹重复 ≥ 3 次判循环中止;外部工具 3 次失败熔断冷却 60 秒;单 Agent 与多 Agent 双层 token 预算在 Hook 层强制,超限先于下一次调用拦截。

架构

框架是可替换的细节

core/ 里搜不到任何一个 Agent 框架的 import:LangGraph、PostgreSQL、Redis 全部被端口接口挡在 adapter 层,三条依赖红线靠静态检查强制。这不是洁癖——知识库引擎从自研 KH 整体换成 WeKnora 时,Agent 侧零代码改动,只换了一行 MCP 配置。

架构

模型是配置,不是代码

BYOK 让访客自带 Key:模型注册表来自 models.dev 快照(16 家 / 888 个模型),思考参数统一成五档,按各家协议自动映射成 effort / budget_tokens / enable_thinking;Key 以 AES-256-GCM 加密落盘。接入一个新供应商,改的是快照,不是代码。

观测

可观测性是排错的前置投资

每轮推理九相位 span、每次工具调用、每个检查点、每笔 token 按 Agent 与模型归因落库;观测台以只读角色直连共享库,Agent 端零改动。这些在「重规划耗尽」那次排错里全部兑现:没有逐任务的原始记录,三个叠加的缺陷一个都定位不了。

排错

一个稳定的报错,往往是三个缺陷叠加在同一出口

「重规划次数耗尽」最后查出是三个互不相干的 bug:预算默认值按单 Agent 时代拍的、跨层传 ID 的接缝错位(计划编号 vs 行 UUID)、并行检查点的孤儿超时连带判死。教训:聚合报错只说「哪里死了」,逐任务原始数据才说「为什么死」;修掉一个缺陷,下一个只会换一种方式发作。

开放沉淀

把踩过的坑沉淀成可复用的技能包。与编程语言、业务方向无关,只谈取舍。

SKILL

production-ai-app-engineering

中 / EN

把上面这些原则沉淀成一份与编程语言、业务方向无关的 AI 应用工程决策手册——不是规则清单,而是取舍判断:每个模式都讲清「问题 → 推荐做法 → 为什么有效 → 失败边界 / 代价 → 何时不该用」。提供中英双语两版,内容一一对应。

解压后把 production-ai-app-engineering/(英文)或 …-zh/(中文)放进 ~/.agents/skills/ 即成为本地技能,详见包内 README.txt。

01架构分层与依赖边界
02Agent 编排
03结构化 LLM 边界
04人在环 HITL
05工具韧性与安全
06可靠性原语
07多租户与密钥
08上下文与记忆
09可观测与评测
10成本 / 配额 / 部署
11通用反模式

热词云

这套系统每天打交道的词。也是我目前的技术坐标。

多 Agent 编排 LangGraph PostgreSQL RAG 黑板缓存 HITL 人在环 pgvector 白名单三态 混合检索 Next.js 可观测性 Trace 回放 WeKnora TypeScript 九相位 上下文压缩 BYOK MCP SSE 续订 长期记忆 DAG 分层调度 评测集 结构化输出 意图路由 冲突对账 schema 契约 重规划 Redis Streams 限流 熔断降级 成本归因 systemd 回归门禁 nginx Fastify React Query Hono Better Auth drizzle models.dev Vitest BGE-M3 零构建部署

Colophon

这套界面的颜色、字体与质感。点击任意色板即可复制色值。

Display
Serif · Songti / Palatino
Text
Sans · PingFang / System
Meta
Mono · SF Mono / JetBrains

拖动墨点穿过金环。45 秒一局,环列沿本局画稿展开;穿满一笔,画卷上就多一道墨。方向键或 WASD 也可控制,空格暂停。

光迹

Light Trail · 45 sec

正在取下这扇窗…

拖动墨点 · 方向键 / WASD · 空格暂停 · Esc 收起
正在加载 游戏策划工坊 …
正在加载 知识库 …
正在加载 观测台 …