LangSmith Engine 让 Agent 改进从人肉巡检变成自动闭环

LangChain 推出 LangSmith Engine,将智能体(Agent)的改进流程从手动转变为自动化闭环。针对 Agent 开发中追踪数据庞大、人工排查低效的痛点,LangSmieth Engine 引擎能够自动扫描追踪记录,识别报错、评估失败及用户负反馈等问题,并通过模式匹配聚合同类 Issue 进行优先级排序。基于代码仓库关联,它还能自动生成修复 PR,并创建自定义在线评估器以持续监控问题复发,同时将生产数据纳入离线评估套件防止回归。这一机制实现了“发现问题、修复问题、防止回归”的全自动链路,显著缩短开发周期。

发布于2026年5月22日 13:55
编辑小创
评论0
阅读61

LangChain 发布了 LangSmith Engine,把智能体的改进闭环从手动变成自动化。

做过 Agent 开发的都知道,数据追踪(traces)大家都有,但真正痛苦的是从海量 trace 里找到问题、定位原因、修复、写测试防回归,这套流程全靠人肉,慢且有盲区。LangSmith Engine 就是接管这个过程。

它会自动扫描你的追踪记录,盯住显式报错、在线评估失败、用户负反馈、以及 Agent 没处理好的新场景。发现问题后在整个项目里做模式匹配,把同类问题聚合成一个 issue,按严重程度和频率排优先级。

更有意思的是后面的动作。因为关联了代码仓库,Engine 会直接起草一个 PR,可能是改 prompt,也可能是改代码,你审查合并就行。同时它还会为这个具体问题生成一个自定义在线评估器持续监控,问题复发会自动浮现。最后把相关的生产 trace 加入标注数据集,纳入离线评估套件防回归。

整个链路就是“发现问题 → 修复问题 → 防止回归”的完整自动化闭环。Cogent 和 Campfire 等团队已经在用,解决了影响数千条 trace 的问题。

Agent 开发到了现阶段,瓶颈已经从“能不能跑起来”转移到了“怎么持续提升质量”,谁能把改进循环压缩得更短,谁的 Agent 就能更快变好。LangSmith Engine 本质上是把 SRE 的思路搬到了 Agent 运维里,用自动化观测加闭环修复替代人工巡检。

相关文章

ChatGPT Work 实战,一句话让智能体自主完成复杂地理计算与交付
AI 产品工具
2026年9月15日
0 条评论
小创

ChatGPT Work 实战,一句话让智能体自主完成复杂地理计算与交付

ChatGPT Work 通过联网代码沙盒、Headless Chrome 及持久化文件系统,推动 AI 从问答工具演进为自主执行体。实测显示,智能体可凭单条指令自主调用 API 完成复杂地理计算并交付可视化地图与数据文件。该平台还支持一键建站、子智能体协作及定时任务,适用于实体交付场景。但当前仍存在代码透明度不足、上下文压缩致历史丢失及资源安全策略限制等问题,在生产环境的可复现性仍面临挑战。

#AI工具#智能体#ChatGPT
阅读全文
commit-rewriter 用本地 Web 界面重写 AI 编程产生的杂乱 Git 提交记录
AI 产品工具
2026年9月15日
0 条评论
小创

commit-rewriter 用本地 Web 界面重写 AI 编程产生的杂乱 Git 提交记录

针对 AI 编程代理产生的杂乱 Git 提交记录,开源工具 commit-rewriter 提供了本地 Web 可视化清洗方案。该工具基于 Git 交互式变基,支持批量编辑提交说明、查看代码差异及自动备份分支,确保操作安全可逆。其核心理念是将 AI 快速生成与人类发布前治理解耦,作为自动化编码的质量过滤网。尽管单机清理流程已简化,但多人协作场景下的历史重写冲突仍是待解决的挑战。

#AI工具#vibe coding
阅读全文
OpenMontage 开源智能体视频系统,把编程助手变成全自动后期工作室
AI 产品工具
2026年9月14日
0 条评论
小创

OpenMontage 开源智能体视频系统,把编程助手变成全自动后期工作室

OpenMontage 是一套开源智能体视频生产系统,将 AI 编程助手转化为全自动后期工作室。该系统支持零 API Key 本地部署,内置 12 条生产流水线,覆盖动画、纪录片及口播等场景。通过智能体协作架构,实现从调研、脚本到渲染的全流程自动化,并提供预算治理与 Backlot 可视化看板以保障质量与成本可控。其将视频制作重构为可版本控制的软件工程行为,有效解决了传统 AI 视频生成的不可预测性问题。

#AI视频#智能体#开源工具
阅读全文
互动讨论

评论区

围绕《LangSmith Engine 让 Agent 改进从人肉巡检变成自动闭环》展开交流,未登录用户可浏览评论,登录后可参与讨论。

评论数
0
登录后参与评论
支持发表观点与回复一级评论,互动后将同步到消息中心。
登录后评论
暂无评论,欢迎成为第一个参与讨论的人。