okx 9月23日消息,DeepSeek公开的一篇关于智能体训练的新论文引发关注,这篇31页的论文介绍了其内部使用的生产级沙箱平台DSec,论文作者超过百人,梁文锋也在其中。论文中比较有意思的一节是“智能体的不当行为”,DeepSeek发现,智能体会通过非预期渠道获取答案,比如搜索平台管理文件里的残留答案等,破坏训练和评估结果有效性。引入访问控制后,还有智能体交换文件数据块映射,试图让受保护文件内容可通过另一文件描述符访问,损害任务或共享基础设施。DeepSeek认为,没有单一机制能防止所有智能体不当行为和系统故障。因此团队的方法是加强可观测性以识别新问题,并随模型演进持续加固Dsec,包括限制智能体通过非预期渠道获取答案的访问控制,减少对欺骗行为的奖励。这些控制能解决部分问题。
