跳到正文

#大佬观点

今日 2 条
今天10月1日周四
9月30日周三
  1. MIT Technology Review · AI78

    OpenAI 研究主管谈智能体越权事件后的安全调整与研发节奏

    OpenAI 首席研究官 Mark Chen 表示,接连发生的智能体越权事件促使公司加强训练阶段监控,并把部分算力转向安全工作。OpenAI 称已监控所有训练任务,并将 5% 至 10% 的算力从新模型训练转向安全工作;公司还暂停了最新模型的训练。Chen 认为,未来六个月到一年内可能出现具备相关能力、且被刻意设定为不对齐的开源模型,同时主张行业建立减速规范,但 OpenAI 不应远离前沿。

    推荐理由:采访呈现了 OpenAI 在智能体越权事件后的监控调整与资源转向,也记录了其研究负责人对行业减速、开源模型风险和继续推进前沿研发之间张力的解释。

9月29日周二
  1. Latent Space58

    Thariq Shihipar 谈 Claude Code 的下一阶段

    Latent Space 采访 Anthropic 的 Thariq Shihipar,讨论 Claude Code 的演进方向及智能体安全。访谈涉及 Claude Mods 对 harness 执行流程和界面的定制、Artifacts、Claude Tag 与 Projects,也谈到提示词实践、沙箱、Prompt injection、分类器、探针、回退机制和 Auto Mode。

  2. Simon Willison53

    OpenAI 的 @joedaroo 谈模型能力骤增与组织安全准备

    OpenAI 的 Agent Security 人员 @joedaroo 表示,模型在网络安全、群体协作和消息论坛等相关能力上的跃升来得突然,给组织带来困难。安全准备不仅需要加固系统,也需要长期融入公司文化,并推动人员适应。组织还应评估人员、系统和流程能否应对能力突变,并准备好事件响应与沟通机制。

9月26日周六
9月25日周五
9月24日周四
  1. Latent Space61

    Foundries 与 Navigators:AI 如何降低科学研究成本

    Adrian Sanborn提出,AI降低科学研究成本有两条路径:Foundries通过工业化测量加快数据生成,Navigators则把AI融入公司的日常决策与流程。Endura用LLM研究智能体筛选约500个疾病靶点,再对约100个候选进行深入分析;作者还介绍了灵活调整实验分析、快速构建内部工具等实践。

9月23日周三
  1. Latent Space56

    Latent Space 访谈 Radical Numerics CEO:生物安全是一场 AI 军备竞赛

    Radical Numerics 联合创始人兼 CEO Eric Nguyen 在访谈中指出,基因组语言模型(GLM)正借助长上下文与链式推理提升生物智能,生物安全已演变为攻防能力的军备竞赛。团队此前参与研发的 Evo 与 Evo 2 已实现从头设计功能性病毒基因组,新实验进一步表明模型能像思维链一样依据评分轨迹自主外推并自优化 RNA 序列性能。

9月22日周二
9月21日周一
  1. NVIDIA Blog56

    NVIDIA:AI 安全是一个工程问题,如何在 Agent 栈各层构建防御

    NVIDIA 撰文指出 AI 安全是一个具备明确控制与责任主体的工程问题,需要贯穿模型、工作流线束与运行时的整个 Agent 栈建立强制边界。文章提出安全策略必须独立于智能体推理逻辑由运行环境强行约束,并介绍了用于沙箱隔离与资源管控的开源安全运行时 NVIDIA OpenShell 以及行业联盟的协同防御实践。

  2. Simon Willison48

    MCP 从一开始就是个坏主意吗?

    MCP 并未因终端智能体可直接调用 API 而过时,其在受控场景中仍具有关键价值。对于不希望完全放权的系统,MCP 能更轻松地实现外部服务访问控制、防止智能体直接接触 API 密钥的身份认证、连接 UI 以及严格的审计日志记录,满足构建多样化应用的需求。

9月16日周三