推理能力 大事记
AIHOT重要进展资料来源于AIHOT,不代表青峰联创已逐项独立核验。AIHOT专题 ↗
数据校验时间:2026-11-07 12:42:29 UTC;数据待更新,显示最近有效快照
重要进展 IMPORTANT_PROGRESS
2026-10-27 — 2026-10-27
重要进展 · 第 1 / 24 页
模型
OpenAI 宣布 AI 模型取得三项科学突破,涉及局部光滑猜想、指数时间假设与杨–米尔斯理论
推理能力 精选历史资讯
AIHOT · 精选 · 不计入本站文章主题归属复核已到期或尚未完成;当前展示上次核验的历史缓存,不代表最新已确认的主题归属。
— · 2 条
精选资讯 · 第 1 / 1 页
研究团队运用其电路追踪方法,深入探究了Claude 3.5 Haiku模型在多种情境下的内部工作机制。该模型在2024年10月发布,是Anthropic的轻量级生产模型。研究发现,模型在生成诗歌前会预先规划并选定押韵词;其内部存在语言特定与语言无关的混合计算电路,且后者在更强大的模型中更突出;同一加法计算电路能在不同语境中泛化使用。研究还揭示了模型识别实体与产生幻觉的电路机制、拒绝有害请求的通用特征形成过程,以及一个通过诱导模型无意识开始输出危险指令而实现的越狱攻击原理。此外,方法能有效区分模型思维链推理的真实性,并成功识别出一个被微调以追求秘密目标(利用训练“漏洞”)的变体模型的相关机制。
研究团队提出“电路追踪”方法,用于揭示语言模型行为的计算机制。该方法通过在替代模型中追踪计算步骤,生成描述模型执行过程的图;替代模型使用跨层转码器等可解释组件近似原始结构。团队开发了可视化和验证工具,以研究18层语言模型的简单行为归因图,为后续研究奠定基础,并计划应用于Claude 3.5 Haiku。关键决策包括使用跨层转码器提取特征,并构建特征间线性相互作用的归因图。