LLM 的规模化交互识别方法

SPEX（Spectral Explainer）与 ProxySPEX 可识别大语言模型中的关键交互，并支持特征、数据和模型组件归因。SPEX利用稀疏性和低阶性，通过策略性消融与解码分离影响模型行为的交互；ProxySPEX进一步利用层级性，在性能与 SPEX 相当时约减少 10x 消融次数。SPEX在上下文扩展至数千个特征时仍保持较高 faithfulness。