机械可解释性

OpenAI研究团队开发实验性“权重稀疏Transformer”，属于机械可解释性研究，旨在更清晰地映射模型完成任务时的内部运作机制。与稠密网络不同，该模型让神经元仅与少数节点连接，促使特征在局部集群中形成。其规模与能力远低于主流商业大模型，约相当于GPT-1且推理更慢，但更便于分析。研究人员在引号匹配等简单任务中追踪到模型的分步执行过程，并确认其自发学到类似人工算法的逻辑。OpenAI称目标是理解而非性能，仍计划未来尝试构建达到GPT-3水平且“完全可解释”的模型，外界对可扩展性仍存疑。