跳到正文
Back to Feed

总结

字节跳动 Seed 团队发布新一代生物分子结构预测模型 SeedFold,面向蛋白质相关任务的基础模型缩放提出新路线。团队称其在 FoldBench 等基准的多项关键任务上整体性能超过谷歌 AlphaFold 3。工作总结三类“缩放配方”:在模型规模上更强调加宽而非加深;在架构上引入线性三角注意力,将计算复杂度由立方级降至平方级;在数据上通过大规模知识蒸馏把训练集扩展到约2650万样本。研究者还提出可进一步探索专家混合网络与训练后缩放,为下一代生物分子基础模型提供方向。

正文

字节跳动 Seed 团队推出新一代折叠模型 SeedFold,为生物分子结构预测领域的基础模型缩放提供新思路。该模型在多个蛋白质相关任务性能上超越 AlphaFold 3,揭示了三个关键「缩放配方」:模型缩放主张加宽而非加深,实验表明加宽主干比加深主干或结构模块效果更好。架构创新引入线性三角注意力机制,将计算复杂度从立方级降至平方级。数据扩展通过大规模知识蒸馏,将训练数据集扩充至 2650 万个样本。在 FoldBench 基准测试集上,SeedFold 及其线性版本在多个关键任务上取得当前最佳性能。最后,研究人员指出未来可探索专家混合网络和训练后缩放两个方向,SeedFold 为构建下一代生物分子基础模型奠定了基础。
发布时间: