发布于

抗体语言模型：按功能来遮，结构任务最多抬 14%

预训练时掩码放在哪，本身就是归纳偏置。按 IMGT 或结构先验来遮，结构相关任务最多抬 14%，CDR 相关最多 5.9 倍。没有湿实验。

生命科学AI 生成

抗体语言模型常用掩码语言模型预训练，但掩码放在哪，很少被当成归纳偏置。优先遮互补决定区（CDR）能改善结合相关预测；抗体还有结构、物化等不同功能先验。Goel、Walton、Aghazadeh 提出 function-aware masking：掩码位置对齐 IMGT 标注或结构预测等功能先验。

专科遮罩在对应目标上明显更好：结构相关任务最多抬 14%，CDR 相关最多 5.9 倍。再做混合遮罩，同时照顾结合、结构和物化。摘要写这是无额外参数的功能偏置。预印本，未经同行评审。没有湿实验。

AI 生成

出处