Teacher2Task

Teacher2Task是由谷歌团队开发的一种多教师学习框架，旨在通过引入教师特定的输入标记和重新设计训练流程，减少对人工聚合方法的依赖。该框架摒弃了传统的单一聚合标签策略，而是将训练数据划分为N+1个任务，其中包括N个辅助任务，分别预测每位教师的标记风格，以及一个主要任务专注于真实标签的学习。这种机制不仅提高了标签使用效率，还有效降低了标签错误带来的负面影响，使模型能够从多种教师预测中汲取经验，从而提升整体性能和鲁棒性。