AI对齐

Aligner

Aligner是由北京大学团队开发的大语言模型对齐工具,通过学习对齐答案与未对齐答案之间的差异来提升模型性能。采用自回归seq2seq结构,在Q-A-C数据集上训练,无需RLHF流程。具备高效、灵活、即插即用等特点,支持多模型兼容,提升模型帮助性和安全性。适用于多轮对话、价值观对齐及MoE架构优化等场景。

AxBench

AxBench是斯坦福大学推出的语言模型可解释性评估框架,支持概念检测与模型转向任务。它通过合成数据生成训练集,评估模型对特定概念的识别能力和干预后的表现。提供统一的评估平台,支持多种控制方法,如提示、微调和稀疏自编码器,并采用多维评分机制,适用于AI安全、伦理及内容生成等场景。