偏好优化
  1. 首页
  2. 偏好优化

列表

Agent Q

Agent Q

Agent Q是一种自监督代理推理和搜索框架，结合了引导式蒙特卡洛树搜索（MCTS）、AI自我批评及直接偏好优化（DPO）等技术。该框架通过迭代微调和基于人类反馈的强化学习进行自我改进，在网页导航和多步任务执行中表现优异。Agent Q的主要功能包括引导式搜索、自我批评、迭代微调、多步推理任务和零样本学习。它在电子商务、在线预订服务、软件开发、客户服务、数据分析和个性化推荐等领域具有广泛应用前景。
AI项目与工具 2025年06月12日
LongWriter

LongWriter

LongWriter是一款由清华大学与智谱AI合作开发的长文本生成模型，能够生成超过10,000字的连贯文本。该模型基于增强的长上下文大型语言模型，采用了直接偏好优化（DPO）技术和AgentWrite方法，能够处理超过100,000个token的历史记录。LongWriter适用于多种应用场景，包括学术研究、内容创作、出版行业、教育领域和新闻媒体等。
AI项目与工具 2025年06月12日
OmniVision

OmniVision

OmniVision是一款面向边缘设备的紧凑型多模态AI模型，参数量为968M。它基于LLaVA架构优化，能够处理视觉与文本输入，显著降低计算延迟和成本。OmniVision支持视觉问答、图像描述等功能，广泛应用于内容审核、智能助手、视觉搜索等领域。
AI项目与工具 2025年06月12日
TÜLU 3

TÜLU 3

TÜLU 3是艾伦人工智能研究所发布的开源指令遵循模型，提供8B、70B及未来的405B版本。它通过后训练技术显著提升了模型在数学、编程和推理等方面的表现，同时支持多种任务处理和创新的后训练方法，适用于自然语言处理、教育、编程开发及内容创作等多个领域。
AI项目与工具 2025年06月12日
Tarsier2

Tarsier2

Tarsier2是字节跳动研发的大规模视觉语言模型，擅长生成高精度视频描述并在多项视频理解任务中表现优异。其核心技术包括大规模数据预训练、细粒度时间对齐微调以及直接偏好优化（DPO）。该模型在视频问答、定位、幻觉检测及具身问答等任务中均取得领先成绩，支持多语言处理，具有广泛的应用潜力。
AI项目与工具 2025年06月12日
PRefLexOR

PRefLexOR

PRefLexOR是由MIT开发的一种基于偏好优化和递归推理的自学习AI框架，能通过多步推理、反思和优化提升输出准确性。其核心技术包括ORPO和DPO，结合“思考令牌”与“反思令牌”实现更精准的推理路径对齐。具备动态知识图谱构建、跨领域推理和自主学习能力，适用于材料科学、信息学等复杂场景，支持开放域问题解决和持续优化。
AI项目与工具 2025年06月12日