多模态

Claude 3.7 Sonnet

Claude 3.7 Sonnet 是由 Anthropic 推出的混合推理模型,支持标准模式与扩展思考模式,适用于复杂任务处理和日常交互。其在数学、物理、编程等领域表现卓越,尤其在代码生成与理解方面领先。模型优化了安全性,减少误拒率,并支持多平台接入。适用于软件开发、前端设计、科学计算及企业自动化等多个场景。

LeRobot

LeRobot是一个由HuggingFace开发的开源AI聊天机器人项目,旨在简化机器人技术的学习过程。它提供了预训练模型、数据集和模拟环境,支持模仿学习和强化学习,适用于多种机器人硬件。该项目具有多用途、可扩展的特点,通过提供预训练模型、数据集共享、模拟环境和多功能库等功能,帮助用户加速机器人项目的开发进程。

Augmented Physics

Augmented Physics是一款基于人工智能的教育工具,旨在通过计算机视觉技术和多模态语言模型,将物理教科书中的静态图表转化为动态交互式模拟,帮助学生更好地理解物理概念。它支持多种仿真类型,包括光学、运动学和电路等,并提供动态可视化和动画效果,同时无需编程技能即可创建仿真。

Agent K v1.0

Agent K v1.0 是一款端到端自主数据科学智能体,由华为诺亚方舟实验室与伦敦大学学院团队联合开发。该工具能够自动化处理数据科学生命周期中的各个环节,支持多模态数据处理,具备动态多步骤问题解决能力,并通过结构化推理和动态记忆管理实现自我学习与优化。Agent K v1.0 在Kaggle多模态挑战赛中表现优异,广泛应用于金融、医疗、零售、制造及客户服务等领域。

SimpleAR

SimpleAR是一款由复旦大学与字节跳动联合研发的纯自回归图像生成模型,采用简洁架构实现高质量图像生成。其通过“预训练-有监督微调-强化学习”三阶段训练方法,提升文本跟随能力与生成效果。支持文本到图像及多模态融合生成,兼容加速技术,推理速度快。适用于创意设计、虚拟场景构建、多模态翻译、AR/VR等多个领域。

Jodi

Jodi是由中国科学院计算技术研究所和中国科学院大学推出的扩散模型框架,基于联合建模图像域和多个标签域,实现视觉生成与理解的统一。它支持联合生成、可控生成和图像感知三种任务,利用线性扩散Transformer和角色切换机制,提升生成效率和跨领域一致性。Jodi使用Joint-1.6M数据集进行训练,包含20万张高质量图像和7个视觉域标签,适用于创意内容生成、多模态数据增强、图像编辑与修复等场景。

Granite 3.2

Granite 3.2是IBM推出的开源多模态AI模型系列,具备强大的推理、视觉理解和预测能力。其核心功能包括链式推理、多模态融合、稀疏嵌入和时间序列预测,适用于复杂任务自动化、文档理解、安全监控等领域。Granite 3.2通过优化资源利用和安全性设计,提升了模型性能与实用性。

WorldDreamer

WorldDreamer 是一种基于 Transformer 的通用世界模型,具备理解与预测物理世界动态变化的能力,专注于视频生成任务。它支持多种应用场景,包括文本到视频、图像到视频、视频编辑和动作序列生成,利用视觉 Token 化、Transformer 架构和多模态提示技术,实现了高效且高质量的视频生成。

VLM

VLM-R1 是由 Om AI Lab 开发的视觉语言模型,基于 Qwen2.5-VL 架构,结合强化学习优化技术,具备精准的指代表达理解和多模态处理能力。该模型适用于复杂场景下的视觉分析,支持自然语言指令定位图像目标,并在跨域数据中表现出良好的泛化能力。其应用场景涵盖智能交互、无障碍辅助、自动驾驶、医疗影像分析等多个领域。

AtomThink

AtomThink是一个由多所高校与企业联合研发的多模态数学推理框架,通过构建长链思维(CoT)引导多模态大型语言模型(MLLMs)进行复杂推理。它包含自动CoT注释引擎、原子步骤微调策略及多种搜索策略,旨在提升原子步骤质量并增强MLLMs的推理能力。AtomThink提出的大规模多模态数据集AtomMATH及其评估方法为模型训练和测试提供了重要支持,广泛应用于教育辅助、自动化测试、学术研究等领域