零样本

URM

URM是由阿里妈妈开发的通用推荐模型,结合大语言模型与电商领域知识,提升推荐效果。其采用多模态融合与Sequence-In-Set-Out生成方式,支持多场景、多目标、长尾及发现性推荐。具备高效率、零样本学习能力,适用于工业级推荐系统,已应用于阿里妈妈展示广告场景,优化用户体验与商家投放效果。

BiGR

BiGR是一种基于二进制编码的条件图像生成模型,集成了生成与判别任务于同一框架,支持高质量图像生成、视觉辨别和编辑。它通过掩码建模机制和二进制转码器实现高效的图像重建与预测,无需针对特定任务进行结构修改或参数调整,适用于多种视觉任务,如艺术创作、内容生成、广告设计、图像修复等。

Reflection 70B

Reflection 70B是一款基于Meta的Llama 3.1 70B Instruct构建的开源AI大模型,采用“Reflection-Tuning”技术,能够在生成最终回答前检测并纠正错误,显著提高输出的准确性。该模型特别适用于需要高精度推理的任务,并具备出色的零样本推理能力。用户可以通过引入特殊token,以更结构化的方式与模型交互。此外,Reflection 70B支持通过Huggin

The Matrix

The Matrix是一款基于AI的世界模拟器,能够生成高保真度、无限时长的视频流,支持实时交互控制。它融合了3A游戏数据与真实世界视频,具备零样本泛化能力。核心技术包括交互模块、移窗去噪过程模型和流一致性模型,适用于游戏开发、影视制作、虚拟现实、教育模拟及城市规划等多个领域。

ShowUI

ShowUI是一款由新加坡国立大学Show Lab与微软合作开发的视觉-语言-行动模型,旨在提升图形用户界面(GUI)助手的工作效率。该模型通过UI引导的视觉令牌选择、交错视觉-语言-行动流以及高质量数据集的运用,实现了高效的零样本截图定位和GUI自动化功能,广泛应用于网页自动化、移动应用测试、桌面软件自动化及游戏自动化等领域。

ZeroSearch

ZeroSearch 是阿里巴巴通义实验室开发的基于大模型的搜索引擎框架,通过强化学习技术提升搜索能力,无需依赖真实搜索引擎。它能动态生成相关或噪声文档,显著降低训练成本(超80%),并支持多种模型和算法,适用于问答、内容创作、教育等多个场景。

Large Motion Model

Large Motion Model(LMM)是一款由新加坡南洋理工大学S-Lab和商汤科技合作研发的多模态运动生成框架。它支持从文本、音乐等多种模态生成逼真运动序列,具备高度精准的身体部位控制能力和强大的泛化能力。通过整合多样化的MotionVerse数据集以及创新性的ArtAttention机制和预训练策略,LMM在多个领域展现出高效的应用潜力,包括动画、虚拟现实、影视特效及运动分析等。

SAM2Point

SAM2Point是一种基于SAM2的3D分割技术,无需额外训练或2D-3D投影,即可直接对任意3D数据进行零样本分割。该工具通过将3D数据体素化,并将其模拟为多方向视频流,实现精确的空间分割。SAM2Point支持多种3D提示类型,如点、框和掩码,展现了在多种场景下的泛化能力,包括3D物体、室内室外环境以及LiDAR数据,为未来的3D可提示分割研究提供了新起点。

Hummingbird

Hummingbird-0 是一款基于深度学习的 AI 口型同步工具,支持零样本学习,无需额外训练即可快速生成高质量口型同步视频。它兼容多种格式,支持最长 5 分钟视频处理,1 分钟内生成 10 秒视频,适用于影视制作、广告、本地化翻译及 AI 内容创作等场景。通过多模态融合技术,实现音频与视频的精准匹配,提升内容表现力。

Light

Light-A-Video 是一种无需训练的视频重照明技术,由多所高校和研究机构联合开发。它通过 CLA 和 PLF 模块实现高质量、时间一致的光照调整,支持前景与背景分离处理,并具备零样本生成能力。适用于影视、游戏、视频创作等多种场景,兼容多种视频生成模型,提升视频表现力与创作效率。