泛化能力

LOKI

LOKI是一个由中山大学与上海AI实验室联合推出的合成数据检测基准,用于评估大型多模态模型在识别视频、图像、3D模型、文本及音频等多模态合成数据方面的性能。它包含超过18,000个问题,涵盖26个子类别,支持多层次标注和细粒度异常注释,并通过自然语言解释增强模型的可解释性。LOKI还通过对比多种开源和闭源模型的表现,揭示了这些模型在合成数据检测任务中的优势与不足。

RDT

RDT是清华大学AI研究院推出的一款双臂机器人操作任务扩散基础模型,拥有十亿参数量,可自主完成复杂任务,如调酒和遛狗。该模型基于模仿学习,具备强大的泛化能力和操作精度,支持多种模态输入和少样本学习。RDT已在餐饮、家庭、医疗、工业及救援等领域展现广泛应用前景,推动机器人技术发展。

Psi R0

Psi R0是一款基于强化学习的端到端具身模型,支持双灵巧手协同操作,具备多技能串联混训和跨物品、跨场景的泛化能力。通过仿真数据训练及技能优化,Psi R0能在复杂环境中完成长程任务,同时具备自主切换技能的功能,确保高成功率和鲁棒性。主要应用场景包括电商商品打包、工厂产线组装、服务业拣货打包及家居环境清洁整理。

One Shot, One Talk

One Shot, One Talk是一项由中国科学技术大学和香港理工大学研究者开发的图像生成技术,它可以从单张图片生成具有个性化细节的全身动态说话头像。该工具支持逼真的动画效果,包括自然的表情变化和生动的身体动作,同时具备对新姿势和表情的泛化能力。One Shot, One Talk结合了姿势引导的图像到视频扩散模型和3DGS-mesh混合头像表示技术,提供了精确的控制能力和高质量的重建效果。

TinyVLA

TinyVLA是一种轻量级的视觉-语言-动作(VLA)模型,专为机器人操控设计。它通过结合多模态模型和扩散策略解码器,实现了快速推理、数据高效和多任务学习的能力,并在泛化性能上表现优异。TinyVLA可应用于家庭、工业、服务等多个领域,具有广泛的实用价值。

SAM2Point

SAM2Point是一种基于SAM2的3D分割技术,无需额外训练或2D-3D投影,即可直接对任意3D数据进行零样本分割。该工具通过将3D数据体素化,并将其模拟为多方向视频流,实现精确的空间分割。SAM2Point支持多种3D提示类型,如点、框和掩码,展现了在多种场景下的泛化能力,包括3D物体、室内室外环境以及LiDAR数据,为未来的3D可提示分割研究提供了新起点。

Large Motion Model

Large Motion Model(LMM)是一款由新加坡南洋理工大学S-Lab和商汤科技合作研发的多模态运动生成框架。它支持从文本、音乐等多种模态生成逼真运动序列,具备高度精准的身体部位控制能力和强大的泛化能力。通过整合多样化的MotionVerse数据集以及创新性的ArtAttention机制和预训练策略,LMM在多个领域展现出高效的应用潜力,包括动画、虚拟现实、影视特效及运动分析等。

腾讯混元3D

全称为Hunyuan3D-1.0,是腾讯推出的一款同时支持文生和图生的3D开源模型,解决现有3D生成模型在生成速度和泛化能力的不足。

FabricDiffusion

FabricDiffusion是一项由谷歌与卡内基梅隆大学联合开发的高保真3D服装生成技术,可将2D服装图像的纹理和印花高质量地转移到3D服装模型上。其核心技术基于去噪扩散模型和大规模合成数据集,生成多种纹理贴图并支持跨光照条件的精准渲染,具备优秀的泛化能力和实际应用潜力,适用于虚拟试衣、游戏开发、影视制作及时尚设计等多个领域。

HelloMeme

HelloMeme是一款基于扩散生成技术的框架,专注于表情与姿态迁移。它利用空间编织注意力机制与Stable Diffusion 1.5模型的结合,生成自然且物理合理的表情包视频,同时具备强大的泛化能力和扩展潜力。HelloMeme通过模块化设计实现了高效的表情和姿态迁移,适用于多种应用场景,如社交媒体内容创作、视频娱乐、电影制作、广告营销及教育培训等。