Transformer

MAGI

MAGI-1是一款由Sand AI开发的开源视频生成大模型,采用自回归架构,支持高效、高质量的视频生成,具备高分辨率输出、无限扩展能力和可控生成特性。适用于内容创作、影视制作、游戏开发等多个领域,技术上融合了自回归去噪、Transformer VAE、扩散模型等创新方法,提升生成效率与稳定性。

混元hunyuan

腾讯发布的快思考模型,混元hunyuan-TurboS响应速度较前代产品提升了一倍,首字时延降低了44%。优化后的模型使得即时生成内容流畅,适用于知识、数理和创作等多方面应用。

Steamer

Steamer-I2V 是百度 Steamer 团队推出的图像到视频生成模型,能够将静态图像转化为动态视频,具备卓越的视觉生成能力。该模型基于 Transformer 扩散架构,支持多模态输入,包括中文文本提示和参考图像,实现像素级的画面控制与电影级构图效果。在 VBench 评测中荣获榜首,生成高清 1080P 视频,优化时间一致性与运动规律性,适用于广告、影视、游戏开发和内容创作等多个领域。

DUSt3R

DUSt3R是一个由芬兰阿尔托大学和Naver欧洲实验室联合研发的3D重建框架。该框架能够快速地从任意图像集合中重建出三维场景,无需事先了解相机校准或视点位置信息。DUSt3R主要功能包括快速3D重建、无需相机校准、多视图立体重建、单目和双目重建以及生成深度图、置信度图和点云图。它采用了点图表示法、Transformer网络架构和端到端训练方式,并提出了全局对齐策略来处理多视图重建任务。

MagicTryOn

MagicTryOn是由浙江大学和vivo等机构开发的视频虚拟试穿框架,采用扩散Transformer(DiT)架构替代传统U-Net,结合全自注意力机制实现视频时空一致性建模。通过粗到细的服装保持策略,整合服装标记与多条件引导,有效保留服装细节。该工具在图像和视频试穿任务中表现优异,适用于在线购物、时尚设计、虚拟试衣间等多种场景。

Natural Language Playlist

Natural Language Playlist 探索语言和音乐之间丰富而复杂的关系,并使用 Transformer 语言模型构建播放列表。由于没有更好的术语,音乐推荐是一种“闭门造车”的东西。

Insert Anything

Insert Anything是由多所高校联合开发的图像插入框架,支持多种场景下的对象无缝融合,如艺术创作、虚拟试穿和影视特效等。基于大规模数据集训练,具备高分辨率输出与语义一致性保障。用户可通过掩码或文本指令实现精准控制,适用于创意设计与数字内容生成领域。

GameGen

GameGen-O 是一款基于 Transformer 架构的AI工具,专注于开放世界游戏视频的生成。它具备角色生成、环境构建、动作模拟及交互式控制等功能,通过两阶段训练方法提升了生成质量和灵活性,可应用于游戏原型设计、场景生成及开发辅助等领域,有助于降低开发成本并提高创作效率。

MagicArticulate

MagicArticulate是由南洋理工大学与字节跳动Seed实验室联合开发的3D模型动画化工具,支持自动骨架生成、蒙皮权重预测及高质量动画输出。其基于自回归Transformer架构,结合Articulation-XL大规模数据集,实现对多样化3D模型的高效处理。适用于3D动画、游戏开发、VR/AR、工业设计等多个领域,显著提升动画制作效率与质量。

Jamba

Jamba是由AI21 Labs开发的基于Mamba架构的生产级别大语言模型,结合了结构化状态空间模型(SSM)和传统Transformer架构,具备高吞吐量和低内存占用的特点。Jamba拥有256K的上下文窗口,适用于处理长文本序列,并且以开放权重的形式发布,遵循Apache 2.0开源许可。该模型主要用于研究领域,未来将推出更安全的版本。