自回归

UniFluid

UniFluid是由谷歌DeepMind与麻省理工学院联合开发的统一自回归框架,支持图像生成与视觉理解任务。它通过连续视觉标记处理多模态输入,结合Gemma模型和VAE技术,实现高质量图像生成与强大视觉理解能力。该框架在图像编辑、视觉问答和图像描述等任务中表现出色,具备良好的下游任务迁移能力,适用于创意设计、内容创作等多个领域。

JanusFlow

JanusFlow是一款集成了自回归语言模型与校正流技术的多模态AI模型,能够在单一框架内高效完成图像理解和生成任务。它通过解耦视觉编码器和表示对齐策略,显著提升了模型在视觉理解与图像生成上的表现,广泛应用于图像生成、多模态内容创作、视觉问答、图像理解和辅助设计等多个领域。

Video Diffusion Models

Video Diffusion Models项目展示了扩散模型在视频生成领域的潜力,通过创新的梯度条件方法和自回归扩展技术,生成了具有高度时间连贯性和质量的视频样本。

HART

HART是一种由麻省理工学院研究团队开发的自回归视觉生成模型,能够生成1024×1024像素的高分辨率图像,质量媲美扩散模型。通过混合Tokenizer技术和轻量级残差扩散模块,HART实现了高效的图像生成,并在多个指标上表现出色,包括重构FID、生成FID以及计算效率。

Fluid

Fluid是一种基于连续标记和随机生成顺序的文本到图像生成模型,具有卓越的视觉表现力和全局结构捕捉能力。它通过自回归架构和Transformer模型,逐步预测序列中的下一个元素,构建与文本提示相匹配的高质量图像。Fluid在多个基准测试中取得了优异成绩,并广泛应用于艺术创作、媒体娱乐、广告营销等领域。

Show

Show-o 是一款基于统一 Transformer 架构的多模态 AI 工具,集成了自回归和离散扩散建模技术,可高效处理视觉问答、文本到图像生成、图像修复与扩展以及混合模态生成等多种任务。其创新性技术显著提高了生成效率,减少了采样步骤,适用于社交媒体内容创作、虚拟助手、教育与培训、广告营销、游戏开发及影视制作等多个领域。

Loong

Loong是一种基于自回归大型语言模型的长视频生成工具,能够生成长达一分钟以上的高质量视频。其核心技术包括统一序列建模、渐进式训练方法及损失重新加权策略,确保生成视频在内容连贯性、动态丰富性和场景过渡上的卓越表现。Loong广泛适用于娱乐、教育、广告等多个领域,助力用户快速生成个性化、专业化的视频内容。

MAGI

MAGI-1是一款由Sand AI开发的开源视频生成大模型,采用自回归架构,支持高效、高质量的视频生成,具备高分辨率输出、无限扩展能力和可控生成特性。适用于内容创作、影视制作、游戏开发等多个领域,技术上融合了自回归去噪、Transformer VAE、扩散模型等创新方法,提升生成效率与稳定性。

xAR

xAR是由字节跳动与约翰·霍普金斯大学联合研发的自回归视觉生成框架,采用“下一个X预测”和“噪声上下文学习”技术,提升视觉生成的准确性和效率。其支持多种预测单元,具备高性能生成能力,在ImageNet数据集上表现优异,适用于艺术创作、虚拟场景生成、老照片修复、视频内容生成及数据增强等多种应用场景。

VARGPT

VARGPT是一款多模态大语言模型,整合了视觉理解和生成任务于统一的自回归框架中。它通过next-token和next-scale预测机制,支持文本与图像的混合输入和输出,具备高效的视觉生成能力。模型采用三阶段训练策略,提升了在视觉问答、推理及图像生成任务中的表现。适用于多模态内容创作、指令到图像合成等场景。