预训练

MetaMorph

MetaMorph是一款基于多模态大模型的工具,通过Visual-Predictive Instruction Tuning(VPiT)技术实现文本和视觉token的生成。它在视觉理解和生成领域表现优异,能够克服其他生成模型的常见失败模式,同时有效处理专业术语和复杂语义问题。MetaMorph展示了统一建模方法的优势,支持多模态数据的高效处理,并在视觉生成与理解基准测试中取得竞争力表现。

Diff

Diff-Instruct是一种基于积分Kullback-Leibler散度的知识迁移方法,用于从预训练扩散模型中提取知识并指导生成模型的训练。它能够在无需额外数据的情况下,通过最小化IKL散度提升生成模型的性能。Diff-Instruct适用于多种场景,包括预训练扩散模型的蒸馏、现有GAN模型的优化以及视频生成等。

联通元景

联通元景(UniT2IXL)是一款基于国产昇腾AI平台开发的中文原生文生图模型,具备卓越的中文语义理解和高质量图像生成能力。它通过复合语言编码模块优化中文长文本处理,并利用大量中文图文数据进行预训练,确保信息完整性和生成质量。该模型支持国产化算力环境,适配多种应用场景,包括文物数字化、个性化服装定制、智能家居设计、广告创意生成及在线教育等,为企业提供高效解决方案。

MinT

MinT是一款基于时间基位置编码技术的多事件视频生成框架,允许用户通过文本提示生成包含多个事件的连贯视频,并支持对事件顺序及持续时间的精确控制。其核心技术ReRoPE使得模型能够有效关联文本提示与视频帧,同时结合预训练的视频扩散变换器(DiT)和大型语言模型(LLM)的提示增强功能,进一步提升了视频生成的质量与丰富度。MinT适用于娱乐、广告、教育等多个领域,为视频创作带来了创新性的解决方案。

TimesFM 2.0

TimesFM 2.0是谷歌推出的开源时间序列预测模型,采用仅解码器架构,支持处理长达2048个时间点的单变量序列,具备灵活的预测频率选择与分位头预测功能。模型通过大规模自监督预训练,覆盖多个领域,具有优秀的泛化能力。适用于零售、金融、交通、环境监测等多个场景,为数据分析与决策提供支持。

GameFactory

GameFactory 是由香港大学与快手科技联合研发的AI框架,专注于解决游戏视频生成中的场景泛化问题。它基于预训练视频扩散模型,结合开放域数据与高质量游戏数据,通过多阶段训练实现动作可控的多样化场景生成。具备高精度动作控制、交互式视频生成及丰富场景支持,适用于游戏开发、自动驾驶模拟及具身智能研究等领域。

3DIS

3DIS-FLUX是一种基于深度学习的多实例图像生成框架,采用两阶段流程:先生成场景深度图,再进行细节渲染。通过注意力机制实现文本与图像的精准对齐,无需额外训练即可保持高生成质量。适用于电商设计、创意艺术、虚拟场景构建及广告内容生成等领域,具备良好的兼容性和性能优势。

Tarsier2

Tarsier2是字节跳动研发的大规模视觉语言模型,擅长生成高精度视频描述并在多项视频理解任务中表现优异。其核心技术包括大规模数据预训练、细粒度时间对齐微调以及直接偏好优化(DPO)。该模型在视频问答、定位、幻觉检测及具身问答等任务中均取得领先成绩,支持多语言处理,具有广泛的应用潜力。

HMA

HMA(Heterogeneous Masked Autoregression)是一种基于异构预训练和掩码自回归技术的机器人动作视频建模方法,支持离散与连续生成模式,可处理不同动作空间的异构性。该工具具备高效实时交互能力,广泛应用于视频模拟、策略评估、合成数据生成及模仿学习等领域,适用于机器人学习与控制任务,提升策略泛化与执行效率。

WebLI

WebLI-100B是由Google DeepMind推出的超大规模视觉语言数据集,包含1000亿个图像与文本配对数据,是目前最大的视觉语言数据集之一。其设计旨在提升模型对长尾概念、文化多样性和多语言内容的理解能力。数据集通过网络爬取构建,保留了丰富的语言和文化多样性,支持多模态任务如图像分类、图像描述生成和视觉问答,广泛应用于人工智能研究、工程开发及教育领域。