视频生成

GenMAC

GenMAC是一款基于多代理协作的迭代框架,旨在解决文本到视频生成中的复杂场景生成问题。它通过任务分解为设计、生成和重新设计三阶段,结合验证、建议、修正和输出结构化子任务,利用自适应自路由机制优化视频生成效果。该工具可应用于电影制作、游戏开发、广告设计、教育培训和新闻报道等多个领域,显著提升视频生成的效率和质量。

万兴天幕多媒体大模型

一个涵盖了视觉、音频、语言等多模态AI生成和优化能力的多媒体大模型,万兴天幕多媒体大模型核心功能包括一键成片、AI美术设计、文生音乐、音频增强、音效分析、多语言对话等。

STIV

STIV是一款由苹果公司开发的视频生成大模型,具有8.7亿参数,擅长文本到视频(T2V)及文本图像到视频(TI2V)任务。它通过联合图像-文本分类器自由引导(JIT-CFG)技术提升生成质量,并结合时空注意力机制、旋转位置编码(RoPE)及流匹配训练目标优化性能。STIV支持多种应用场景,包括视频预测、帧插值、长视频生成等,适用于娱乐、教育、广告及自动驾驶等多个领域。

JoyGen

JoyGen是由京东科技与香港大学联合开发的音频驱动型3D说话人脸视频生成框架,能够实现唇部动作与音频信号的精准同步,并提供高质量的视觉效果。该工具采用单步UNet架构进行高效视频编辑,基于130小时中文视频数据集训练,在唇音同步和视觉质量方面表现优异。适用于虚拟主播、动画制作、在线教育及多语言视频生成等多个领域,为视频内容创作提供了创新解决方案。

Allegro

Allegro 是一款由 Rhymes AI 开发的文本到视频生成工具,可将描述性文本快速转化为高质量的动态视频内容。支持 720p 分辨率、15 FPS 帧率和最长 6 秒的视频输出,具有高时间一致性,适用于内容创作、广告营销、教育培训等多个领域,凭借先进的技术架构和强大的功能,成为视频生成领域的领先解决方案之一。

Hallo3

Hallo3是由复旦大学与百度联合开发的基于扩散变换器网络的肖像动画生成技术,能够生成多视角、动态且逼真的视频内容。其核心功能包括身份一致性保持、语音驱动动画、动态对象渲染和沉浸式背景生成。技术上采用预训练变换器模型,结合身份参考网络与音频条件机制,实现高质量视频生成。适用于游戏开发、影视制作、社交媒体及VR/AR等多个领域。

SaRA

SaRA是一种新型预训练扩散模型微调方法,通过重新激活预训练阶段未被充分使用的参数,有效提升模型的适应性和泛化能力。该方法支持核范数低秩稀疏训练,能够防止过拟合并优化模型性能,同时大幅降低计算资源需求。SaRA适用于多种应用场景,包括图像风格迁移、视频生成及下游数据集微调等,仅需少量代码调整即可实现高效微调。

VideoCrafter2

VideoCrafter2 是一款由腾讯AI实验室开发的视频生成模型,通过将视频生成过程分解为运动和外观两个部分,能够在缺乏高质量视频数据的情况下,利用低质量视频保持运动的一致性,同时使用高质量图像提升视觉质量。该工具支持文本到视频的转换,生成高质量、具有美学效果的视频,能够理解和组合复杂的概念,并模拟不同的艺术风格。

Sora.FM

一个使用nextjs创建的用于生成 Sora AI视频的开源Web模板。

Pyramid

Pyramid-Flow是一款基于文本生成高清视频的AI工具,利用创新的金字塔流匹配算法,支持从低分辨率到高分辨率的逐步生成过程,可生成长达10秒、分辨率达1280×768的视频内容。该模型具备端到端优化能力,支持连续帧生成,确保视频内容的连贯性和高质量。