AI视频生成

MultiTalk

MultiTalk是由中山大学深圳校区、美团和香港科技大学联合推出的音频驱动多人对话视频生成框架。它根据多声道音频输入、参考图像和文本提示,生成包含人物互动且口型与音频一致的视频。通过Label Rotary Position Embedding (L-RoPE) 方法解决多声道音频与人物绑定问题,并采用部分参数训练和多任务训练策略,保留基础模型的指令跟随能力。MultiTalk适用于卡通、歌唱及

ContentV

ContentV是字节跳动开源的80亿参数文生视频模型框架,通过替换Stable Diffusion 3.5 Large的2D-VAE为3D-VAE并引入3D位置编码,提升视频生成能力。采用多阶段训练策略和流匹配算法,实现高效训练。支持文本到视频生成、自定义视频参数、风格迁移与融合、视频续写与修改等功能,适用于视频内容创作、游戏开发、VR/AR和特效制作等场景。

Goku

Goku是由香港大学与字节跳动联合开发的AI视频生成模型,支持文本到图像、文本到视频、图像到视频等多种生成方式。其核心优势在于高质量的视频输出、低制作成本及多模态生成能力。Goku+作为扩展版本,专注于广告视频创作,具备稳定的动作表现和丰富的表情交互。模型基于大规模数据集和先进架构,适用于广告、教育、娱乐等多个领域,提升了内容创作效率与质量。

Tavus – AI视频生成平台,支持数字人克隆和实时对话

Tavus 是一个先进的 AI 视频生成平台,提供逼真的数字人克隆和实时对话式视频。基于 Phoenix-2 模型和对话式视频接口(CVI),Tavus 支持企业快速部署 AI 视频产品,提升用户体验并确保安全合规。主要功能包括 AI 视频生成、实时对话、开发者文档和工具,适用于客户服务、个性化营销、虚拟助手、教育和产品演示等多种应用场景。

Boolvideo

Boolvideo是一款基于人工智能技术的视频生成工具,能够将产品链接、博客文章、图片、视频或文本内容快速转化为吸引人的视频。支持多个电商平台,具备动画视频、动态视频生成等功能,适用于电商卖家、内容创作者及市场推广人员,旨在简化视频创作流程,提高工作效率。

MagicVideo

MagicVideo-V2是一款由字节跳动公司团队开发的AI视频生成模型和框架。该模型通过集成文本到图像模型、视频运动生成器、参考图像嵌入模块和帧插值模块,实现了从文本到高保真视频的转换。生成的视频不仅具有高分辨率,而且在视觉质量和运动流畅度方面表现出色,为用户提供卓越的观看体验。

VideoPoet

VideoPoet是一款基于大模型的AI视频生成工具,支持从文本、图像或视频输入中合成高质量的视频内容及匹配的音频。其核心优势在于多模态大模型设计,能够处理和转换不同类型的输入信号,无需特定数据集或扩散模型即可实现多种风格和动作的视频输出。主要功能包括文本到视频转换、图像到视频动画、视频风格化、视频编辑和扩展、视频到音频转换以及多模态学习等。技术原理涉及多模态输入处理、解码器架构、预训练与任务适应

DreaMoving

DreaMoving是一个基于扩散模型的人类视频生成框架,由阿里巴巴集团研究团队开发。该框架通过视频控制网络(Video ControlNet)和内容引导器(Content Guider)实现对人物动作和外观的精确控制,允许用户通过文本或图像提示生成个性化视频内容。其主要功能包括定制化视频生成、高度可控性、身份保持、多样化的输入方式以及易于使用的架构设计。DreaMoving广泛应用于影视制作、游

Pika Art

Pika Art是一个使用AI技术生成和编辑视频的平台,旨在使视频制作变得简单和无障碍。该平台由北京海科互联科技有限公司开发,其背后的团队由AI研究人员、电影制作人、程序员甚至时...

phenaki

phenaki一种从文本生成视频的模型,提示可以随时间变化,视频可以长达数分钟。