文本到视频

Open

Open-Sora是一个开源视频生成模型，基于DiT架构，通过三个阶段的训练（大规模图像预训练、大规模视频预训练和高质量视频数据微调），生成与文本描述相符的视频内容。该模型包括预训练的VAE、文本编码器和STDiT（Spatial-Temporal Diffusion Transformer）核心组件，利用空间-时间注意力机制和交叉注意力模块实现视频生成。项目旨在提供全面的视频生成模型训练过程，供

AI项目与工具 2024年01月01日 97 点赞 0 评论 212 浏览

AtomoVideo

AtomoVideo是一款高保真图像到视频生成框架，能够从静态图像生成高质量视频内容。它通过多粒度图像注入和高质量数据集及训练策略，保证生成视频与原始图像的高度一致性和良好的时间连贯性。此外，AtomoVideo还支持长视频生成、文本到视频生成以及个性化和可控生成等功能。

AI项目与工具 2024年01月01日 32 点赞 0 评论 195 浏览

VideoPoet

VideoPoet是一款基于大模型的AI视频生成工具，支持从文本、图像或视频输入中合成高质量的视频内容及匹配的音频。其核心优势在于多模态大模型设计，能够处理和转换不同类型的输入信号，无需特定数据集或扩散模型即可实现多种风格和动作的视频输出。主要功能包括文本到视频转换、图像到视频动画、视频风格化、视频编辑和扩展、视频到音频转换以及多模态学习等。技术原理涉及多模态输入处理、解码器架构、预训练与任务适应

AI项目与工具 2024年01月01日 98 点赞 0 评论 257 浏览

VideoCrafter2

VideoCrafter2 是一款由腾讯AI实验室开发的视频生成模型，通过将视频生成过程分解为运动和外观两个部分，能够在缺乏高质量视频数据的情况下，利用低质量视频保持运动的一致性，同时使用高质量图像提升视觉质量。该工具支持文本到视频的转换，生成高质量、具有美学效果的视频，能够理解和组合复杂的概念，并模拟不同的艺术风格。

AI项目与工具 2024年01月01日 49 点赞 0 评论 133 浏览

MagicVideo

MagicVideo-V2是一款由字节跳动公司团队开发的AI视频生成模型和框架。该模型通过集成文本到图像模型、视频运动生成器、参考图像嵌入模块和帧插值模块，实现了从文本到高保真视频的转换。生成的视频不仅具有高分辨率，而且在视觉质量和运动流畅度方面表现出色，为用户提供卓越的观看体验。

AI项目与工具 2024年01月01日 56 点赞 0 评论 502 浏览

Goku

Goku是由香港大学与字节跳动联合开发的AI视频生成模型，支持文本到图像、文本到视频、图像到视频等多种生成方式。其核心优势在于高质量的视频输出、低制作成本及多模态生成能力。Goku+作为扩展版本，专注于广告视频创作，具备稳定的动作表现和丰富的表情交互。模型基于大规模数据集和先进架构，适用于广告、教育、娱乐等多个领域，提升了内容创作效率与质量。

AI项目与工具 2025年02月11日 29 点赞 0 评论 397 浏览