图像到视频

VideoPoet

VideoPoet是一款基于大模型的AI视频生成工具,支持从文本、图像或视频输入中合成高质量的视频内容及匹配的音频。其核心优势在于多模态大模型设计,能够处理和转换不同类型的输入信号,无需特定数据集或扩散模型即可实现多种风格和动作的视频输出。主要功能包括文本到视频转换、图像到视频动画、视频风格化、视频编辑和扩展、视频到音频转换以及多模态学习等。技术原理涉及多模态输入处理、解码器架构、预训练与任务适应

AtomoVideo

AtomoVideo是一款高保真图像到视频生成框架,能够从静态图像生成高质量视频内容。它通过多粒度图像注入和高质量数据集及训练策略,保证生成视频与原始图像的高度一致性和良好的时间连贯性。此外,AtomoVideo还支持长视频生成、文本到视频生成以及个性化和可控生成等功能。

Follow

Follow-Your-Click是一款由腾讯、清华大学和香港科技大学合作开发的图像到视频生成模型。它允许用户通过简单的点击和动作提示将静态图像转化为包含局部动画效果的动态视频。主要功能包括直观的用户界面、局部动画生成、多对象处理、简短动作提示、高质量视频生成及运动速度控制。其工作原理涉及用户交互、图像分割、第一帧遮罩策略、运动增强模块和基于光流的运动幅度控制。

Mora

Mora是一个多智能体框架,专为视频生成任务设计,通过多个视觉智能体的协作实现高质量视频内容的生成。主要功能包括文本到视频生成、图像到视频生成、视频扩展与编辑、视频到视频编辑以及视频连接。尽管在处理大量物体运动场景时性能稍逊于Sora,Mora仍能在生成高分辨率视频方面表现出色。

I2VGen

一个强大的图像到视频的生成模型,它通过创新的方法解决了AI视频合成过程中的语义准确性、清晰度和时空连续性的挑战。用户可以轻松地将静态图像转换为高质量的动态视频,生成的视...