文本提示

谷歌DeepMind推出V2A技术,可为无声视频添加逼真音效

DeepMind推出的V2A(Video-to-Audio)模型能够将视频内容与文本提示相结合,生成包含对话、音效和音乐的详细音频轨道。它不仅能够与DeepMind自身的视频生成模型Veo协同工作,还能与其他视频生成模型,如Sora、可灵或Gen 3等,进行集成,从而为视频添加戏剧性的音乐、逼真的音效或与视频中角色和情绪相匹配的对话。V2A的强大之处在于其能够为每个视频输入生成无限数量的音轨。该模

Diffutoon

Diffutoon是一款基于扩散模型的AI框架,旨在将现实风格的视频转换为动漫风格。该框架支持高分辨率视频处理,能够实现风格化、一致性增强、结构引导和自动着色等功能。此外,Diffutoon具备内容编辑功能,用户可通过文本提示调整视频细节,确保视觉效果和内容的一致性。

CustomCrafter

CustomCrafter是一个由腾讯和浙江大学合作开发的自定义视频生成框架,能够根据文本提示和参考图像生成高质量的个性化视频。该框架支持自定义主体身份和运动模式,具备文本提示生成视频、保留运动生成能力和概念组合能力等功能。其核心技术包括视频扩散模型、空间主题学习模块和动态加权视频采样策略等,广泛应用于影视制作、虚拟现实、游戏开发、广告营销和社交媒体内容创作等领域。

Movie Gen

Movie Gen是Meta开发的一款AI视频生成与编辑工具,支持根据文本提示生成高清视频并提供同步音频配制。该工具具备强大的视频生成能力,可创建长达16秒的高清视频,并支持照片定制化视频生成和精准编辑功能。此外,它还拥有先进的音频生成技术,能够生成高质量的环境音效和背景音乐。当前,Movie Gen主要服务于Meta内部团队及部分合作伙伴,未来有望推广至更广泛的用户群体。 ---

OutofFocus

OutofFocus是一款基于AI的图像编辑工具,支持文本提示驱动的图像生成与编辑。其核心功能包括风格转换、内容填充、图像修复和增强等,通过自然语言处理与扩散逆过程重建技术实现高效编辑。该工具具有易用性和灵活性,广泛适用于艺术创作、内容营销、教育研究等多个领域。

Hallo2

Hallo2是一款由复旦大学、百度公司和南京大学合作开发的音频驱动视频生成模型。它能够将单张图片与音频结合,并通过文本提示调节表情,生成高分辨率4K视频。Hallo2采用了补丁下降、高斯噪声等数据增强技术,提升了视频的视觉一致性和时间连贯性,同时通过语义文本标签提高了生成内容的可控性与多样性。该模型适用于电影、游戏、虚拟助手等多个领域,展现出强大的内容生成能力。

Promptopia

Promptopia 是一款基于生成式 AI 技术的创作工具,专注于通过简单的文本提示生成游戏对象、环境和音乐等内容。它结合了多人游戏与实时 AI 资产生成功能,打破创作者与玩家之间的界限,支持用户自由构建沉浸式虚拟世界。此外,平台还提供 AI 微课程和提示库,助力用户提升创作能力。

MusicFX DJ

MusicFX DJ是一款由Google DeepMind开发的人工智能音乐生成工具,利用实时文本提示生成多样化音乐作品。它支持多提示词混合、风格精细调控、乐器编排以及高质量音频输出等功能,适用于个人创作、现场表演、音乐教育及社交媒体内容制作等多个场景,为音乐爱好者和专业人士提供便捷高效的创意工具。

Patchwork

Patchwork是一款基于AI技术的多人协作工具,专为虚拟世界构建设计。支持无限画布上的实时协作,用户可通过文本提示生成角色、地点及事件等元素,并可保存和分享成果。其功能包括生成图像、碎片操作、工具箱使用以及权限管理等,广泛应用于小说创作、游戏开发、电影制作和教育等领域。

DiTCtrl

DiTCtrl是一种基于多模态扩散变换器架构的视频生成工具,能够利用多个文本提示生成连贯且高质量的视频内容,无需额外训练即可实现零样本多提示视频生成。它通过KV共享和潜在混合策略优化不同提示间的平滑过渡,同时在MPVBench基准上表现出色,适用于电影、游戏、广告及新闻等多个领域。