扩散模型

Ingredients

Ingredients是一款基于多身份图像与视频扩散Transformer的视频生成框架,支持多身份特征的高效整合与动态分配。其核心模块包括面部提取器、多尺度投影器和ID路由器,能够保持身份一致性并生成高质量视频内容。无需额外训练即可实现个性化视频制作,适用于娱乐、广告、教育等多个领域。

SynthLight

SynthLight是由耶鲁大学与Adobe Research联合开发的基于扩散模型的人像重照明工具,通过物理渲染引擎生成合成数据并结合多任务训练策略,实现高质量的光照效果生成。它能够根据环境光照图重新渲染人像,生成自然的高光、阴影和漫反射效果,并适用于摄影后期、虚拟场景、游戏开发及广告设计等多个领域,具备良好的泛化能力和实用性。

Pix2Gif

Pix2Gif是一个由微软研究院开发的基于运动引导的扩散模型,能够将静态图像转换成动态的GIF动画或视频。该模型通过运动引导的扩散过程实现图像到GIF的生成,并利用文本描述和运动幅度作为输入。Pix2Gif还引入了感知损失机制,确保生成的GIF帧在视觉上与原始图像保持一致性和连贯性。

TANGLED

TANGLED是一种3D发型生成技术,可从多种风格和视角的图像中生成高质量发丝。其核心技术包括多视图线稿扩散框架与参数化后处理模块,支持复杂发型的细节修复。该工具具备文化包容性,适用于动画、AR及虚拟试妆等场景,提升发型设计效率与真实性。

HunyuanPortrait

HunyuanPortrait是由腾讯Hunyuan团队联合多所高校推出的基于扩散模型的肖像动画生成工具。它能够根据一张肖像图片和视频片段,生成高度可控且逼真的动画,保持身份一致性并捕捉细微表情变化。该工具在时间一致性和泛化能力方面表现优异,适用于虚拟现实、游戏、人机交互等多个领域。

Flex.2

Flex.2-preview是Ostris开发的开源文本到图像生成模型,具备80亿参数规模。支持长文本输入、图像修复和多模态控制输入,适用于创意设计、图像修复和内容生成等多种场景。模型基于扩散框架,采用多通道输入处理和高效推理算法,可通过ComfyUI或Diffusers库集成使用,适合实验性开发和个性化定制。

ACTalker

ACTalker 是一种基于视频扩散模型的端到端工具,可生成高质量、自然的说话人头部视频。支持多信号控制(如音频、表情),采用并行 Mamba 结构和门控机制,实现跨时间和空间的精准面部动作控制。实验表明其在音频同步性和视频质量上表现优异,适用于虚拟主播、远程会议、在线教育等多种场景。

F

F-Lite是一款由Freepik与FAL开源项目联合开发的10B参数文本到图像生成模型,基于版权安全数据集训练,支持商业应用。它采用T5-XXL文本编码器,结合扩散模型架构,实现高精度图像生成。支持多分辨率输出,包含256、512和1024像素,并推出专为纹理优化的F-Lite Texture版本。模型通过强化学习和多项优化技术提升生成质量与效率,适用于创意设计、内容创作、游戏开发等多个领域。

Index

Index-AniSora是由哔哩哔哩开发的动漫视频生成模型,支持多种动画风格的生成,涵盖番剧、国创、VTuber等内容。其核心技术包括扩散模型、时空掩码模块和Transformer架构,具备图像到视频生成、帧插值、局部引导等能力。模型提供高质量数据集,适用于动画制作、创意验证、教育及营销等多个领域。

OmniCam

OmniCam 是一种基于多模态输入的高级视频生成框架,结合大型语言模型与视频扩散模型,实现高质量、时空一致的视频内容生成。支持文本、视频或图像作为输入,精确控制摄像机运动轨迹,具备帧级操作、复合运动、速度调节等功能。采用三阶段训练策略提升生成效果,并引入 OmniTr 数据集增强模型性能。适用于影视、广告、教育及安防等多个领域,提高视频创作效率与质量。