模型

Zonos

Zonos是一款由Zyphra开发的高保真文本到语音(TTS)模型,支持零样本语音克隆和多语言生成,具备精细的情感与语音参数控制能力。其采用Transformer和SSM混合架构,基于大规模语音数据训练,适用于有声读物、虚拟助手、多媒体创作及无障碍技术等多个领域。模型开源且支持实时语音生成,具有广泛的应用潜力。

WorldSense

WorldSense是由小红书与上海交通大学联合开发的多模态基准测试工具,用于评估大型语言模型在现实场景中对视频、音频和文本的综合理解能力。该平台包含1662个同步视频、3172个问答对,覆盖8大领域及26类认知任务,强调音频与视频信息的紧密耦合。所有数据经专家标注并多重验证,确保准确性。适用于自动驾驶、智能教育、监控、客服及内容创作等多个领域,推动AI模型在多模态场景下的性能提升。

Video Diffusion Models

Video Diffusion Models项目展示了扩散模型在视频生成领域的潜力,通过创新的梯度条件方法和自回归扩展技术,生成了具有高度时间连贯性和质量的视频样本。

Liquid

Liquid是由华中科技大学、字节跳动和香港大学联合开发的多模态生成框架,通过VQGAN将图像编码为离散视觉token并与文本共享词汇空间,使大型语言模型无需修改结构即可处理视觉任务。该框架降低训练成本,提升视觉生成与理解性能,并在多模态任务中表现出色。支持图像生成、视觉问答、多模态融合等应用,适用于创意设计、内容创作及智能交互等领域。

FluxSR

FluxSR是一种基于单步扩散模型的图像超分辨率工具,由多所高校与研究机构联合开发。它通过流轨迹蒸馏技术,将多步模型压缩为单步模型,实现高效且高质量的图像增强。采用TV-LPIPS感知损失和注意力多样化损失,有效提升图像细节并减少伪影。适用于老照片修复、影视制作、医学影像增强等多个领域,具备高性能与低计算成本优势。

VALL

VALL-E一种用于文本到语音合成 (TTS) 的语言建模方法。具体来说,我们使用从现成的神经音频编解码器模型派生的离散代码来训练神经编解码器语言模型(称为 VALL-E),并将 TTS 视为...

PengChengStarling

鹏城实验室开源的一款多语言语音识别系统开发工具包,PengChengStarling可以在统一的框架内处理多种语言语音输入,支持实时语音识别,边说边识别。

Stable Video 3D (SV3D)

Stable Video 3D(SV3D)是一款由Stability AI公司开发的多视角合成和3D生成模型,能够从单张图片生成一致的多视角图像,并进一步优化生成高质量的3D网格模型。该模型在视频扩散模型基础上进行改进,提供更好的质量和多视角体验。主要功能包括多视角视频生成、3D网格创建、轨道视频生成、相机路径控制以及新视角合成。SV3D在新视角合成方面取得显著进展,能够生成逼真且一致的视图,提升

Qihoo

Qihoo-T2X是由360 AI研究院与中山大学联合研发的高效多模态生成模型,基于代理标记化扩散 Transformer(PT-DiT)架构。该模型通过稀疏代理标记注意力机制显著降低计算复杂度,支持文本到图像、视频及多视图生成。具备高效生成能力和多任务适应性,适用于创意设计、视频制作、教育、游戏开发及广告等多个领域。

QVQ

QVQ是一个基于Qwen2-VL-72B的开源多模态推理模型,擅长处理文本、图像等多模态数据,具备强大的视觉理解和复杂问题解决能力。它在数学和科学领域的视觉推理任务中表现出色,但在实际应用中仍需解决语言切换、递归推理及图像细节关注等问题。QVQ可广泛应用于教育、自动驾驶、医疗图像分析、安全监控及客户服务等领域。