深度学习

Sonic

Sonic是由腾讯与浙江大学联合开发的音频驱动肖像动画框架,基于音频信号生成逼真面部表情和动作。它通过上下文增强音频学习和运动解耦控制器,提升唇部同步精度与运动多样性。Sonic在长视频生成中表现出色,具备高稳定性与自然连贯性,支持用户自定义参数。适用于虚拟现实、影视制作、在线教育、游戏开发和社交媒体等多个领域。

Voice

Voice-Pro是一款开源的多功能音频处理工具,集成了语音转文字、文本转语音、实时翻译、YouTube视频下载和人声分离等功能,支持超过100种语言,广泛应用于教育、娱乐和商业领域,显著提升音频处理效率和便捷性。

UnZipLoRA

UnZipLoRA是一种由伊利诺伊大学厄巴纳-香槟分校研发的图像处理技术,能够将图像内容与风格分离,并分别以两个LoRA模型表示。该技术通过提示分离、列分离和块分离策略,有效解决内容与风格纠缠的问题,支持高效训练和兼容性组合。可用于艺术创作、图像编辑、风格迁移及个性化图像生成等场景,提升图像处理的灵活性和可控性。

OpenBioMed

OpenBioMed是由清华大学智能产业研究院与水木分子联合开发的开源平台,专注于AI在生物医学中的应用。它支持多模态数据处理,涵盖分子、蛋白质、单细胞等多种类型,并提供20多个深度学习模型和计算工具,适用于药物研发、精准医疗、知识图谱构建等领域。平台具备统一的数据处理框架和预训练模型,支持快速迁移和智能体设计,助力科研人员提升研究效率。

Jodi

Jodi是由中国科学院计算技术研究所和中国科学院大学推出的扩散模型框架,基于联合建模图像域和多个标签域,实现视觉生成与理解的统一。它支持联合生成、可控生成和图像感知三种任务,利用线性扩散Transformer和角色切换机制,提升生成效率和跨领域一致性。Jodi使用Joint-1.6M数据集进行训练,包含20万张高质量图像和7个视觉域标签,适用于创意内容生成、多模态数据增强、图像编辑与修复等场景。

AVD2

AVD2是由多所高校联合开发的自动驾驶事故视频理解框架,通过生成高质量事故视频并结合自然语言描述与推理,提升对复杂事故场景的理解能力。其功能涵盖事故视频生成、原因分析、预防建议及数据集增强,支持自动驾驶系统的安全优化与研究。基于先进模型如Open-Sora 1.2和ADAPT,AVD2在多项评估中表现优异,为自动驾驶安全提供了重要技术支撑。

Avatar IV

Avatar IV 是 HeyGen 推出的 AI 数字人模型,支持用户通过上传照片和语音快速生成逼真视频。该工具基于音频驱动的表情引擎,能精准捕捉语音中的语调、节奏和情感,生成自然流畅的面部表情和动作。操作简单,无需专业技能,适用于多种角色形象,涵盖社交媒体、企业营销、在线教育等多个领域,是高效内容创作的理想选择。

Luvvoice

Luvvoice 是一款基于 AI 技术的在线文本到语音转换平台,提供超过 200 种高质量 AI 声音和 70 多种语言选项。用户可以通过上传 PDF 或 TXT 文件,将文本快速转换为自然语音,适用于教育、内容创作、营销及无障碍服务等多个场景。平台支持多种语言调节功能,生成的音频文件支持 MP3 格式下载。