模型
Sketch2Sound
Sketch2Sound是一种由Adobe研究院与西北大学联合开发的AI音频生成技术,通过提取响度、亮度和音高概率等控制信号,结合文本提示生成高质量音效。其轻量化设计使得模型易于适配多种文本到音频框架,同时赋予声音设计师更强的表达力与可控性,广泛适用于电影、游戏、音乐制作及教育等多个领域。
LatentSync
LatentSync是由字节跳动与北京交通大学联合研发的端到端唇形同步框架,基于音频条件的潜在扩散模型,无需中间3D或2D表示,可生成高分辨率、动态逼真的唇同步视频。其核心技术包括Temporal Representation Alignment (TREPA)方法,提升视频时间一致性,并结合SyncNet监督机制确保唇部动作准确。适用于影视制作、教育、广告、远程会议及游戏开发等多个领域。
AgentSociety
AgentSociety是由清华大学开发的基于大语言模型的社会模拟平台,通过构建具有“类人心智”的智能体,模拟复杂的社会行为与现象。平台支持城市环境建模、大规模社会模拟和科研工具集成,适用于社会舆论传播、政策评估、社会极化分析及灾害响应研究。其技术特点包括异步模拟架构、分布式计算和MQTT通信,具备高度可扩展性和实时交互能力。
AniPortrait
AniPortrait是一款由腾讯开源的AI视频生成框架,通过音频和一张参考肖像图片生成高质量的动画。该框架包含两个核心模块:Audio2Lmk模块将音频转换为2D面部标记点,而Lmk2Video模块则基于这些标记点生成连贯且逼真的视频动画。AniPortrait以其高质量的视觉效果、时间一致性和灵活的编辑能力著称,能够精确捕捉面部表情和嘴唇动作。
DeepSeek V3
DeepSeek V3是一款由幻方量化旗下的深度求索公司开源的AI模型,拥有6850亿参数,采用混合专家架构。它在多语言编程、长文本处理和对话交互方面表现出色,能够生成高质量代码、优化现有代码、协助调试、生成文本、分析文本、润色文本,并支持自然对话和多轮对话。此外,它在多个基准测试中表现出色,包括编程、数学、推理等领域。
