教育应用
Takin AudioLLM
Takin AudioLLM是一套由喜马拉雅Everest团队研发的语音生成模型,包含文本转语音(Takin TTS)、音色转换(Takin VC)及声音风格变换(Takin Morphing)。它采用最新大型语言模型技术,可生成接近真人的高质量语音,并支持个性化定制与零样本学习。该工具广泛应用于有声书制作、虚拟助手、电影配音等领域,具有音色精准、风格多样等特点。
WonderPlay
WonderPlay 是斯坦福大学与犹他大学联合开发的新型框架,能够从单张图片和用户定义的动作生成动态3D场景。它结合物理模拟与视频生成技术,支持多种物理材质和动作类型,实现逼真的动态效果。用户可通过简单操作与场景互动,生成丰富的物理响应。该工具具备交互式查看器,适用于AR/VR、影视特效、教育、游戏开发等多个领域。
DiffSensei
DiffSensei是一款由北京大学、上海AI实验室及南洋理工大学联合开发的漫画生成框架,它结合了基于扩散的图像生成技术和多模态大型语言模型(MLLM)。该工具能够根据用户提供的文本提示和角色图像,生成具有高精度和视觉吸引力的黑白漫画面板,支持多角色场景下的互动与布局调整。其核心技术包括掩码交叉注意力机制、对话布局编码以及MLLM作为特征适配器等,广泛应用于漫画创作、个性化内容生成、教育和培训等领
FancyVideo
FancyVideo是一款由360公司与中山大学合作开发的AI文生视频模型,采用创新的跨帧文本引导模块(CTGM)。它能够根据文本描述生成连贯且动态丰富的视频内容,支持高分辨率视频输出,并保持时间上的连贯性。作为开源项目,FancyVideo提供了详尽的文档和代码库,便于研究者和开发者深入研究和应用。主要功能包括文本到视频生成、跨帧文本引导、时间信息注入及时间亲和度细化等。
