AI项目与工具

CLaMP 3

CLaMP 3是由清华大学朱文武教授团队开发的多模态、多语言音乐信息检索框架,支持文本、图像、音频和乐谱等多种模态之间的跨模态检索。其基于对比学习技术,将不同模态数据与多语言文本对齐至统一语义空间,适用于文本到音乐、图像到音乐检索、零样本分类及音乐推荐等任务。支持27种语言,可扩展至100种,广泛应用于音乐创作、教育、分析及多媒体内容制作。

MultiTalk

MultiTalk是由中山大学深圳校区、美团和香港科技大学联合推出的音频驱动多人对话视频生成框架。它根据多声道音频输入、参考图像和文本提示,生成包含人物互动且口型与音频一致的视频。通过Label Rotary Position Embedding (L-RoPE) 方法解决多声道音频与人物绑定问题,并采用部分参数训练和多任务训练策略,保留基础模型的指令跟随能力。MultiTalk适用于卡通、歌唱及

MuCodec

MuCodec是一款由清华大学等机构联合研发的超低比特率音乐编解码工具,具备音乐压缩、特征提取、离散化处理及流匹配重建等功能。该工具能够有效压缩音乐文件,在极低比特率下仍能保证高保真度,适用于多种应用场景如在线音乐流媒体服务、音乐下载、语言模型构建以及移动设备优化等。

TEN Agent

TEN Agent 是一款开源的实时多模态 AI 框架,集成了 OpenAI 实时 API 和 RTC 技术,支持语音、文本和图像的多模态交互。它具备天气查询、网络搜索、视觉识别及 RAG 等功能,支持高性能实时通信和模块化扩展,适用于智能客服、语音助手、教育辅助、智能家居控制和健康咨询等多个领域。

BILIVE

BILIVE 是一款面向 B 站直播的 AI 工具,支持自动录制、弹幕渲染、语音识别、片段切片、封面生成及自动投稿。兼容低配置设备,无需 GPU,适合个人及小型团队使用,提升直播内容制作效率。

RapiLearn AI

RapiLearn AI 是一款基于人工智能的教育工具,支持多种格式学习资料的整合与生成,包括视频、音频、笔记、测试和思维导图等。具备交互式学习功能,提供智能助教服务,可拓展知识点并推荐相关内容。支持多模态学习体验,适用于学生、教师及各类学习者,提升学习效率与知识掌握度。

Vanna

Vanna 是一款开源的 Python RAG 框架,能够基于大型语言模型生成精确的 SQL 查询。它支持多类型数据库与 LLMs,采用检索增强生成技术提高查询准确性,同时保障数据安全。Vanna 还具备自定义前端界面和用户反馈机制,广泛适用于数据分析师、BI 工具、客户支持系统及数据科学项目等领域。

Looooooong Kimi

Looooooong Kimi 是一款专注于超长文本处理的智能工具,支持高达200万汉字的文本分析,具备文档上传与解析、多文件处理、网址阅读、实时搜索、语言翻译以及多模态信息识别等功能。该工具广泛应用于学术研究、法律分析、市场调研、教育辅导和技术支持等多个领域,能够高效提取和整理信息,满足用户对复杂文本处理的需求。

CodeFuse

CodeFuse-muAgent是由蚂蚁集团CodeFuse团队开发的一款多智能体框架,通过知识图谱引擎驱动智能体的编排和协作,简化复杂工作流程的自动化。它支持多种智能体类型,包括问答、工具使用和代码执行,并具备通信、记忆管理和自定义模型支持等功能,促进智能体间的高效协作。应用场景广泛,涵盖自动化办公流程、客户服务自动化、智能监控和安全、个性化推荐系统以及教育和培训等多个领域。

DreaMoving

DreaMoving是一个基于扩散模型的人类视频生成框架,由阿里巴巴集团研究团队开发。该框架通过视频控制网络(Video ControlNet)和内容引导器(Content Guider)实现对人物动作和外观的精确控制,允许用户通过文本或图像提示生成个性化视频内容。其主要功能包括定制化视频生成、高度可控性、身份保持、多样化的输入方式以及易于使用的架构设计。DreaMoving广泛应用于影视制作、游