AI项目与工具

Amodal3R

Amodal3R 是一种基于条件的 3D 生成模型,能够从部分遮挡的 2D 图像中重建完整的 3D 模型。通过引入掩码加权多头交叉注意力机制和遮挡感知注意力层,提升了遮挡场景下的重建精度。该模型仅使用合成数据训练,却能在真实场景中表现出色,具有较强的泛化能力。广泛应用于 AR/VR、机器人视觉、自动驾驶及 3D 资产创建等领域。

NVLM

NVLM是NVIDIA研发的多模态大型语言模型,涵盖图像理解、语言理解、跨模态融合、图像描述生成、视觉推理及多模态翻译等功能。它具备多种架构(NVLM-D、NVLM-X、NVLM-H),并采用动态高分辨率输入、1-D平铺标签设计及多模态预训练与微调技术,广泛应用于图像描述、视觉问答、文档理解、多模态搜索及辅助驾驶等领域。

edge

edge-tts 是一个开源的AI文字转语音项目,支持超过40种语言和300多种声音。该项目利用微软Azure Cognitive Services技术,能够将文本信息转换为流畅自然的语音输出。edge-tts 提供了丰富的语言和声音选择,易于集成且具有高度可定制性。其主要功能包括多语言支持、多样声音选择、流畅自然语音、易于集成的API以及开源特性。edge-tts 广泛应用于辅助技术、客户服务、

MiniMax Audio

MiniMax Audio是一款基于人工智能的语音合成工具,支持多语言、多情感及声音克隆功能,可将文本快速转换为自然流畅的语音。它具备降噪、超长文本合成、实时语音生成等特性,适用于视频配音、播客制作、游戏配音等多种应用场景。

九歌

九歌是清华大学研发的AI诗歌生成系统,基于深度学习技术,可生成符合古诗格律的多种体裁作品。支持关键词、文本及图片输入,操作便捷,无需登录即可使用。适用于诗词创作辅助、文化教育、艺术融合及个人娱乐等多个场景,助力中华传统文化的传承与创新。

Seer

Seer是一款由多家科研机构联合开发的端到端机器人操作模型,基于Transformer架构实现视觉预测与动作执行的高度协同。它能够融合多模态信息,具备强大的泛化能力和数据效率,在真实机器人任务中表现优异。Seer适用于工业自动化、服务机器人、医疗健康等多个领域,支持精准动作预测和未来状态预判,显著提升了机器人系统的智能化水平。

QBot

QBot是由腾讯QQ浏览器推出的AI驱动型工具,整合了搜索、浏览、办公、学习和写作等多项功能。支持文字、语音和图片搜索,可精准获取信息并进行内容总结、思维导图生成及多语言翻译。同时具备文件处理、文档编辑等办公功能,并集成多个AI代理,提升用户体验与效率。适用于个人投资者、办公、学习及日常信息处理等多种场景。

Replay

Replay是一款基于AI技术的音频处理工具,可精准分离音乐中的主唱、人声和伴奏等音轨。支持多种音频格式,具备高质量输出、实时预览、参数调整和自动化处理等功能,适用于音乐制作、KTV伴奏、教学及内容创作等领域。操作简便,兼容多平台,为音乐创作和分析提供高效解决方案。

WhisperChain

WhisperChain 是一款开源语音识别工具,支持实时语音转文本并提供文本优化功能,可去除填充词、优化语法。用户可通过全局热键快速启动语音输入,处理结果自动复制到剪贴板。支持 Streamlit 界面与 FastAPI 架构,适用于会议记录、写作辅助等场景。

CoGenAV

CoGenAV是一种先进的多模态学习模型,专注于音频和视觉信号的对齐与融合。通过对比特征对齐和生成文本预测的双重目标进行训练,利用同步音频、视频和文本数据,学习捕捉时间对应关系和语义信息。CoGenAV具备音频视觉语音识别、视觉语音识别、噪声环境下的语音处理、语音重建与增强、主动说话人检测等功能,适用于智能助手、视频内容分析、工业应用和医疗健康等多个场景。