AI项目与工具

Lyra

Lyra是一款由香港中文大学、SmartMore和香港科技大学联合研发的高效多模态大型语言模型(MLLM)。它通过整合视觉、语音和文本三种模态的信息,实现了强大的跨模态理解和推理能力。Lyra不仅擅长处理长语音数据,还支持流式文本-语音生成及跨模态信息交互,适用于智能助手、客户服务、教育培训、医疗健康等多个领域。

LongDocURL

LongDocURL是一个由中国科学院自动化研究所和阿里巴巴联合发布的多模态长文档理解基准数据集,包含2,325组问答对,覆盖33,000页文档,涉及20个子任务。该数据集专注于评估AI模型在长文档理解、数值推理、跨元素定位及多样化任务中的性能,支持文本、图像和表格等多种模式,具有高质量和多样性的特点。

Stable Video 3D (SV3D)

Stable Video 3D(SV3D)是一款由Stability AI公司开发的多视角合成和3D生成模型,能够从单张图片生成一致的多视角图像,并进一步优化生成高质量的3D网格模型。该模型在视频扩散模型基础上进行改进,提供更好的质量和多视角体验。主要功能包括多视角视频生成、3D网格创建、轨道视频生成、相机路径控制以及新视角合成。SV3D在新视角合成方面取得显著进展,能够生成逼真且一致的视图,提升

纸飞机AI

纸飞机AI是一款依托人工智能技术的虚拟陪伴应用,允许用户创建个性化AI智能体,提供情感支持、互动陪伴及社交体验。具备逼真的文本转语音功能,支持多角色选择和多样化的互动形式,包括朋友圈社交与角色对话创作。广泛应用于社交训练、情感支持、娱乐休闲及语言学习等领域。

Willow 量子芯片

Willow量子芯片是一款由谷歌研发的新型量子处理器,集成了105个量子比特,并在量子纠错、计算性能和硬件稳定性方面取得显著进步。它能够在极短时间内完成复杂运算,远超现有超级计算机的能力,同时支持大规模扩展与实际应用,适用于医药、能源、人工智能等多个行业。

InsCode AI IDE

InsCode AI IDE是一款融合了AI技术的跨平台集成开发环境,集成了代码生成、补全、智能问答、代码解释、注释、单元测试生成及错误修复等功能,支持多种编程语言和框架,适用于快速开发、代码维护、教育学习以及多语言项目的开发,显著提升开发效率和代码质量。

Roop

Roop是一款开源的AI视频换脸工具,支持用户通过一张图片替换视频中的面部,无需复杂的数据集或训练过程。它具有多种功能,包括一键换脸、多参数配置、面部对齐和性能加速。Roop利用生成对抗网络(GANs)生成逼真的面部图像,并能自动检测和对齐视频中的面部。其应用场景广泛,包括娱乐、社交媒体、电影制作、教育和艺术创作等领域。

ASAL

ASAL是一款基于基础模型设计的自动化人工生命探索工具,支持有监督目标搜索、开放式搜索和照明式搜索三大功能模块。它能够在多种人工生命基质中运行,提供定量分析能力,帮助研究者发现新颖且多样的生命现象。ASAL的技术核心包括视觉-语言基础模型、嵌入与相似性测量、优化算法及搜索策略,广泛应用于生物进化研究、智能机器人行为模拟、游戏AI开发等领域。 ---

VoiceDub

VoiceDub 是一款AI驱动的音频处理平台,支持人声替换、声音克隆、文本转语音及音频分离等功能,提供超过10,000种AI人声音色。用户可通过平台进行音乐创作、有声内容制作及个性化音频生成,适用于多种应用场景,如语言学习、娱乐互动等。

WorldSense

WorldSense是由小红书与上海交通大学联合开发的多模态基准测试工具,用于评估大型语言模型在现实场景中对视频、音频和文本的综合理解能力。该平台包含1662个同步视频、3172个问答对,覆盖8大领域及26类认知任务,强调音频与视频信息的紧密耦合。所有数据经专家标注并多重验证,确保准确性。适用于自动驾驶、智能教育、监控、客服及内容创作等多个领域,推动AI模型在多模态场景下的性能提升。