模型

VQAScore

VQAScore是一种基于视觉问答(VQA)模型的评估工具,用于衡量文本提示生成图像的质量。它通过计算回答“是”概率的方式评估图像与文本提示的对齐程度,无需额外标注,提供更精确的结果。VQAScore支持多种生成任务,包括图像、视频及3D模型,并能作为多模态学习的研究工具,在自动化测试和质量控制中发挥重要作用。

Moshi

Moshi是一款由法国Kyutai实验室开发的端到端实时音频多模态AI模型,具备听、说、看的能力,并能模拟70种不同的情绪和风格进行交流。Moshi具有多模态交互、情绪和风格表达、实时响应低延迟、语音理解与生成、文本和音频混合预训练以及本地设备运行等特点。它支持英语和法语,主要应用于虚拟助手、客户服务、语言学习、内容创作、辅助残障人士、研究和开发、娱乐和游戏等领域。

LLM2LLM

LLM2LLM是一种基于教师-学生架构的迭代数据增强方法,通过生成针对性的合成数据提升语言模型在低数据量场景下的性能。该技术通过识别并强化模型预测错误的数据点,实现精准优化,同时控制数据质量和规模。适用于医学、法律、教育等数据稀缺领域,具有良好的可扩展性和实用性。

HumanOmni

HumanOmni 是一款面向人类中心场景的多模态大模型,融合视觉与听觉信息,具备情感识别、面部描述、语音理解等功能。基于大量视频与指令数据训练,采用动态权重调整机制,支持多模态交互与场景理解。适用于影视分析、教育、广告及内容创作等领域,具备良好的可扩展性和灵活性。

CAMPHOR

CAMPHOR是一款由苹果团队研发的端侧小型语言模型多智能体框架,通过在设备本地处理用户输入并进行个人上下文推理,实现了高效的隐私保护与快速响应。其分层架构包含高阶推理智能体和多个专家智能体,能够分解复杂任务、与设备工具交互并生成动态执行计划。此外,通过参数共享和提示压缩技术,大幅降低了模型资源需求。

Google AI Edge Gallery

Google AI Edge Gallery 是谷歌推出的实验性应用,支持在 Android 设备上本地运行机器学习和生成式人工智能模型,无需联网。用户可切换不同模型,进行图像问答、文本生成、多轮对话等操作,并实时查看性能指标。应用支持自带模型测试,提供丰富的开发者资源,助力探索设备端 AI 的强大功能。

DiffuEraser

DiffuEraser是一款基于稳定扩散模型的视频修复工具,具备未知像素生成、已知像素传播、时间一致性维护等功能。通过集成运动模块和优化网络架构,它能有效提升视频修复质量,减少噪声和幻觉。适用于影视后期制作、老电影修复、监控视频增强等多个领域,支持高精度和高连贯性的视频内容修复与增强。

MindSearch

MindSearch是一款开源的AI搜索框架,由上海人工智能实验室联合研发团队推出。它结合了大规模信息搜集和整理能力,利用InternLM2.5 7B对话模型,可在短时间内从众多网页中搜集有效信息。该框架采用多智能体框架模拟人类思维模式,先规划后搜索,从而提高信息的准确性和完整性。主要功能包括复杂查询处理、动态图构建、并行信息检索、分层检索策略、上下文管理和响应生成等。其应用场景广泛,包括学术研究

SoraWebui

一个开源项目,允许用户使用 OpenAI Sora 模型使用文本在线生成视频,从而简化视频创建,并具有轻松的一键网站部署功能。

FUZZ

由Riffusion推出的一款基于扩散模型(Diffusion Model)的全新音乐生成模型,该工具能够通过“想象”生成音频的声谱图(Spectrogram),然后将其转换为音频。