多模态

AutoGLM

AutoGLM-Web是一款基于大型语言模型开发的AI浏览器助手,具备网页浏览、信息检索、内容总结及邮件自动回复等功能。它通过自进化在线课程强化学习框架不断优化性能,支持多场景应用,适用于办公自动化、学术研究、电商运营及客户服务等领域。

Open Avatar Chat

Open Avatar Chat是阿里开源的模块化实时数字人对话系统,支持低延迟交互与多模态输入输出。系统采用模块化架构,允许灵活配置语音识别、语言模型和语音合成等组件,兼容本地与云服务。支持2D/3D数字人渲染,适用于客户服务、教育、娱乐及企业应用等多个场景,为开发者提供高效、灵活的AI对话解决方案。

TheoremExplainAgent

TheoremExplainAgent(TEA)是一款基于多模态技术的AI工具,可生成超过5分钟的数学与科学定理解释视频,涵盖多个STEM领域。它结合文本、动画和语音,提升抽象概念的理解效果,并具备自动错误诊断功能。通过TheoremExplainBench基准评估,TEA在准确性、逻辑性和视觉表现上均表现优异,适用于在线教育、课堂教学和学术研究等多种场景。

FluxMusic

FluxMusic 是一个开源的音乐生成工具,能够将文本描述转化为音乐。它采用先进的扩散模型和Transformer架构,通过修正流技术提高音乐的自然度和质量。该工具支持多种规模的模型,具备文本到音乐生成、语义理解、多模态融合等功能,适用于音乐创作、影视配乐、游戏音乐生成等多种场景。

MovieDreamer

MovieDreamer是一个由浙江大学与阿里巴巴联合开发的AI视频生成框架,专为长视频设计。该框架结合自回归模型和扩散渲染技术,生成复杂的长视频内容。它支持多层次叙事一致性、高质量视觉渲染和多模态脚本,适用于电影预告片、VR叙事、教育视频和游戏内剧情等多种场景。

Oumi

Oumi 是一个开源 AI 平台,支持从数据准备到模型部署的全流程开发。它提供零样板代码体验,支持多种训练方法和多模态模型,适用于自动驾驶、人机交互、学术研究等多个场景。平台具备高效的分布式训练能力和灵活的部署选项,适合企业和研究机构使用。

SignGemma

SignGemma是由谷歌DeepMind团队开发的全球最强大的手语翻译AI模型,专注于将美国手语(ASL)实时翻译成英语文本。通过多模态训练方法,结合视觉和文本数据,实现高准确率和低延迟的翻译,响应时间低于0.5秒。支持端侧部署,保护用户隐私,适用于教育、医疗和公共服务等场景。

OlympicArena

OlympicArena是由多所高校与研究机构联合开发的多学科认知推理基准测试框架,包含11,163道国际奥赛双语题目,覆盖数学、物理、化学、生物、地理、天文学和计算机科学等7大领域。该平台通过答案级与过程级评估,全面衡量AI模型的逻辑与视觉推理能力,支持多模态输入并具备数据泄漏检测机制,适用于AI模型评估、训练优化、教育辅助及科研应用。

Deepfake Defenders

Deepfake Defenders 是一个由中国科学院自动化研究所的 VisionRush 团队开发的开源 AI 模型,主要用于检测和防御 Deepfake 技术生成的伪造图像和视频。它通过分析媒体内容中的细微像素变化来识别伪造内容,并提供像素级分析、实时检测等功能。该模型采用卷积神经网络(CNN)、生成对抗网络(GAN)等技术,支持多模态分析,具备开源协作特性,广泛应用于社交媒体监控、新闻验证

星河易创AI

全功能一站式AI创作平台,集成了行业领先的ChatGPT4.0和ChatGPT3.5对话系统,Midjourney的绘画能力,DALL-E的文本到图像创造力,以及GPT4-ALL的多模态能力。