模型

Aria

Aria是首个开源多模态原生混合专家(MoE)模型,支持文本、代码、图像和视频的综合处理,具有强大的多模态任务处理能力和长上下文窗口,可高效应对复杂长数据。模型开源且可扩展,适用于多模态AI领域的研究与应用。

Gemma 3 QAT

Gemma 3 QAT 是谷歌推出的开源 AI 模型,采用量化感知训练技术,在降低显存需求的同时保持高性能。它支持多模态任务,具备 128,000-token 长上下文处理能力,并可在消费级 GPU 和边缘设备上运行。适用于视觉问答、文档分析、长文本生成等场景,同时兼容多种推理框架,便于部署。

OmniParser

OmniParser是一款由微软研究院开发的屏幕解析工具,能够将UI截图转换为结构化数据,通过识别可交互图标和提取功能语义,提升基于大型语言模型的UI代理系统的性能。它支持跨平台应用,无需依赖额外信息,适用于自动化软件测试、虚拟助手、辅助技术等多个领域。

WorldSense

WorldSense是由小红书与上海交通大学联合开发的多模态基准测试工具,用于评估大型语言模型在现实场景中对视频、音频和文本的综合理解能力。该平台包含1662个同步视频、3172个问答对,覆盖8大领域及26类认知任务,强调音频与视频信息的紧密耦合。所有数据经专家标注并多重验证,确保准确性。适用于自动驾驶、智能教育、监控、客服及内容创作等多个领域,推动AI模型在多模态场景下的性能提升。

LibreChat

一个开源多模态AI对话平台,它支持与多种AI模型服务的集成,包括OpenAI、Azure、Anthropic和Google等。

Inf

Inf-DiT是由清华大学与智谱AI联合开发的图像上采样技术,基于扩散模型并引入单向块注意力机制(UniBA),有效降低内存消耗,支持超高分辨率图像生成。其采用扩散变换器(DiT)架构,具备灵活的图像上采样能力,并通过全局图像嵌入和交叉注意力机制增强图像的一致性与质量。该技术适用于设计、影视、印刷及医学等领域,具有广泛的应用前景。

Fin

Fin-R1是由上海财经大学与财跃星辰联合开发的金融领域推理大模型,基于Qwen2.5-7B-Instruct架构,通过两阶段训练提升金融推理能力。其支持金融数据推理、代码生成、风险控制、ESG分析等多种功能,具备多语言支持与轻量化设计,适用于智能风控、投资辅助、量化交易等场景。模型在权威评测中表现优异,具有较高的实用价值。

Awesome MCP ZH

一个专为中文用户打造的 MCP资源合集! 包括有 MCP 的基础介绍、玩法、客户端、服务器和社区资源,帮你快速上手这个 AI 界的“万能插头”。

AIGCPanel

AIGCPanel是一款开源的AI数字人系统,支持视频合成、声音合成与声音克隆等功能。它利用自然语言处理、计算机视觉技术和深度学习算法,实现高质量的音视频同步和自然语音生成。系统具有多语言支持、模型管理和日志查看功能,可应用于影视制作、虚拟主播、教育培训等多个领域。

AnimateDiff

AnimateDiff是一款由上海人工智能实验室、香港中文大学和斯坦福大学的研究人员共同开发的框架,旨在将文本到图像模型扩展为动画生成器。该框架利用大规模视频数据集中的运动先验知识,允许用户通过文本描述生成动画序列,无需进行特定的模型调优。AnimateDiff支持多种领域的个性化模型,包括动漫、2D卡通、3D动画和现实摄影等,并且易于与现有模型集成,降低使用门槛。