开源

Video

Video-LLaVA2是一款由北京大学ChatLaw课题组开发的开源多模态智能理解系统。该系统通过时空卷积(STC)连接器和音频分支,显著提升了视频和音频的理解能力。其主要功能包括视频理解、音频理解、多模态交互、视频问答和视频字幕生成。时空建模和双分支框架是其核心技术原理。Video-LLaVA2广泛应用于视频内容分析、视频字幕生成、视频问答系统、视频搜索和检索、视频监控分析及自动驾驶等领域。

Wav2Lip

Wav2Lip是一款开源的唇形同步工具,能够将音频文件转换为与口型同步的视频。它支持多种语言,适用于视频编辑、游戏开发和虚拟现实等多个领域。Wav2Lip具备音频驱动口型生成、面部表情同步和多语言支持等功能,采用先进的技术原理,如数据预处理、音频特征提取、口型编码器、音频到口型映射及生成对抗网络(GAN)。该工具提升了电影和视频的后期制作质量,增强了虚拟现实中的交互体验,还用于游戏开发、语言学习和

Qwen2

Qwen2是由阿里云通义千问团队开发的大型语言模型系列,涵盖从0.5B到72B的不同规模版本。该系列模型在自然语言理解、代码编写、数学解题及多语言处理方面表现出色,尤其在Qwen2-72B模型上,其性能已超过Meta的Llama-3-70B。Qwen2支持最长128K tokens的上下文长度,并已在Hugging Face和ModelScope平台上开源。 ---

Klavis AI

Klavis AI 是一个基于 MCP 协议的开源平台,提供稳定可靠的 MCP 服务器和多客户端集成能力。支持多种工具定制化配置,内置身份验证功能,保障安全性。平台采用分布式架构,适用于大规模用户场景,并通过 API 实现灵活部署与管理,适用于 AI 开发、数据处理、内容创作及企业协作等多种应用场景。

Open

Open-Sora是一个开源视频生成模型,基于DiT架构,通过三个阶段的训练(大规模图像预训练、大规模视频预训练和高质量视频数据微调),生成与文本描述相符的视频内容。该模型包括预训练的VAE、文本编码器和STDiT(Spatial-Temporal Diffusion Transformer)核心组件,利用空间-时间注意力机制和交叉注意力模块实现视频生成。项目旨在提供全面的视频生成模型训练过程,供

MMedAgent

MMedAgent是一款面向医疗领域的多模态AI平台,集成了指令优化的多模态大型语言模型(MLLM)及一系列定制化医疗工具,支持多种医学成像模式(如MRI、CT、X射线等),可高效处理视觉问答、分类、定位、分割、医学报告生成(MRG)及检索增强生成(RAG)等任务,显著提升了医疗数据处理效率与准确性。

Maya

Maya是一款开源多语言多模态模型,基于LLaVA框架开发,支持中文、法语、西班牙语等多种语言,专注于提升低资源语言的AI内容生成能力。它结合图像和文本数据,实现跨模态对齐和指令微调,广泛应用于跨语言内容理解、图像分析、教育和电子商务等领域。

Botgroup.chat

Botgroup.chat 是一款支持多人 AI 交互的聊天平台,用户可自定义 AI 角色并进行群聊互动。平台兼容多种 AI 模型,支持实时对话、Markdown 排版及数学公式显示,具备上下文记忆和角色管理功能。项目基于 React 和 Cloudflare Pages 构建,部署便捷,代码开源,适用于语言学习、创意讨论等多种场景。

Anime gf

一个本地且开源的CharacterAI替代工具,提供了一个用户友好的界面,允许用户在桌面上与虚拟角色互动。你可以自定义创建各种角色,让每个虚拟角色都有自己的独特个性和语言风格。