开源项目

SadTalker

SadTalker是一个由西安交通大学、腾讯AI实验室和蚂蚁集团合作开发的开源AI数字人项目。该工具利用单张人脸图像和语音音频,通过3D运动系数生成逼真的说话人脸动画。它通过ExpNet精确学习面部表情,PoseVAE合成不同风格的头部运动,并采用3D面部渲染技术,实现高质量、风格化的视频动画。SadTalker还具备多语言支持和多模态学习能力,适用于虚拟助手、视频制作、语言学习、社交媒体和教育等

NextChat

NextChat 是一个基于 Next.js 和 Vercel 的开源项目,允许用户将 ChatGPT 等 AI 大模型集成到自己的网页应用中。该工具支持多平台部署,具备一键式部署功能,并提供完整的 Markdown 支持。NextChat 可用于个人助理、客户服务、教育辅导、内容创作和技术支持等多个领域。

Omages

Omages是一个开源的3D模型生成项目,基于图像扩散技术将3D形状的几何和纹理信息编码到64×64像素的2D图像中。该工具不仅提高了3D对象生成的效率,还在低分辨率下保留丰富的细节。Omages支持3D对象生成、几何和纹理编码、多图谱表示以及自动材质生成等功能。它适用于3D打印与制造、虚拟现实、增强现实、游戏开发、电影和动画制作及室内设计等多种应用场景。

edge

edge-tts 是一个开源的AI文字转语音项目,支持超过40种语言和300多种声音。该项目利用微软Azure Cognitive Services技术,能够将文本信息转换为流畅自然的语音输出。edge-tts 提供了丰富的语言和声音选择,易于集成且具有高度可定制性。其主要功能包括多语言支持、多样声音选择、流畅自然语音、易于集成的API以及开源特性。edge-tts 广泛应用于辅助技术、客户服务、

Video

Video-LLaVA2是一款由北京大学ChatLaw课题组开发的开源多模态智能理解系统。该系统通过时空卷积(STC)连接器和音频分支,显著提升了视频和音频的理解能力。其主要功能包括视频理解、音频理解、多模态交互、视频问答和视频字幕生成。时空建模和双分支框架是其核心技术原理。Video-LLaVA2广泛应用于视频内容分析、视频字幕生成、视频问答系统、视频搜索和检索、视频监控分析及自动驾驶等领域。

LeRobot

LeRobot是一个由HuggingFace开发的开源AI聊天机器人项目,旨在简化机器人技术的学习过程。它提供了预训练模型、数据集和模拟环境,支持模仿学习和强化学习,适用于多种机器人硬件。该项目具有多用途、可扩展的特点,通过提供预训练模型、数据集共享、模拟环境和多功能库等功能,帮助用户加速机器人项目的开发进程。

ReHiFace

ReHiFace-S是一款由硅基智能团队开发的开源AI项目,专注于高保真、实时的人脸替换。该算法具备无需数据训练、高保真度换脸、支持多目标人脸替换、色彩矫正、一键快速部署、Gradio交互界面及支持ONNX格式等特点。ReHiFace-S适用于娱乐、影视制作、VR/AR等多个领域,具有实时处理能力、零样本推理、改进的人脸分割模型等功能。

PDF2Audio

PDF2Audio 是一款开源工具,支持将 PDF 文档转换为音频内容,适用于播客制作、教育、业务演示等多个场景。其核心功能包括 PDF 转文本、生成播客脚本、文本转语音转换、多语言支持及高级编辑功能。用户可通过自定义选项调整文本生成模型、语音风格等,支持批量处理和多种模板适配,方便用户根据需求生成高质量音频。

Westlake

Westlake-Omni是西湖心辰推出的一款开源中文情感端到端语音交互大模型,融合了语音识别、自然语言处理、情感理解和对话管理等功能,具备实时性和端到端交互特性。它通过深度学习技术和离散表示法,实现从语音输入到语音输出的全流程自动化,生成自然流畅的语音回应,并广泛应用于智能助手、客户服务、教育辅助、健康医疗等领域。

GarDiff

GarDiff是一款基于人工智能的虚拟试穿工具,采用CLIP和VAE编码提取服装外观先验,并结合服装聚焦适配器和高频细节增强算法,生成高保真试穿图像。它能够精准对齐服装与人体姿态,保留复杂图案与纹理,适用于电子商务、时尚设计、个性化推荐、社交媒体、虚拟时尚秀及游戏等多个领域,提供真实且沉浸式的在线试穿体验。