开源项目

Westlake

Westlake-Omni是西湖心辰推出的一款开源中文情感端到端语音交互大模型,融合了语音识别、自然语言处理、情感理解和对话管理等功能,具备实时性和端到端交互特性。它通过深度学习技术和离散表示法,实现从语音输入到语音输出的全流程自动化,生成自然流畅的语音回应,并广泛应用于智能助手、客户服务、教育辅助、健康医疗等领域。

Ev

Ev-DeblurVSR是一款由多所高校联合开发的视频增强模型,利用事件相机数据提升视频去模糊和超分辨率效果。通过互惠特征去模糊模块和混合可变形对齐模块,实现高精度视频恢复。适用于监控、体育、自动驾驶等多个领域,支持快速部署与研究。

LivePortrait

利用AI技术将静态照片转换为视频,展现逼真的面部表情和动作。

F

F-Lite是一款由Freepik与FAL开源项目联合开发的10B参数文本到图像生成模型,基于版权安全数据集训练,支持商业应用。它采用T5-XXL文本编码器,结合扩散模型架构,实现高精度图像生成。支持多分辨率输出,包含256、512和1024像素,并推出专为纹理优化的F-Lite Texture版本。模型通过强化学习和多项优化技术提升生成质量与效率,适用于创意设计、内容创作、游戏开发等多个领域。

Pipecat

Pipecat是一款开源Python框架,用于构建语音和多模态对话系统。它整合了语音识别、文本转语音及对话处理功能,支持与主流AI平台集成,采用模块化管道架构,提升开发效率。基于帧的实时处理机制确保流畅交互,适用于语音助手、企业服务、教育、医疗及多模态应用等多种场景。

PinTree

一个可以帮助用户将浏览器书签快速转换为美观的导航网站的开源项目。

Podcastfy

Podcastfy 是一款基于生成式人工智能技术开发的开源工具,可将网络文章、PDF 文件及纯文本转化为多语言对话式音频。它不仅支持多源文本合并,还具备强大的文本转语音功能,允许用户选择不同的语音模型来优化音频效果。此外,其开源特性便于开发者根据需求进行个性化定制,广泛适用于内容摘要、语言本地化、教育材料转化等多个领域。

LeRobot

LeRobot是一个由HuggingFace开发的开源AI聊天机器人项目,旨在简化机器人技术的学习过程。它提供了预训练模型、数据集和模拟环境,支持模仿学习和强化学习,适用于多种机器人硬件。该项目具有多用途、可扩展的特点,通过提供预训练模型、数据集共享、模拟环境和多功能库等功能,帮助用户加速机器人项目的开发进程。

GenAI_Agents

一个专注于生成式AI Agents技术的开源项目,GenAI_Agents提供从基础到高级的教程与实现代码,帮助开发者学习并构建智能、交互式的AI系统。

Orpheus TTS

Orpheus TTS 是一款基于 Llama-3b 架构的开源文本到语音系统,支持自然、富有情感的语音生成。具备零样本语音克隆能力,无需预训练即可模仿特定语音,延迟低至 200 毫秒,适合实时应用。支持多种语音风格和情感控制,适用于有声读物、虚拟助手、游戏、教育等多个领域。