Transformer

Westlake

Westlake-Omni是西湖心辰推出的一款开源中文情感端到端语音交互大模型,融合了语音识别、自然语言处理、情感理解和对话管理等功能,具备实时性和端到端交互特性。它通过深度学习技术和离散表示法,实现从语音输入到语音输出的全流程自动化,生成自然流畅的语音回应,并广泛应用于智能助手、客户服务、教育辅助、健康医疗等领域。

Yi

Yi-Coder是一款由零一万物开发的开源AI编程助手,支持52种主流编程语言,能够处理长达128K tokens的上下文。它在多个代码生成基准测试中表现优异,尤其在LiveCodeBench平台上的表现尤为突出。Yi-Coder在代码编辑和补全方面也有卓越的表现,适用于各种开发项目,帮助开发者提高工作效率。 ---

Janus

Janus是一种由DeepSeek AI开发的自回归框架,专注于多模态理解和生成任务的统一化。它通过分离视觉编码路径并使用单一Transformer架构来提升灵活性和性能,支持多种输入模态如图像、文本等,并在某些任务中表现出色。Janus具备多模态理解、图像生成及跨模态交互能力,适用于图像创作、自动标注、视觉问答等多个领域。

ConsisID

ConsisID是一款由北京大学和鹏城实验室开发的文本到视频生成工具,其核心技术在于通过频率分解保持视频中人物身份的一致性。该模型具备高质量视频生成能力、无需微调的特点以及强大的可编辑性,同时拥有优秀的泛化性能。其主要功能包括身份保持、高质量视频生成、文本驱动编辑以及跨领域人物处理,广泛应用于个性化娱乐、虚拟主播、影视制作、游戏开发及教育模拟等领域。

HunyuanVideo

HunyuanVideo是一款由腾讯开源的视频生成模型,具备130亿参数量,支持物理模拟、高文本语义还原、动作一致性和电影级画质等功能。它通过时空压缩的潜在空间训练,融合Causal 3D VAE与Transformer架构,实现图像和视频的统一生成,广泛应用于电影制作、音乐视频创作、游戏开发以及教育等领域。

VoiceCraft

VoiceCraft是一款开源的神经编解码器语言模型,专攻零样本语音编辑和文本到语音(TTS)任务。它采用Transformer架构,通过token重排过程结合因果掩蔽和延迟叠加技术,实现在现有音频序列内高效生成自然的语音。VoiceCraft在多种口音、风格和噪声条件下表现出色,适用于有声读物制作、视频内容创作、播客音频编辑及多语言内容生产等场景。

PsycoLLM

PsycoLLM是由合肥工业大学研发的中文心理大模型,基于高质量心理数据集训练,具备精准理解心理问题、多轮对话交互、情绪识别与支持、心理健康评估等功能。其技术融合了多步数据优化、监督微调和Transformer架构,适用于个人心理支持、心理咨询、教育及社区服务等场景,为心理健康领域提供专业、高效的技术解决方案。

Instella

Instella是AMD推出的30亿参数开源语言模型,基于自回归Transformer架构,支持4096标记序列,具备强大的自然语言理解、指令跟随和多轮对话能力。通过多阶段训练和高效优化技术,Instella在多个任务中表现优异,适用于智能客服、内容创作、教育辅导、编程辅助和企业知识管理等多个场景。AMD全面开放了模型资源,促进AI技术发展与社区合作。

FluxMusic

FluxMusic 是一个开源的音乐生成工具,能够将文本描述转化为音乐。它采用先进的扩散模型和Transformer架构,通过修正流技术提高音乐的自然度和质量。该工具支持多种规模的模型,具备文本到音乐生成、语义理解、多模态融合等功能,适用于音乐创作、影视配乐、游戏音乐生成等多种场景。

Oasis

Oasis是一款依托于AI技术的实时生成游戏,无需依赖传统游戏引擎即可实现每秒20帧的高质量交互式视频内容输出。它支持玩家自由探索开放世界,并通过动态调整机制提供个性化体验。凭借开源特性及硬件优化能力,Oasis展示了AI在内容创作领域的巨大潜力,适用于游戏、教育、虚拟旅游等多个领域。