Transformer架构
VoiceCraft
VoiceCraft是一款开源的神经编解码器语言模型，专攻零样本语音编辑和文本到语音（TTS）任务。它采用Transformer架构，通过token重排过程结合因果掩蔽和延迟叠加技术，实现在现有音频序列内高效生成自然的语音。VoiceCraft在多种口音、风格和噪声条件下表现出色，适用于有声读物制作、视频内容创作、播客音频编辑及多语言内容生产等场景。
HunyuanVideo
HunyuanVideo是一款由腾讯开源的视频生成模型，具备130亿参数量，支持物理模拟、高文本语义还原、动作一致性和电影级画质等功能。它通过时空压缩的潜在空间训练，融合Causal 3D VAE与Transformer架构，实现图像和视频的统一生成，广泛应用于电影制作、音乐视频创作、游戏开发以及教育等领域。
LlamaCoder
LlamaCoder 是一个基于 Llama 3.1 405B 模型的开源 AI 工具，能够快速生成全栈应用程序。它集成了 Sandpack、Next.js、Tailwind 和 Helicone 等组件，支持代码沙盒、应用路由、样式设计和可观测性分析。LlamaCoder 可根据用户请求生成组件，适用于构建多种类型的应用程序，并支持数据分析和 PDF 分析。
ModernBERT
ModernBERT是一种基于Transformer架构的新型编码器-only模型，是对经典BERT模型的深度优化版本。它通过在大规模数据集上的训练，提升了对长上下文的理解能力，并在信息检索、文本分类、实体识别等多个自然语言处理任务中展现出卓越性能。此外，ModernBERT在速度和资源效率方面均有显著改进，适合应用于多个领域。
