文本对齐

SigLIP 2

SigLIP 2 是 Google DeepMind 开发的多语言视觉-语言模型,具有强大的图像与文本对齐能力。它支持多种语言输入,具备零样本分类、图像-文本检索等功能,并通过 Sigmoid 损失函数和自监督学习技术提升训练效率与模型性能。其支持多种分辨率的变体,适用于文档理解、视觉问答及开放词汇任务。该模型基于 Vision Transformer 架构,具备良好的兼容性。

StoryWeaver

StoryWeaver是一款基于AI的故事可视化工具,利用知识图谱Character Graph和创新技术如CCG及KE-SG,实现高质量的角色定制和故事图像生成。它支持单角色与多角色场景,确保图像与文本语义的一致性,并适用于教育、漫画创作、游戏设计等多个领域。

琴乐大模型

琴乐大模型是一款由腾讯AI Lab与腾讯TME天琴实验室联合开发的人工智能音乐创作工具。该工具能够根据用户输入的关键词、描述性语句或音频,生成高质量的立体声音频或多轨乐谱,并支持自动编辑功能。琴乐大模型采用先进的技术框架,包括音频文本对齐、乐谱/音频表征提取、大语言模型预测以及流匹配和声码器技术,确保生成的音乐符合音乐理论和人类审美标准。

PixVerse V2

PixVerse V2是一款基于Diffusion+Transformer(DiT)架构并结合自研时空注意力机制的AI视频生成工具。它支持生成长度可达40秒的视频,单个片段最长可达8秒,且能保持视频片段间的一致性。用户可通过简单操作生成并编辑视频,适用于创意专业人士、社交媒体用户、企业营销人员及独立艺术家等多种人群。

SpeechGPT 2.0

SpeechGPT 2.0-preview 是复旦大学 OpenMOSS 团队开发的拟人化实时交互系统,基于大量中文语音数据训练,支持低延迟、高自然度的语音与文本交互。具备情感控制、实时打断、多风格语音生成等功能,适用于智能助手、内容创作及无障碍通信等场景,技术上融合了语音-文本联合建模与多阶段训练策略,提升语音表现力与智能化水平。

Imagine Yourself

Imagine Yourself是一款由Meta公司开发的个性化AI图像生成模型,无需针对特定用户进行调整即可生成高质量、多样化的图像。该模型采用了合成配对数据生成和并行注意力架构,提升了图像质量和文本对齐的准确性。主要功能包括无需特定微调、生成合成配对数据、并行注意力架构以及多阶段微调过程。应用场景广泛,包括社交媒体个性化、虚拟试衣间、游戏和虚拟现实、广告和营销以及艺术创作辅助。

T2V

T2V-Turbo 是一种高效的文本到视频生成模型,能够快速生成高质量视频,同时确保文本与视频的高度一致性。它通过一致性蒸馏技术和混合奖励机制优化生成过程,适用于电影制作、新闻报道、教育及营销等多个领域,支持从创意草图到成品视频的全流程加速。

AddressCLIP

AddressCLIP 是一种基于 CLIP 技术的端到端图像地理定位模型,由中科院自动化所与阿里云联合开发。它通过图像与地址文本对齐和地理匹配技术,实现街道级别的精确定位,无需依赖 GPS。模型在多个数据集上表现优异,适用于城市管理、社交媒体、旅游导航等多个场景,具备良好的灵活性和多模态结合潜力。

GenMAC

GenMAC是一款基于多代理协作的迭代框架,旨在解决文本到视频生成中的复杂场景生成问题。它通过任务分解为设计、生成和重新设计三阶段,结合验证、建议、修正和输出结构化子任务,利用自适应自路由机制优化视频生成效果。该工具可应用于电影制作、游戏开发、广告设计、教育培训和新闻报道等多个领域,显著提升视频生成的效率和质量。

Pika 2.0

Pika 2.0是一款由Pika Labs开发的AI视频生成工具,具备强大的文本对齐、动作渲染及场景元素整合功能。它能将详细提示转化为连贯且富有想象力的视频剪辑,同时提供自然的动作效果和可信的奇幻物理表现。此外,Pika 2.0支持用户上传和定制化场景元素,通过先进的图像识别技术实现无缝集成,为创作者提供更精细的控制权。这款工具适用于媒体娱乐、电商、教育、工业、医疗和个人创作等多个领域。