多模态
CustomVideoX
CustomVideoX是一种基于视频扩散变换器的个性化视频生成框架,能够根据参考图像和文本描述生成高质量视频。其核心技术包括3D参考注意力机制、时间感知注意力偏差(TAB)和实体区域感知增强(ERAE),有效提升视频的时间连贯性和语义一致性。支持多种应用场景,如艺术设计、广告营销、影视制作等,具备高效、精准和可扩展的特点。
Paper2Poster
Paper2Poster是由加拿大滑铁卢大学、新加坡国立大学等机构推出的学术框架,基于多模态自动化技术从科学论文生成海报。它通过Parser、Planner和Painter–Commenter系统实现内容压缩、布局优化和视觉质量提升,支持将长篇论文转化为结构化视觉海报。Paper2Poster引入PaperQuiz评估方法,确保海报有效传达核心内容,提高生成效率,适用于学术会议、报告、科研展示及教
Transfusion
Transfusion是由Meta公司开发的多模态AI模型,能够同时生成文本和图像,并支持图像编辑功能。该模型通过结合语言模型的下一个token预测和扩散模型,在单一变换器架构上处理混合模态数据。Transfusion在预训练阶段利用了大量的文本和图像数据,表现出强大的扩展性和优异的性能。其主要功能包括多模态生成、混合模态序列训练、高效的注意力机制、模态特定编码、图像压缩、高质量图像生成、文本生成
阶跃星辰推出移动端AI智能问答助手跃问APP
跃问是一款基于阶跃星辰Step系列通用大模型开发的移动应用,具备强大的文本和图像处理能力,能够高效完成内容创作、逻辑推理、数据分析等任务。该应用支持联网搜索、文档解析、推理速度优化,并具备拍照识图和语音输入功能。跃问还提供了高效阅读、智能问答、写作翻译和多端同步等功能,为用户提供便捷的信息获取和处理体验。
Image to Music
Image to Music 是一款基于AI的图像转音乐工具,通过分析图像的颜色、形状和纹理等元素,生成多种风格的音乐。用户可直接上传图片并选择模型,快速获得钢琴、吉他、管弦乐等音乐作品。无需注册,无使用限制,适用于音乐创作、广告营销、教育及个性化礼物制作等多种场景,为艺术创作提供新思路。
LTX Studio
LTX Studio 是由知名 AI 平台 Lightricks(也是 Facetune、Videoleap 和 Photoleap 等应用的开发者)推出的一项创新服务,它是一个生成式 AI 电影制作和视频短片生成平台。
