多模态
阶跃星辰推出移动端AI智能问答助手跃问APP
跃问是一款基于阶跃星辰Step系列通用大模型开发的移动应用,具备强大的文本和图像处理能力,能够高效完成内容创作、逻辑推理、数据分析等任务。该应用支持联网搜索、文档解析、推理速度优化,并具备拍照识图和语音输入功能。跃问还提供了高效阅读、智能问答、写作翻译和多端同步等功能,为用户提供便捷的信息获取和处理体验。
Transfusion
Transfusion是由Meta公司开发的多模态AI模型,能够同时生成文本和图像,并支持图像编辑功能。该模型通过结合语言模型的下一个token预测和扩散模型,在单一变换器架构上处理混合模态数据。Transfusion在预训练阶段利用了大量的文本和图像数据,表现出强大的扩展性和优异的性能。其主要功能包括多模态生成、混合模态序列训练、高效的注意力机制、模态特定编码、图像压缩、高质量图像生成、文本生成
WorldSense
WorldSense是由小红书与上海交通大学联合开发的多模态基准测试工具,用于评估大型语言模型在现实场景中对视频、音频和文本的综合理解能力。该平台包含1662个同步视频、3172个问答对,覆盖8大领域及26类认知任务,强调音频与视频信息的紧密耦合。所有数据经专家标注并多重验证,确保准确性。适用于自动驾驶、智能教育、监控、客服及内容创作等多个领域,推动AI模型在多模态场景下的性能提升。
Image to Music
Image to Music 是一款基于AI的图像转音乐工具,通过分析图像的颜色、形状和纹理等元素,生成多种风格的音乐。用户可直接上传图片并选择模型,快速获得钢琴、吉他、管弦乐等音乐作品。无需注册,无使用限制,适用于音乐创作、广告营销、教育及个性化礼物制作等多种场景,为艺术创作提供新思路。
SmolDocling
SmolDocling-256M-preview 是一款轻量级多模态文档处理模型,能将图像文档高效转换为结构化文本,支持文本、公式、图表等多种元素识别。模型参数量仅256M,推理速度快,适合学术与技术文档处理。具备OCR、布局识别、格式导出等功能,并兼容Docling,适用于文档数字化、科学研究及移动环境应用。
Tough Tongue AI 2.0
Tough Tongue AI 2.0 是一款多模态对话训练工具,适用于面试、职场沟通、销售谈判等多种场景。用户可自定义AI角色与语气,通过视频和音频反馈练习非语言沟通技巧,并获得个性化反馈以提升表达能力。支持多语言使用,可无限重试,便于反复练习。具备嵌入功能,方便集成到其他平台。
