多模态

ParGo

ParGo是一种由字节与中山大学联合开发的多模态大语言模型连接器,通过结合局部与全局token,提升视觉与语言模态的对齐效果。其核心模块PGP和CPP分别提取图像的局部和全局信息,增强细节感知能力。在多个基准测试中表现优异,尤其在文字识别和图像描述任务中优势明显。采用自监督学习策略,提高模型泛化能力,适用于视觉问答、图像字幕生成、跨模态检索等多种场景。

​LobeChat

一个开源、高性能的聊天机器人框架,支持语音合成、多模态和可扩展(函数调用)插件系统。支持一键免费部署您的私人 ChatGPT/LLM Web 应用程序。

VILA

VILA-U 是一款由 MIT 汉实验室开发的统一基础模型,整合了视频、图像和语言的理解与生成能力。它通过自回归框架简化模型结构,支持视觉理解、视觉生成、多模态学习和零样本学习等功能。VILA-U 在预训练阶段采用混合数据集,利用残差向量量化和深度变换器提升表示能力,适用于图像生成、内容创作辅助、自动化设计、教育和残障人士辅助等多种场景。

跃问视频

由阶跃星辰开发的AI视频生成工具,只需通过简单的文本输入跃问视频就可以生成最长10秒的视频。

海螺视频APP

海螺视频APP是一款基于AI技术的视频生成工具,支持文生视频和图生视频功能,提供丰富的镜头控制选项,让用户能像专业导演一样创作动态视频。该工具适用于多种场景,如社交媒体、广告营销、影视制作等,操作简便,适合各类用户使用。

Reel.AI

Reel.AI是一款利用AI技术生成短视频内容的应用程序,支持文本、图片等多种输入形式,生成高质量的短剧和视频内容。其核心功能包括文本到视频转换、多模态内容生成、情感共鸣驱动的短剧创作及交互式体验设计。Reel.AI基于自主研发的Reel Diffusion模型,广泛应用于娱乐消费、内容创作、广告营销及教育等领域。

EchoMimic

EchoMimic是一款由阿里蚂蚁集团开发的AI数字人开源项目,通过深度学习模型结合音频和面部标志点,创造出高度逼真的动态肖像视频。该工具支持音频同步动画、面部特征融合、多模态学习和跨语言能力,适用于娱乐、教育和虚拟现实等领域。其独特的技术原理包括音频特征提取、面部标志点定位、面部动画生成和多模态学习,使用了卷积神经网络(CNN)、循环神经网络(RNN)和生成对抗网络(GAN)等深度学习模型,实现

文远知行

全球领先的自动驾驶科技公司,文远知行提供从L2到L4的自动驾驶产品和服务,涵盖Robotaxi、Robobus、Robovan等多种自动驾驶车辆。

天谱乐

天谱乐是一款由趣丸科技推出的支持多模态输入的音乐生成工具,涵盖文本、图片及视频生成音乐功能。它能够准确理解音乐复杂特性并生成高契合度配乐,同时提供专家模式和音乐编辑功能,适用于音乐创作、短视频配乐、影视配乐及个人娱乐等多个领域。

跃问创意板

跃问创意板是一款基于AI技术的用户友好型应用生成工具,支持通过自然语言指令快速创建小游戏、互动网页和可视化内容。具备零门槛操作、多轮交互、自动代码修复、版本管理和一键分享等功能,适用于游戏开发、教育、生活娱乐等多个场景,为用户提供高效便捷的创意实现方式。