多模态

Awesome GPT

一个精选的GPT-4o生成图片集锦,收集了OpenAI 最新多模态模型 GPT‑4o 生成的精彩案例,展示其强大的文本‑图像理解与创作能力。

Miras

Miras是由谷歌开发的深度学习框架,专注于序列建模任务。它基于关联记忆和注意力偏差机制,整合多种序列模型并支持新型模型设计。Miras通过保留门机制优化记忆管理,提升模型在长序列任务中的表现,适用于语言建模、常识推理、长文本处理及多模态任务,具有高效且灵活的架构优势。

小红书点点

一款主打生活场景的AI聚合搜索工具,生活搜索助手,小红书点点只要为用户提供便捷的生活服务和信息查询。

VACE

VACE是由阿里巴巴通义实验室推出的视频生成与编辑框架,支持文本到视频、参考生成、视频扩展、遮罩编辑等多种任务。其核心是Video Condition Unit(VCU),可整合多模态输入,实现任务灵活组合。支持480P和720P分辨率,适用于创意视频制作、视频修复、风格转换及互动创作等场景,具备高灵活性和广泛的应用潜力。

ChatDZQ爱晚亭

基于大语言模型开发,提供“智能+个性微调+向量训练”(即CVP)服务,集成AI聊天、AI创作、AI绘画、AI海报及各种AI工具。

豆包1.5·UI

豆包1.5·UI-TARS是字节跳动推出的一款面向图形用户界面(GUI)的智能代理模型,具备视觉理解、逻辑推理和操作执行能力。它无需预定义规则,即可实现端到端的GUI任务自动化,适用于办公、测试、客服及机器人交互等多个场景。模型基于多模态融合与端到端学习技术,支持高效的界面交互与精准的视觉定位。

TokenFD

TokenFD是由上海交通大学与美团联合开发的细粒度图文对齐基础模型,专为文档理解任务设计。通过图像与语言Token的统一特征空间对齐,支持Token级图文交互,提升了多模态任务性能。其基于自研的TokenIT数据集进行训练,涵盖2000万张图像和18亿高质量Token-Mask对,覆盖多种文本图像类型。TokenFD可用于文档处理、图像审查、文字检索及大模型知识增强等多个领域,具有广泛的适用性和

魔搭GPT

魔搭社区ModelScope——汇聚各领域先进的机器学习模型,提供模型探索体验、推理、训练、部署和应用的一站式服务。在这里,共建模型开源社区,发现、学习、定制和分享心仪的模型。

EyeDiff

EyeDiff是一款基于扩散模型的文本到图像生成工具,专为多模态眼科图像生成设计。通过自然语言提示,EyeDiff能够捕捉常见及罕见眼病的关键特征,显著提升诊断准确性。该工具采用CLIP文本编码器与交叉注意力机制,结合潜在扩散模型(LDM),生成高质量、与文本高度一致的图像,适用于数据增强、疾病筛查、数据共享及医学教育等场景。

Seer

Seer是一款由多家科研机构联合开发的端到端机器人操作模型,基于Transformer架构实现视觉预测与动作执行的高度协同。它能够融合多模态信息,具备强大的泛化能力和数据效率,在真实机器人任务中表现优异。Seer适用于工业自动化、服务机器人、医疗健康等多个领域,支持精准动作预测和未来状态预判,显著提升了机器人系统的智能化水平。