多模态

1. 首页
2. 多模态

QLIP

QLIP是一种基于二进制球形量化（BSQ）的视觉标记化方法，具备高质量图像重建和零样本图像理解能力。通过对比学习目标和两阶段训练策略，QLIP可作为视觉编码器或图像标记器，广泛应用于多模态任务，如文本到图像生成、图像到文本生成及多模态理解。其技术设计提升了模型的语义表达与训练效率，为统一多模态模型的开发提供了新思路。

AI项目与工具 2025年06月11日 18 点赞 0 评论 607 浏览

紫东太初大模型

紫东太初，中科院自动化所和武汉人工智能研究院推出新一代大模型，从三模态走向全模态，支持多轮问答、文本创作、图像生成、3D理解、信号分析等全面问答任务，拥有更强的认知、理解、创作能力，带来全新互动体验。

Ai平台模型 2025年06月05日 79 点赞 0 评论 606 浏览

Story Flicks

一款开源的基于AI大模型的故事短视频生成工具。用户输入故事主题，就能够迅速生成包含AI生成图像、故事内容以及音频的视频。

Ai视频生成 2025年06月05日 80 点赞 0 评论 605 浏览

LiveKit Agents

LiveKit Agents 是一款基于 Python 的多模态 AI 工具框架，支持实时语音、视频和数据交互。其核心功能包括基于 WebRTC 的低延迟通信、与 OpenAI 等服务的深度集成、丰富的插件生态系统以及负载均衡与自动扩展能力。适用于虚拟助手、客户服务、实时翻译、视频内容审核等多个应用场景。

AI项目与工具 2025年06月12日 55 点赞 0 评论 605 浏览

OpenAI o3

OpenAI o3是一款具备图像推理能力的AI模型，融合了神经符号学习与概率逻辑，支持多模态任务处理。它能够自主调用工具解决复杂问题，擅长编程、数学、科学等领域，同时在安全性方面进行了显著优化。o3在多基准测试中表现优异，提供透明的推理路径和高效的多任务处理能力。

AI项目与工具 2025年06月12日 85 点赞 0 评论 605 浏览

LatentLM

LatentLM是一款由微软与清华大学合作开发的多模态生成模型，能够统一处理文本、图像、音频等多种数据类型。它基于变分自编码器（VAE）和因果Transformer架构，支持自回归生成与跨模态信息共享，特别擅长图像生成、多模态语言模型及文本到语音合成等任务，其提出的σ-VAE进一步提升了模型的鲁棒性。

AI项目与工具 2025年06月12日 67 点赞 0 评论 604 浏览

HealthGPT

HealthGPT是由多家高校与企业联合开发的医学视觉语言模型，支持医学图像分析、视觉问答、文本生成及多模态融合等任务。其核心技术包括异构低秩适应（H-LoRA）、分层视觉感知（HVP）和三阶段学习策略（TLS），可高效处理复杂医疗数据。模型适用于医学诊断、教育、研究及健康管理等多个场景，具有良好的适应性和实用性。

AI项目与工具 2025年06月12日 80 点赞 0 评论 603 浏览

腾讯混元Turbo S

腾讯混元Turbo S是腾讯推出的高效AI模型，采用Hybrid-Mamba-Transformer架构，提升推理效率并降低计算成本。支持快速响应、多领域推理、内容创作及多模态生成，适用于对话、代码、逻辑推理等场景。兼具短思维链与长思维链能力，性能对标行业领先模型。

AI项目与工具 2025年06月12日 86 点赞 0 评论 603 浏览

Tanka

Tanka是一款具备长期记忆和上下文理解能力的AI通讯工具，旨在提升团队协作效率。它支持智能回复、任务提醒、多模态消息处理，并可集成多种通讯平台。适用于项目管理、客户服务、销售支持及知识管理等多个场景，助力企业实现高效、智能的沟通与信息管理。

AI项目与工具 2025年06月12日 78 点赞 0 评论 602 浏览

日日新融合大模型

日日新融合大模型（SenseNova）是商汤科技推出的多模态AI系统，支持文本、图像、视频等多种数据的融合处理，具备强大的深度推理与多模态分析能力。该模型在多个权威评测中表现优异，广泛应用于自动驾驶、视频交互、办公教育、金融、园区管理及工业制造等领域，提升了多场景下的智能化水平。

AI项目与工具 2025年06月12日 88 点赞 0 评论 601 浏览