多模态

1. 首页
2. 多模态

ACE

ACE是一款基于扩散Transformer架构的多模态图像生成与编辑工具，通过长上下文条件单元（LCU）和统一条件格式实现自然语言指令的理解与执行。它支持图像生成、编辑、多轮交互等多种任务，适用于艺术创作、媒体制作、广告设计、教育培训等多个领域，提供高效且灵活的视觉内容解决方案。

AI项目与工具 2025年06月12日 74 点赞 0 评论 689 浏览

星火绘镜

一款由科大讯飞推出的AI文生视频创作平台，可以轻松地从文字描述生成短视频内容、将文本转换为视频分镜、扩展成完整的短视等。

Ai视频生成 2025年06月05日 13 点赞 0 评论 689 浏览

OmniBooth

OmniBooth是一款由华为诺亚方舟实验室与香港科技大学联合开发的图像生成框架，支持基于文本或图像的多模态指令控制及实例级定制。它通过高维潜在控制信号实现对图像中对象位置和属性的精准操控，具备多模态嵌入提取、空间变形技术以及特征对齐网络等功能，广泛应用于数据集生成、内容创作、游戏开发、虚拟现实及广告营销等领域。

AI项目与工具 2025年06月12日 46 点赞 0 评论 687 浏览

3D

3D-Speaker是一个多模态开源项目，专注于通过结合声学、语义和视觉信息，实现高精度的说话人识别和语种识别。其主要功能包括说话人日志、说话人识别、语种识别、多模态识别以及重叠说话人检测。项目提供了工业级模型、训练与推理代码，以及多样化数据集，并支持复杂环境下的语音处理任务。应用场景涵盖会议记录、法庭记录、广播制作、电话客服和安全监控等领域。

AI项目与工具 2025年06月12日 29 点赞 0 评论 687 浏览

FlexIP

FlexIP 是腾讯推出的图像合成框架，支持在保持主体身份的同时进行个性化编辑。其双适配器架构分离身份保持与编辑功能，结合动态权重门控机制实现灵活控制，并通过多模态数据训练提升生成质量与稳定性，适用于艺术创作、广告设计、影视制作等多个领域。

AI项目与工具 2025年06月11日 31 点赞 0 评论 687 浏览

OpenAI 12天发布会内容全记录，一文快速捕捉亮点信息

OpenAI举办为期12天的系列发布活动，推出包括强化微调技术、Sora视频生成工具、ChatGPT Canvas和高级语音模式在内的多项创新功能，涵盖推理模型、搜索升级和跨平台集成，显著提升AI工具的性能与应用范围。

AI项目与工具 2025年06月12日 61 点赞 0 评论 686 浏览

LLMDet

LLMDet是一款基于大型语言模型协同训练的开放词汇目标检测器，能够识别训练阶段未见过的目标类别。其通过结合图像和文本信息，实现高精度的零样本检测，并支持图像描述生成与多模态任务优化，适用于多种实际应用场景。

AI项目与工具 2025年06月12日 68 点赞 0 评论 684 浏览

Qihoo

Qihoo-T2X是由360 AI研究院与中山大学联合研发的高效多模态生成模型，基于代理标记化扩散 Transformer（PT-DiT）架构。该模型通过稀疏代理标记注意力机制显著降低计算复杂度，支持文本到图像、视频及多视图生成。具备高效生成能力和多任务适应性，适用于创意设计、视频制作、教育、游戏开发及广告等多个领域。

AI项目与工具 2025年06月12日 26 点赞 0 评论 683 浏览

LMMs

LMMs-Eval 是一个用于多模态AI模型的统一评估框架，提供标准化、广泛覆盖且成本效益高的性能评估解决方案。它支持超过50个任务和10多个模型，并通过透明和可复现的评估流程帮助研究者和开发者全面了解模型能力。LMMs-Eval 还引入了 LMMs-Eval Lite 和 LiveBench，分别通过精简数据集降低评估成本并动态更新评估数据集，以确保模型泛化能力的有效评估。

AI项目与工具 2025年06月12日 86 点赞 0 评论 682 浏览

Reka Flash 3

Reka Flash 3 是一款由 Reka AI 开发的开源推理模型，拥有 21 亿参数，支持多模态输入（文本、图像、视频、音频），并可处理最长 32k 个令牌的上下文。它具备高效的推理能力和多语言支持，适用于日常对话、编码辅助、指令执行等多种场景。模型可在本地部署，支持 4 位量化以降低资源占用，适合广泛的应用需求。

AI项目与工具 2025年06月12日 70 点赞 0 评论 681 浏览