多模态学习
  1. 首页
  2. 多模态学习

列表

Step

Step

覆盖了从个人使用到企业级应用的多个方面的多模态大模型。
创作工具 1970年01月01日
MGIE

MGIE

MGIE 是苹果团队开源的一款 AI 图像编辑工具，它利用多模态大模型来增强图像编辑的指令引导能力。用户只需拍摄照片并输入文字指令，MGIE 便能够自动进行图像编辑，实现用户所需的...
Ai绘画生成 1970年01月01日
V

V

创新的自监督学习模型，它通过预测视频帧的特征表示来学习视频的视觉表示。这种方法不仅能够处理视频内容，还能在图像任务上表现出色，具有广泛的应用潜力。
Ai平台模型 1970年01月01日
VideoPoet

VideoPoet

VideoPoet是一款基于大模型的AI视频生成工具，支持从文本、图像或视频输入中合成高质量的视频内容及匹配的音频。其核心优势在于多模态大模型设计，能够处理和转换不同类型的输入信号，无需特定数据集或扩散模型即可实现多种风格和动作的视频输出。主要功能包括文本到视频转换、图像到视频动画、视频风格化、视频编辑和扩展、视频到音频转换以及多模态学习等。技术原理涉及多模态输入处理、解码器架构、预训练与任务适应
AI项目与工具 2024年01月01日
EchoMimic

EchoMimic

EchoMimic是一款由阿里蚂蚁集团开发的AI数字人开源项目，通过深度学习模型结合音频和面部标志点，创造出高度逼真的动态肖像视频。该工具支持音频同步动画、面部特征融合、多模态学习和跨语言能力，适用于娱乐、教育和虚拟现实等领域。其独特的技术原理包括音频特征提取、面部标志点定位、面部动画生成和多模态学习，使用了卷积神经网络（CNN）、循环神经网络（RNN）和生成对抗网络（GAN）等深度学习模型，实现
AI项目与工具 2025年06月12日
HMoE

HMoE

HMoE（混合异构专家模型）是腾讯混元团队提出的一种新型神经网络架构，旨在提升大型语言模型的性能和计算效率。通过引入不同规模的专家来处理不同复杂度的输入数据，HMoE增强了模型的专业化程度，并采用了新的训练目标和策略，如P-Penalty Loss，以提高参数利用率和计算效率。HMoE在多个预训练评估基准上表现出色，适用于自然语言处理、内容推荐、语音识别、图像和视频分析以及多模态学习等领域。
AI项目与工具 2025年06月12日
LeRobot

LeRobot

LeRobot是一个由HuggingFace开发的开源AI聊天机器人项目，旨在简化机器人技术的学习过程。它提供了预训练模型、数据集和模拟环境，支持模仿学习和强化学习，适用于多种机器人硬件。该项目具有多用途、可扩展的特点，通过提供预训练模型、数据集共享、模拟环境和多功能库等功能，帮助用户加速机器人项目的开发进程。
AI项目与工具 2025年06月12日
OmniCorpus

OmniCorpus

OmniCorpus是上海人工智能实验室联合多家知名高校和研究机构共同创建的一个大规模多模态数据集，包含86亿张图像和16960亿个文本标记，支持中英双语。它通过整合来自网站和视频平台的文本和视觉内容，提供了丰富的数据多样性。OmniCorpus不仅规模庞大，而且数据质量高，适合多模态机器学习模型的训练和研究。它广泛应用于图像识别、视觉问答、图像描述生成和内容推荐系统等领域。
AI项目与工具 2025年06月12日
CDial

CDial

CDial-GPT是一项由清华大学研发的基于大型中文对话数据集LCCC的预训练对话生成模型。该模型提供LCCC-base和LCCC-large两个版本的数据集，并具备预训练、微调、多模态学习等功能，能够生成高质量的对话回应。其应用场景涵盖客户服务、智能助手、在线教育等多个领域。
AI项目与工具 2025年06月12日
Stable Diffusion 3.5

Stable Diffusion 3.5

Stable Diffusion 3.5是一套由Stability AI开发的先进AI图像生成模型，包含多个版本以适应不同需求。它具备高定制性、高效的消费级硬件运行能力和开源许可，能够生成高质量、多样化的图像，支持多种风格和肤色表现。其核心技术基于多模态学习和优化的架构，适用于艺术创作、游戏开发、广告设计等多个领域。 ---
AI项目与工具 2025年06月12日