AI项目与工具

Maya

Maya是一款开源多语言多模态模型,基于LLaVA框架开发,支持中文、法语、西班牙语等多种语言,专注于提升低资源语言的AI内容生成能力。它结合图像和文本数据,实现跨模态对齐和指令微调,广泛应用于跨语言内容理解、图像分析、教育和电子商务等领域。

EXAONE 3.5

EXAONE 3.5是一款由LG AI研究院开发的开源AI模型,包含多种参数规模版本,专长于长文本处理和复杂场景下的推理任务。其核心技术包括检索增强生成与多步推理,可显著减少错误信息并提升准确性。此外,EXAONE 3.5还具备双语支持及强大的上下文理解能力,适用于聊天机器人、语言翻译、内容创作等多个领域。

Pixai.Art

Pixai.Art是一款面向二次元爱好者的AI绘画工具,用户可以通过输入关键词,借助AI技术生成具有二次元风格的艺术作品。该工具还提供“图生图”功能,允许用户基于现有图像进行创作。Pixai.Art提供多种AI模型供用户选择,并通过关键词辅助提高创作准确性。它适用于二次元爱好者、艺术创作者、设计师、教育工作者和学生以及技术开发者。

Roop

Roop是一款开源的AI视频换脸工具,支持用户通过一张图片替换视频中的面部,无需复杂的数据集或训练过程。它具有多种功能,包括一键换脸、多参数配置、面部对齐和性能加速。Roop利用生成对抗网络(GANs)生成逼真的面部图像,并能自动检测和对齐视频中的面部。其应用场景广泛,包括娱乐、社交媒体、电影制作、教育和艺术创作等领域。

Morphik

Morphik是一款开源的多模态检索增强生成(RAG)工具,专为处理高技术性和视觉内容丰富的文档设计。支持图像、PDF、视频等多种格式的文档搜索,采用ColPali技术理解文档中的视觉内容,具备快速元数据提取功能,可提取边界框、标签、分类等信息。其主要功能包括多模态数据处理、智能解析文件、知识图谱构建、自然语言规则引擎和数据管理与集成,适用于技术文档处理、企业知识管理和智能应用开发等场景。

WorldSense

WorldSense是由小红书与上海交通大学联合开发的多模态基准测试工具,用于评估大型语言模型在现实场景中对视频、音频和文本的综合理解能力。该平台包含1662个同步视频、3172个问答对,覆盖8大领域及26类认知任务,强调音频与视频信息的紧密耦合。所有数据经专家标注并多重验证,确保准确性。适用于自动驾驶、智能教育、监控、客服及内容创作等多个领域,推动AI模型在多模态场景下的性能提升。

HiFiVFS

HiFiVFS是一款基于Stable Video Diffusion框架的高保真视频换脸工具,结合多帧输入与时间注意力机制保障视频稳定性。其核心技术包括细粒度属性学习(FAL)和详细身份学习(DIL),分别用于属性解耦和身份相似性提升。HiFiVFS适用于电影制作、游戏开发、虚拟现实及社交媒体等多个领域,支持高质量的视频换脸操作。

SmolVLA

SmolVLA是Hugging Face开源的轻量级视觉-语言-行动(VLA)模型,专为经济高效的机器人设计。拥有4.5亿参数,可在CPU上运行,单个消费级GPU即可训练,适合在MacBook上部署。它能够处理多模态输入,生成动作序列,并通过异步推理提高控制效率。适用于物体抓取、家务劳动、货物搬运和机器人教育等场景。

ViewExtrapolator

ViewExtrapolator是一种基于稳定视频扩散(SVD)的新视角外推方法,能够生成超出训练视图范围的新视角图像,特别适用于提升3D渲染质量和视觉真实性。该工具通过优化SVD的去噪过程,减少了伪影问题,同时支持多视图一致性生成,无需额外微调即可实现高效的数据和计算性能,广泛适用于虚拟现实、3D内容创作及文物保护等多个领域。

EvolveDirector

EvolveDirector是一个由阿里巴巴与南洋理工大学合作开发的文本到图像生成框架,通过与高级模型API交互获取数据对,结合预训练的视觉语言模型(VLMs)动态优化训练集,大幅降低数据量和训练成本。该框架支持多模型学习、动态数据集管理及在线训练,显著提升了生成图像的质量和多样性,广泛应用于内容创作、媒体娱乐、广告营销、教育科研等多个领域。