模型

SmoothCache

SmoothCache是一种针对Diffusion Transformers(DiT)模型的推理加速技术,通过分析层输出的相似性实现自适应缓存和特征重用,有效减少计算成本并提升生成效率。该技术具有模型无关性、跨模态适用性和易于集成的特点,支持图像、视频、音频及3D模型生成,并在多种应用场景中展现出卓越的性能表现。

OmniEdit

OmniEdit是一款基于多专家模型监督训练的先进图像编辑工具,支持七种核心图像编辑任务,包括对象替换、移除、添加、属性修改、背景替换、环境变化和风格转换。它能够处理不同宽高比和分辨率的图像,采用EditNet架构,提升了编辑的成功率和图像保真度。OmniEdit在自动与人工评估中表现优异,适用于专业设计、社交媒体内容创作、电子商务、新闻媒体等多个领域。

SPRIGHT

SPRIGHT是由多所高校和机构联合开发的视觉-语言数据集,旨在提升文本到图像生成模型的空间一致性。通过重新描述约600万张图像,强化空间关系表达,如“左/右”、“上/下”等,显著提高图像生成的准确性。该数据集支持复杂场景的图像生成,并经过多维度评估验证其可靠性。SPRIGHT为视觉-语言模型的研究和应用提供了重要资源,广泛应用于图像生成、VR/AR、教育及科研等领域。

LatentSync

LatentSync是由字节跳动与北京交通大学联合研发的端到端唇形同步框架,基于音频条件的潜在扩散模型,无需中间3D或2D表示,可生成高分辨率、动态逼真的唇同步视频。其核心技术包括Temporal Representation Alignment (TREPA)方法,提升视频时间一致性,并结合SyncNet监督机制确保唇部动作准确。适用于影视制作、教育、广告、远程会议及游戏开发等多个领域。

o3

o3-pro 是 OpenAI 开发的高级推理模型,继承并优化了 o3 的功能,在复杂问题解决和精确答案提供上表现出色。它集成了 ChatGPT 的多种工具,如网页搜索、文件分析、图像推理和编程等,适合科学研究、编程、教育和写作等领域。尽管响应速度稍慢,但在表达清晰度、逻辑准确性和答案完整性方面表现优异,并在数学、科学和编程等领域的性能上超越了前代模型。

MindMac

专为 macOS 设计的本机 ChatGPT 客户端。它作为 ChatGPT 的伴侣,允许用户轻松、无缝地与 OpenAI、Azure OpenAI、Google Gemini 等 AI 模型聊天。

UNO

UNO是字节跳动推出的AI图像生成框架,支持单主体和多主体图像生成,解决多主体一致性难题。采用扩散变换器和渐进式跨模态对齐技术,结合通用旋转位置嵌入(UnoPE),实现高一致性与可控性。适用于虚拟试穿、产品设计、创意设计等多个领域,具备强大泛化能力,已开源并提供完整技术文档。

SHMT

SHMT是一种基于自监督学习的高级化妆转移技术,由阿里巴巴达摩院与武汉理工大学联合研发。该技术无需成对训练数据,可将多种化妆风格自然迁移到目标面部图像上,通过“解耦-重建”策略和迭代双重对齐模块,实现高精度的纹理控制与对齐校正。适用于图像处理、虚拟试妆、影视设计等多个领域,具有高效、灵活、高质量的特点。

Vid2World

Vid2World是由清华大学和重庆大学联合开发的创新框架,能够将全序列、非因果的被动视频扩散模型(VDM)转换为自回归、交互式、动作条件化的世界模型。该模型基于视频扩散因果化和因果动作引导两大核心技术,解决了传统VDM在因果生成和动作条件化方面的不足。Vid2World支持高保真视频生成、动作条件化、自回归生成和因果推理,适用于机器人操作、游戏模拟等复杂环境,具有广泛的应用前景。

浦语灵笔

浦语灵笔IXC-2.5是一款由上海人工智能实验室开发的多模态大模型,具备7B规模的大型语言模型后端,能够处理长上下文、超高分辨率图像和细粒度视频理解,支持多轮多图像对话。该模型可以自动生成网页代码和高质量图文内容,在多模态基准测试中表现出色,性能可与OpenAI的GPT-4V相媲美。