Qihoo

QIHOO-T2X简介

Qihoo-T2X是由360 AI研究院与中山大学联合研发的高效多模态生成模型，基于代理标记化扩散 Transformer（PT-DiT）架构。该模型通过引入稀疏代理标记注意力机制，有效减少传统扩散 Transformer 在全局自注意力计算中的冗余，同时结合窗口注意力和移位窗口注意力机制，提升细节建模能力。Qihoo-T2X支持文本到图像（T2I）、文本到视频（T2V）以及文本到多视图（T2MV）等多种任务。

Qihoo-T2X的核心功能

• 文本到图像：根据用户输入的文本描述生成高质量、高分辨率的图像，适用于创意设计、艺术创作等场景。
• 文本到视频：生成连贯的动态视频内容，适用于动画制作、影视创作等领域。
• 文本到多视图：生成同一对象或场景的不同视角图像，适用于3D展示、虚拟现实（VR）和增强现实（AR）应用。
• 高效生成能力：通过优化的代理标记化注意力机制，降低计算复杂度，提升生成效率，尤其在处理高分辨率图像和长视频时表现突出。

Qihoo-T2X的技术原理

• 代理标记化注意力机制：通过在每个时空窗口内计算平均标记作为代理标记，进行自注意力计算，从而大幅减少计算量，并通过交叉注意力将全局语义信息注入所有潜在标记中。
• 窗口注意力与移位窗口注意力：采用局部窗口内的自注意力计算方式，增强细节建模能力；移位窗口注意力机制则用于缓解因窗口划分导致的“网格效应”，提升生成质量。
• 稀疏代理标记机制：在处理高分辨率图像和长视频时，显著降低计算复杂度，同时保持生成内容的质量。
• 多任务适应性：模型架构可灵活适配多种生成任务，无需对结构进行重大调整。

Qihoo-T2X项目资源

• 项目官网：https://360cvgroup.github.io/Qihoo-T2X/
• GitHub仓库：https://github.com/360CVGroup/Qihoo-T2X
• arXiv技术论文：https://arxiv.org/pdf/2409.04005

Qihoo-T2X的应用领域

• 创意设计与艺术创作：为艺术家提供文本驱动的高质量图像生成工具，助力创意表达。
• 视频内容生成：支持动态视频生成，适用于广告、动画制作等行业。
• 教育与培训：可用于创建教学素材，辅助学生理解抽象概念。
• 娱乐与游戏开发：支持虚拟场景构建，增强游戏与VR/AR体验。
• 广告与营销：快速生成个性化视觉内容，提升品牌传播效果。