UniToken

UniToken 是什么

UniToken 是一种新型的自回归生成模型，专为多模态理解与生成任务而设计。通过融合离散和连续的视觉表示，构建了一个统一的视觉编码框架，能够同时捕捉图像的高层语义与低层细节。这使得 UniToken 在视觉理解和图像生成任务中表现出色，为多种任务提供全面的信息支持。

UniToken 的主要功能

• 图文理解：UniToken 能够高效处理图文理解任务，如图像字幕生成和视觉问答（VQA）。
• 图像生成：支持高质量图像生成，包括文本到图像生成、图像编辑及故事生成等。
• 多模态对话：在多模态对话场景中，UniToken 可根据输入的文本和图像信息生成自然语言回复，支持复杂的交互任务。
• 复杂指令跟随：通过指令强化微调，UniToken 能更准确地理解和执行多模态指令。
• 细粒度视觉任务：利用 AnyRes 和 ViT 端到端微调技术，提升对高分辨率图像的感知能力。
• 任务通用性：UniToken 能整合多种多样的多模态任务，展现出强大的通用生成能力。

UniToken 的技术原理

• 统一视觉编码：UniToken 采用连续和离散双编码器，结合 VQ-GAN 的离散编码与 SigLIP 的连续表征，生成兼具高层语义和底层细节的视觉编码。
• 多阶段训练
  • 视觉语义空间对齐：基于 Chameleon 基座，冻结语言模型，仅训练 SigLIP ViT 和 Adapter，实现视觉与语言空间的对齐。
  • 多任务联合训练：在大规模图文数据集上进行联合训练，提升模型在理解与生成任务上的性能。
  • 指令强化微调：引入高质量多模态数据，增强模型对复杂指令的理解与执行能力。
• 细粒度视觉增强：支持 AnyRes 和 ViT 端到端微调，提升对高分辨率图像的感知能力，适应广泛任务场景。

UniToken 的项目地址

• Github 仓库：https://github.com/SxJyJay/UniToken
• arXiv 技术论文：https://arxiv.org/pdf/2504.04423

UniToken 的应用场景

• 内容创作与设计：可依据文本描述生成高质量图像，辅助设计师进行创意构思。
• 智能客服与虚拟助手：支持多模态对话，提升人机交互体验。
• 教育与学习：通过生成相关图像，帮助学生理解复杂概念。
• 医疗与健康：可用于医学图像生成与解释。
• 自动驾驶与交通管理：支持道路图像的视觉问答，辅助自动驾驶决策。