Florence

Florence-2是由微软Azure AI团队开发的多功能视觉模型，能够高效完成图像描述、目标检测、视觉定位以及图像分割等计算机视觉任务。该模型基于Transformer架构，采用序列到序列学习方法，通过编码器将图像转化为序列表示，并利用解码器将这些表示转化为文本输出。其训练数据来源于FLD-5B数据集，该数据集包含1.26亿张图像及54亿个标注，通过自动化标注技术和模型迭代，确保了数据质量和多样性。 Florence-2的设计强调统一性，旨在通过单一框架处理多种视觉任务，同时整合视觉与语言信息。它采用了基于Transformer的架构，利用自注意力机制处理多模态数据，实现信息融合。此外，模型还配备了DaViT图像编码器，用于捕捉图像特征并生成视觉token嵌入，从而支持更精准的目标检测和分割。