LOKI

LOKI是由中山大学与上海AI实验室共同开发的合成数据检测基准，专注于评估大型多模态模型（LMMs）在检测视频、图像、3D模型、文本及音频等多模态合成数据方面的能力。该基准包含超过18,000个问题，涵盖26个子类别，并采用多层次标注体系，支持细粒度异常注释。LOKI通过自然语言解释提升了模型的可解释性，并通过对22个开源和6个闭源LMMs的评估，揭示了这些模型在合成数据检测任务中的潜力与局限。