动态评估

PromptBench

一个基于 Pytorch 的 Python 包,用于评估和理解大型语言模型的统一库。它为研究人员提供了用户友好的 API,以便对 LLM 进行评估。

LMMs

LMMs-Eval 是一个用于多模态AI模型的统一评估框架,提供标准化、广泛覆盖且成本效益高的性能评估解决方案。它支持超过50个任务和10多个模型,并通过透明和可复现的评估流程帮助研究者和开发者全面了解模型能力。LMMs-Eval 还引入了 LMMs-Eval Lite 和 LiveBench,分别通过精简数据集降低评估成本并动态更新评估数据集,以确保模型泛化能力的有效评估。

CogVideoX

CogVideoX是由智谱AI开发的开源AI视频生成模型,支持英文提示词生成6秒长、每秒8帧、分辨率为720x480的视频。它具备低显存需求、视频参数定制、3D Causal VAE技术和推理与微调功能。该模型采用基于Transformer的架构和3D Causal Variational Autoencoder技术,支持多阶段训练和自动及人工评估,适用于创意视频制作、教育材料、广告、游戏、电影编