数据集
LongWriter
LongWriter是一款由清华大学与智谱AI合作开发的长文本生成模型,能够生成超过10,000字的连贯文本。该模型基于增强的长上下文大型语言模型,采用了直接偏好优化(DPO)技术和AgentWrite方法,能够处理超过100,000个token的历史记录。LongWriter适用于多种应用场景,包括学术研究、内容创作、出版行业、教育领域和新闻媒体等。
OmniCorpus
OmniCorpus是上海人工智能实验室联合多家知名高校和研究机构共同创建的一个大规模多模态数据集,包含86亿张图像和16960亿个文本标记,支持中英双语。它通过整合来自网站和视频平台的文本和视觉内容,提供了丰富的数据多样性。OmniCorpus不仅规模庞大,而且数据质量高,适合多模态机器学习模型的训练和研究。它广泛应用于图像识别、视觉问答、图像描述生成和内容推荐系统等领域。