预训练

OpenELM

OpenELM是苹果公司推出的一系列高效开源语言模型,涵盖从2.7亿到30亿参数规模的不同版本。该模型基于Transformer架构,采用层间缩放策略优化参数分配,使用分组查询注意力(GQA)和SwiGLU激活函数等技术。OpenELM在公共数据集上预训练,并在多项自然语言处理任务中展现出色性能。模型代码和预训练权重已公开,旨在促进开放研究和社区发展。

联通元景

联通元景(UniT2IXL)是一款基于国产昇腾AI平台开发的中文原生文生图模型,具备卓越的中文语义理解和高质量图像生成能力。它通过复合语言编码模块优化中文长文本处理,并利用大量中文图文数据进行预训练,确保信息完整性和生成质量。该模型支持国产化算力环境,适配多种应用场景,包括文物数字化、个性化服装定制、智能家居设计、广告创意生成及在线教育等,为企业提供高效解决方案。