预训练

1. 首页
2. 预训练

OpenELM

OpenELM是苹果公司推出的一系列高效开源语言模型，涵盖从2.7亿到30亿参数规模的不同版本。该模型基于Transformer架构，采用层间缩放策略优化参数分配，使用分组查询注意力（GQA）和SwiGLU激活函数等技术。OpenELM在公共数据集上预训练，并在多项自然语言处理任务中展现出色性能。模型代码和预训练权重已公开，旨在促进开放研究和社区发展。

AI项目与工具 2024年01月01日 99 点赞 0 评论 480 浏览

乾元BigBangTransformer

BBT-2-12B-Text基于中文700亿tokens进行预训练，经过指令微调的BBT-2基础模型可以回答百科类和日常生活的问题。BBT-2.5-13B-Text基于中文+英文 2000亿tokens进行预训练。

Ai平台模型 1970年01月01日 0 点赞 0 评论 240 浏览

K2

地球科学的开源大预言模型，首先在收集和清理过的地球科学文献（包括地球科学开放存取论文和维基百科页面）上对 LLaMA 进行进一步预训练，然后使用知识密集型指令调整数据（GeoSig...

Ai平台模型 1970年01月01日 0 点赞 0 评论 464 浏览

深言科技

深言科技是一家由孙茂松教授和其学生一同创办的创业公司，致力于使用世界领先的人工智能和自然语言处理技术，为数亿脑力劳动深言科技（DeepLang AI）者和数千万组织的信息处理全流...

创作工具 1970年01月01日 0 点赞 0 评论 218 浏览

孟子大模型

孟子大模型作为澜舟科技的核心产品之一，展现了公司在认知智能领域的技术实力和创新能力。通过其强大的语言处理和多模态数据处理能力，孟子大模型为不同行业提供了灵活、高效的解...

创作工具 1970年01月01日 0 点赞 0 评论 361 浏览

面壁智能

面壁智能依托在自然语言处理方面的前沿技术，构建大规模预训练模型库及配套工具，推进大模型技术与应用的标准化。

创作工具 1970年01月01日 0 点赞 0 评论 221 浏览

岩芯数智大模型

岩芯数智大模型是一个多功能的企业级AI解决方案，它通过提供高效的推理、快速的训练和高准确率，帮助企业提升知识管理能力、优化业务流程，并实现智能化升级。

创作工具 1970年01月01日 0 点赞 0 评论 183 浏览

八斗智能

八斗智能的语义理解模型是一个强大的工具，它通过大规模预训练和行业特定的迁移学习，能够提供高度准确的语义理解服务。

Ai平台模型 1970年01月01日 0 点赞 0 评论 4 浏览

V

创新的自监督学习模型，它通过预测视频帧的特征表示来学习视频的视觉表示。这种方法不仅能够处理视频内容，还能在图像任务上表现出色，具有广泛的应用潜力。

Ai平台模型 1970年01月01日 0 点赞 0 评论 5 浏览

智谱AI 开放平台

智谱AI大模型MaaS开放平台，...

媒体平台 1970年01月01日 0 点赞 0 评论 2 浏览