模型

MARS

MARS是一款由字节跳动开发的优化框架,专注于提升大型模型训练效率。它融合了预条件梯度方法与方差减少技术,并通过缩放随机递归动量技术优化梯度估计。MARS支持多种Hessian近似方式,可生成基于AdamW、Lion和Shampoo的优化算法实例。该框架适用于深度神经网络、大规模语言模型、计算机视觉任务及强化学习等领域,能有效加速模型收敛并提高训练稳定性。

FinGPT

FinGPT是一款面向金融领域的开源大语言模型,基于自然语言处理技术,支持情感分析、关系提取、标题分类和命名实体识别等多种金融任务。它采用端到端框架,结合低秩适配(LoRA)和基于股价的强化学习(RLSP),实现高效的数据处理与模型优化。适用于投资分析、市场研究、量化交易等多个场景,具备多语言支持和实时数据分析能力,为金融决策提供智能化解决方案。

Agent TARS

Agent TARS 是字节跳动推出的开源多模态 AI 代理工具,支持浏览器、命令行和文件系统的集成,实现复杂任务的自动化执行。其核心功能包括代理工作流、数据处理、代码生成与解释等。基于事件流和模型上下文协议(MCP),Agent TARS 能高效分解任务并实时反馈结果,适用于网页自动化、任务管理、数据分析和代码辅助等多种场景。目前支持 macOS 平台,处于技术预览阶段。

AIMv2

AIMv2是苹果公司开发的开源多模态自回归预训练视觉模型,通过图像与文本的深度融合提升视觉理解能力。其采用图像块与子词标记拼接的方式进行自回归预训练,支持多种参数规模,适用于不同设备。具备视觉问答、指代表达理解、图像字幕生成、多媒体检索等功能,并可无缝集成到大型语言模型中。模型在多个视觉任务中表现优异,具备良好的可扩展性和零样本适应能力。

Moonshine

Moonshine是一款专为资源受限设备设计的高效语音识别模型,支持实时语音转文本,具有低延迟、高准确率的特点。它基于编码器-解码器架构和旋转位置嵌入技术,适应不同长度的音频输入,计算需求随音频长度变化而调整,适合边缘设备部署。主要应用于会议转录、语音助手、听力辅助及多语言翻译等领域。

FluxMusic

FluxMusic 是一个开源的音乐生成工具,能够将文本描述转化为音乐。它采用先进的扩散模型和Transformer架构,通过修正流技术提高音乐的自然度和质量。该工具支持多种规模的模型,具备文本到音乐生成、语义理解、多模态融合等功能,适用于音乐创作、影视配乐、游戏音乐生成等多种场景。

Marco

Marco是一款由阿里国际研发的大规模商用翻译大模型,支持15种主流语种,具备基于语境的精准翻译能力。其核心功能包括多语种翻译支持、跨境电商优化、多样化风格翻译以及高并发处理能力。Marco采用深度学习技术,结合多语言数据筛选和参数扩展方法,确保翻译质量和效率。它广泛应用于商品信息本地化、多语言客户服务、跨境电商平台及个人文档翻译等领域,助力全球化沟通。

libcom

libcom是一款由上海交通大学BCMI实验室开发的图像合成工具箱,支持图像融合、和谐化、阴影生成、对象放置及生成式合成等功能,采用传统图像处理与深度学习技术相结合的方式,提供高质量的合成图像解决方案。适用于增强现实、艺术创作、电子商务、影视制作及游戏开发等多个领域。

VideoRefer

VideoRefer是由浙江大学与阿里达摩院联合开发的视频对象感知与推理系统,基于增强型视频大型语言模型,实现对视频中对象的细粒度理解与分析。其核心包括大规模视频数据集、多功能空间-时间编码器和全面评估基准,支持对象识别、关系分析、推理预测及多模态交互等功能,适用于视频剪辑、教育、安防、机器人控制和电商等多个领域。