推理

SVDQuant

SVDQuant是一种由MIT研究团队开发的后训练量化技术,专注于通过4位量化减少扩散模型的内存占用和推理延迟。它利用低秩分支技术吸收量化异常值,支持DiT和UNet架构,并能无缝集成LoRAs。SVDQuant适用于移动设备、个人电脑、云计算平台及低功耗设备,可大幅提升图像生成和处理效率。

壁仞科技

致力于研发原创性的通用计算体系,建立高效的软硬件平台

E2B

E2B 是一款面向 AI 开发者的工具平台,专注于构建自动化云环境,支持多种大型语言模型和 AI 框架。它提供代码解释与执行、沙箱环境、多代理支持等功能,旨在助力开发者高效构建生产级 AI 应用程序,涵盖代码生成、推理和数据分析等领域。

Claude 3.7 Sonnet

Claude 3.7 Sonnet 是由 Anthropic 推出的混合推理模型,支持标准模式与扩展思考模式,适用于复杂任务处理和日常交互。其在数学、物理、编程等领域表现卓越,尤其在代码生成与理解方面领先。模型优化了安全性,减少误拒率,并支持多平台接入。适用于软件开发、前端设计、科学计算及企业自动化等多个场景。

DistilQwen2.5

DistilQwen2.5-R1 是阿里巴巴推出的基于知识蒸馏技术的轻量级深度推理模型,包含多种参数量级,适用于资源受限环境。它具备高效计算、深度推理和高度适应性,支持文本生成、机器翻译、客户服务等多种任务。通过双阶段训练和认知轨迹适配框架,提升了小模型的推理能力,性能优于同类开源模型。

书生·万象InternVL 2.5

书生·万象InternVL 2.5是一款开源多模态大型语言模型,基于InternVL 2.0升级而来。它涵盖了从1B到78B不同规模的模型,支持多种应用场景,包括图像和视频分析、视觉问答、文档理解和信息检索等。InternVL 2.5在多模态理解基准上表现优异,性能超越部分商业模型,并通过链式思考技术提升多模态推理能力。

Director

Director是一款基于VideoDB的视频智能处理框架,利用自然语言指令实现视频搜索、编辑、合成及生成等功能,同时支持实时流式传输。它提供了聊天式用户界面和预构建的视频代理,便于开发者和创作者快速构建定制化解决方案。此外,Director适用于视频内容管理、编辑、创作以及教育等多个领域,为企业和内容生产者提升工作效率。

Fireworks f1

Fireworks f1 是一款专为复杂推理任务设计的复合型 AI 模型,通过整合多个开源模型提升性能与可靠性。支持开发者通过提示词快速构建复杂 AI 应用,已在编码、对话及数学领域展现卓越能力。同时提供标准版和轻量版供用户选择,并在 AI Playground 提供免费体验。

rStar

rStar-Math是由微软亚洲研究院研发的数学推理工具,采用蒙特卡洛树搜索(MCTS)驱动的深度思考机制,使小型语言模型在数学推理方面达到或超越大型模型水平。通过代码增强的推理轨迹生成、过程偏好模型(PPM)训练和四轮自我进化策略,显著提升了模型的准确率与自我反思能力。该工具已在多个数学基准测试中取得优异成绩,适用于教育、科研、金融、工程和数据分析等多个领域。

MHA2MLA

MHA2MLA是一种由多所高校与研究机构联合开发的数据高效微调方法,基于多头潜在注意力机制(MLA)优化Transformer模型的推理效率。通过Partial-RoPE和低秩近似技术,显著减少KV缓存内存占用,同时保持模型性能稳定。仅需少量数据即可完成微调,适用于边缘设备、长文本处理及模型迁移等场景,具备高兼容性和低资源消耗优势。