推理引擎

TinyR1

TinyR1-Preview是由北京大学与360公司联合研发的32B参数推理模型,采用“分治-融合”策略,通过智能融合数学、编程、科学领域的子模型,实现高性能表现。其在数学领域(如AIME)表现优异,仅用5%参数量即可达到原版R1模型95%以上的性能。模型轻量且高效,适用于教育、科研、开发及企业等多种场景,具备良好的部署灵活性与实用性。

Director

Director是一款基于VideoDB的视频智能处理框架,利用自然语言指令实现视频搜索、编辑、合成及生成等功能,同时支持实时流式传输。它提供了聊天式用户界面和预构建的视频代理,便于开发者和创作者快速构建定制化解决方案。此外,Director适用于视频内容管理、编辑、创作以及教育等多个领域,为企业和内容生产者提升工作效率。

Reka Flash 3

Reka Flash 3 是一款由 Reka AI 开发的开源推理模型,拥有 21 亿参数,支持多模态输入(文本、图像、视频、音频),并可处理最长 32k 个令牌的上下文。它具备高效的推理能力和多语言支持,适用于日常对话、编码辅助、指令执行等多种场景。模型可在本地部署,支持 4 位量化以降低资源占用,适合广泛的应用需求。

赤兔Chitu

Chitu(赤兔)是清华大学与清程极智联合开发的高性能大模型推理引擎,支持多种GPU及国产芯片,打破对特定硬件的依赖。其具备全场景部署能力,支持低延迟、高吞吐、小显存优化,并在性能上优于部分国外框架。适用于金融风控、智能客服、医疗诊断、交通优化和科研等领域,提供高效、稳定的推理解决方案。