推理框架
Gemma 3 QAT
Gemma 3 QAT 是谷歌推出的开源 AI 模型，采用量化感知训练技术，在降低显存需求的同时保持高性能。它支持多模态任务，具备 128,000-token 长上下文处理能力，并可在消费级 GPU 和边缘设备上运行。适用于视觉问答、文档分析、长文本生成等场景，同时兼容多种推理框架，便于部署。
SearchAgent
SearchAgent-X是由南开大学和伊利诺伊大学厄巴纳香槟分校（UIUC）研究人员开发的高效推理框架，旨在提升基于大型语言模型（LLM）的搜索Agent效率。通过高召回率的近似检索、优先级感知调度和无停顿检索等技术，显著提高系统吞吐量（1.3至3.4倍），降低延迟（降至原来的1/1.7至1/5），同时保持生成质量。该框架优化资源利用率，适用于智能客服、搜索引擎、企业知识管理等多种场景，为复杂A
