推理
Awesome Chinese LLM
整理了开源的中文大语言模型（LLM），主要关注规模较小、可私有化部署且训练成本较低的模型，目前已收录了100多个相关资源。
DistriFusion
DistriFusion是一个专为加速高分辨率扩散模型在多GPU环境中生成图像的分布式并行推理框架。通过将图像分割成多个小块并分配至不同设备上进行独立处理，它能够在不增加额外训练负担的情况下，将推理速度提升高达六倍，同时保持图像质量。其技术原理包括Patch Parallelism（分片并行）、异步通信、位移补丁并行性等，适用于多种现有的扩散模型。应用场景包括AI艺术创作、游戏和电影制作、VR/A
SearchAgent
SearchAgent-X是由南开大学和伊利诺伊大学厄巴纳香槟分校（UIUC）研究人员开发的高效推理框架，旨在提升基于大型语言模型（LLM）的搜索Agent效率。通过高召回率的近似检索、优先级感知调度和无停顿检索等技术，显著提高系统吞吐量（1.3至3.4倍），降低延迟（降至原来的1/1.7至1/5），同时保持生成质量。该框架优化资源利用率，适用于智能客服、搜索引擎、企业知识管理等多种场景，为复杂A
