自然语言处理
DistilQwen2
DistilQwen2 是一款基于 Qwen2 大模型优化的轻量级语言模型,通过知识蒸馏技术提高运算效率并降低部署成本。其主要特点包括增强指令遵循能力、轻量级部署、高效运算及多语言支持。DistilQwen2 在知识蒸馏、任务感知课程规划、指令数据优化等方面进行了深入研究,并广泛应用于移动设备、边缘计算、客户服务、内容创作和教育技术等领域。
AgentPrune
AgentPrune 是一种针对大型语言模型驱动的多智能体系统的通信优化框架,通过“剪枝”技术减少冗余通信内容,降低通信成本并提升系统性能。其核心技术包括时空图建模、低秩稀疏图掩码和一次性剪枝,可在 AutoGen 和 GPTSwarm 等框架中无缝集成,实现高达 72.8% 的 token 减少。同时具备对抗攻击防御能力,适用于复杂任务协作和工业级应用。
