上下文处理

APB

APB是一种由清华大学等机构开发的分布式长上下文推理框架,通过稀疏注意力机制和序列并行推理提升大模型处理长文本的效率。采用更小的Anchor Block和Passing Block,结合查询感知的上下文压缩技术,减少计算开销并精准传递关键信息。在128K长度文本上,APB推理速度比Flash Attention快10倍,比Star Attention快1.6倍,适用于多种分布式环境和模型规模,广泛

浦语灵笔

浦语灵笔IXC-2.5是一款由上海人工智能实验室开发的多模态大模型,具备7B规模的大型语言模型后端,能够处理长上下文、超高分辨率图像和细粒度视频理解,支持多轮多图像对话。该模型可以自动生成网页代码和高质量图文内容,在多模态基准测试中表现出色,性能可与OpenAI的GPT-4V相媲美。

猎户星空大模型

百亿级模型SOTA,支持 32万 tokens 的上下文能够一次性接受并处理约 45 万汉字的输入内容准确提取关键信息。

ChatDLM

ChatDLM是由Qafind Labs开发的高效扩散语言模型,结合区块扩散与专家混合技术,具备7B参数规模,推理速度达2800 tokens/s,支持131,072 tokens的超长上下文处理。其核心优势包括高效文本生成、可控生成与局部修复、资源高效性及动态优化能力。适用于多轮对话、实时情绪监测、长文档创作及学术研究等场景,支持垂直领域知识召回率提升至95.6%。

ModernBERT

ModernBERT是一种基于Transformer架构的新型编码器-only模型,是对经典BERT模型的深度优化版本。它通过在大规模数据集上的训练,提升了对长上下文的理解能力,并在信息检索、文本分类、实体识别等多个自然语言处理任务中展现出卓越性能。此外,ModernBERT在速度和资源效率方面均有显著改进,适合应用于多个领域。

Command A

Command A 是 Cohere 推出的企业级生成式 AI 模型,具备高性能和低硬件需求,支持 256k 上下文长度及 23 种语言。集成 RAG 技术,提升信息准确性。适用于文档分析、多语言处理、智能客服和数据分析等场景,适合企业部署使用。

Qwen

Qwen-Agent 是基于通义千问模型的开源 Agent 开发框架,支持指令遵循、工具使用、记忆能力、函数调用、代码解释器和 RAG 等功能,能够处理大规模上下文并快速开发复杂 AI 应用。其技术优势包括大语言模型、工具集成、智能代理架构和 RAG 算法,适用于客户服务、个人助理、教育学习、内容创作和技术支持等多个场景。

LongWriter

LongWriter是一款由清华大学与智谱AI合作开发的长文本生成模型,能够生成超过10,000字的连贯文本。该模型基于增强的长上下文大型语言模型,采用了直接偏好优化(DPO)技术和AgentWrite方法,能够处理超过100,000个token的历史记录。LongWriter适用于多种应用场景,包括学术研究、内容创作、出版行业、教育领域和新闻媒体等。

Fox

Fox-1是一系列由TensorOpera开发的小型语言模型,基于大规模预训练和微调数据,具备强大的文本生成、指令遵循、多轮对话和长上下文处理能力。该模型在多个基准测试中表现出色,适用于聊天机器人、内容创作、语言翻译、教育辅助和信息检索等多种应用场景。

Augment Agent

Augment Agent 是一款 AI 编程助手,支持 VS Code 和 JetBrains,具备强大上下文处理能力(最高 20 万 tokens),可自动学习用户编码风格并保持一致性。支持多模态输入、代码检查点、终端命令及跨平台协作,适用于复杂代码库开发和日常编程任务,性能在基准测试中表现优异。