推理优化
  1. 首页
  2. 推理优化

列表

RWKV

RWKV

RWKV-7是一种先进的大模型架构，超越传统注意力机制，具备强大的上下文学习能力和高效的训练稳定性。其动态状态更新和学习率调整机制提升了模型性能，适用于文本生成、机器翻译、情感分析、对话系统及多语言处理等多种应用场景。
AI项目与工具 2025年06月12日
Granite 4.0 Tiny Preview

Granite 4.0 Tiny Preview

Granite 4.0 Tiny Preview是IBM推出的轻量级语言模型，具备高效计算能力和紧凑结构，支持在消费级GPU上运行多个长上下文任务。采用混合Mamba-2/Transformer架构，结合高效与精准优势，支持无位置编码（NoPE）处理128K tokens上下文。内存需求降低72%，推理时仅激活1B参数，适用于边缘设备部署、长文本分析及企业级应用开发，适合资源受限环境下的AI研究与
AI项目与工具 2025年06月11日
LaTRO

LaTRO

LaTRO（Latent Reasoning Optimization）是一种用于提升大型语言模型推理能力的框架，通过将推理过程视为潜在分布采样并采用变分推断方法进行优化，无需外部反馈即可增强模型生成高质量推理路径的能力。该框架支持自奖励机制、联合学习及梯度估计等技术，广泛应用于数学问题求解、科学问题解答、编程任务、逻辑推理以及自然语言理解等领域，有助于构建更智能、更自主的问题解决系统。
AI项目与工具 2025年06月12日

混元hunyuan

混元hunyuan
混元hunyuan
混元hunyuan
混元hunyuan
腾讯发布的快思考模型，混元hunyuan-TurboS响应速度较前代产品提升了一倍，首字时延降低了44%。优化后的模型使得即时生成内容流畅，适用于知识、数理和创作等多方面应用。
Ai平台模型 2025年06月05日
PRefLexOR

PRefLexOR

PRefLexOR是由MIT开发的一种基于偏好优化和递归推理的自学习AI框架，能通过多步推理、反思和优化提升输出准确性。其核心技术包括ORPO和DPO，结合“思考令牌”与“反思令牌”实现更精准的推理路径对齐。具备动态知识图谱构建、跨领域推理和自主学习能力，适用于材料科学、信息学等复杂场景，支持开放域问题解决和持续优化。
AI项目与工具 2025年06月12日
MeteoRA

MeteoRA

MeteoRA是一种基于LoRA和混合专家架构的多任务嵌入框架，用于大型语言模型。它支持多任务适配器集成、自主任务切换、高效推理及复合任务处理，提升模型灵活性和实用性。通过动态门控机制和前向加速策略，显著提高推理效率并降低内存占用，适用于多领域问答、多语言对话等场景。
AI项目与工具 2025年06月12日
TeleChat2

TeleChat2

TeleChat2-115B是一款由中国电信人工智能研究院开发的大型语言模型，具备强大的文本生成能力。它支持多语言处理，包括中文和英文，并且能够高效执行多种任务，如文本生成、代码编写、数据分析和语言翻译等。此外，TeleChat2-115B通过先进的架构设计，如Decoder-only结构和Rotary Embedding位置编码方法，提升了模型性能与稳定性。该模型适用于智能客服、内容创作、教育辅
AI项目与工具 2025年06月12日
UltraMem

UltraMem

UltraMem是字节跳动推出的超稀疏模型架构，通过优化内存访问和计算效率，显著降低推理成本并提升速度。其核心技术包括多层结构改进、TDQKR和IVE，使模型在保持性能的同时具备更强的扩展性。适用于实时推理、大规模模型部署及多个行业场景。
AI项目与工具 2025年06月12日
SANA 1.5

SANA 1.5

SANA 1.5是由英伟达联合多所高校研发的高效线性扩散变换器，专用于文本到图像生成任务。其核心优势包括高效的训练扩展、模型深度剪枝、推理时扩展等技术，能够在不同计算预算下灵活调整模型性能。支持多语言输入，并具备开源特性，适用于创意设计、影视制作、教育等多个领域。实验表明，其生成质量接近行业领先水平，同时显著降低计算成本。
AI项目与工具 2025年06月12日
Bamba

Bamba

Bamba-9B是一种基于Mamba2架构的解码型语言模型，专注于提升大型语言模型的推理效率，尤其擅长处理长文本。它通过恒定的KV-cache设计解决了内存带宽瓶颈问题，并在多个开源平台上得到支持。Bamba-9B不仅具有高效的吞吐量和低延迟的特点，还支持模型量化及长上下文长度扩展，适用于多种应用场景，包括机器翻译、智能客服、内容推荐、自动摘要和社会媒体监控等。
AI项目与工具 2025年06月12日