计算成本

Hyper

Hyper-SD是由字节跳动研究人员开发的高效图像合成框架,通过轨迹分割一致性蒸馏(TSCD)、人类反馈学习(ReFL)和分数蒸馏等技术,显著降低了扩散模型在多步推理过程中的计算成本。该框架在保持高图像质量的同时,大幅减少了推理步骤,实现了快速生成高分辨率图像,推动了生成式AI技术的发展。

SaRA

SaRA是一种新型预训练扩散模型微调方法,通过重新激活预训练阶段未被充分使用的参数,有效提升模型的适应性和泛化能力。该方法支持核范数低秩稀疏训练,能够防止过拟合并优化模型性能,同时大幅降低计算资源需求。SaRA适用于多种应用场景,包括图像风格迁移、视频生成及下游数据集微调等,仅需少量代码调整即可实现高效微调。

MoE++

MoE++是一种基于混合专家架构的新型深度学习框架,通过引入零计算量专家、复制专家和常数专家,有效降低计算成本并提升模型性能。它支持Token动态选择FFN专家,并利用门控残差机制实现稳定路由,同时优化计算资源分配。该框架易于部署,适用于多种应用场景,包括自然语言处理、智能客服及学术研究。

OmniVision

OmniVision是一款面向边缘设备的紧凑型多模态AI模型,参数量为968M。它基于LLaVA架构优化,能够处理视觉与文本输入,显著降低计算延迟和成本。OmniVision支持视觉问答、图像描述等功能,广泛应用于内容审核、智能助手、视觉搜索等领域。

InftyThink

InftyThink是一种创新的大模型推理范式,通过分段迭代和阶段性总结的方式,突破传统模型在长推理任务中的上下文窗口限制,显著降低计算复杂度并提升推理性能。它适用于数学问题求解、逻辑推理、代码生成、智能辅导及药物研发等多个领域,具备良好的工程可落地性和广泛的适用性。