知识蒸馏
  1. 首页
  2. 知识蒸馏

列表

CLEAR

CLEAR

CLEAR是一种由新加坡国立大学推出的新型线性注意力机制，能够有效提升预训练扩散变换器生成高分辨率图像的效率。该机制通过局部注意力窗口和知识蒸馏技术，实现了线性复杂度，显著减少了计算量和时间延迟，同时保持了高质量的图像生成效果。CLEAR还支持跨模型泛化、多GPU并行推理以及稀疏注意力优化，广泛适用于数字媒体创作、虚拟现实、游戏开发等多个领域。
AI项目与工具 2025年06月12日
DistilQwen2.5

DistilQwen2.5

DistilQwen2.5-R1 是阿里巴巴推出的基于知识蒸馏技术的轻量级深度推理模型，包含多种参数量级，适用于资源受限环境。它具备高效计算、深度推理和高度适应性，支持文本生成、机器翻译、客户服务等多种任务。通过双阶段训练和认知轨迹适配框架，提升了小模型的推理能力，性能优于同类开源模型。
AI项目与工具 2025年06月12日
s1

s1

S1是由斯坦福大学和华盛顿大学联合开发的低成本、高性能AI推理模型，采用知识蒸馏技术从大型模型中提取推理能力。通过1000个高质量问题训练，成本低于50美元，训练时间短于30分钟。S1在数学和编程领域表现卓越，支持测试时扩展技术以优化推理效果，并已在GitHub开源，适用于科学问题解决、智能辅导、自动问答等多种场景。
AI项目与工具 2025年06月12日
DistilQwen2

DistilQwen2

DistilQwen2 是一款基于 Qwen2 大模型优化的轻量级语言模型，通过知识蒸馏技术提高运算效率并降低部署成本。其主要特点包括增强指令遵循能力、轻量级部署、高效运算及多语言支持。DistilQwen2 在知识蒸馏、任务感知课程规划、指令数据优化等方面进行了深入研究，并广泛应用于移动设备、边缘计算、客户服务、内容创作和教育技术等领域。
AI项目与工具 2025年06月12日
Diff

Diff

Diff-Instruct是一种基于积分Kullback-Leibler散度的知识迁移方法，用于从预训练扩散模型中提取知识并指导生成模型的训练。它能够在无需额外数据的情况下，通过最小化IKL散度提升生成模型的性能。Diff-Instruct适用于多种场景，包括预训练扩散模型的蒸馏、现有GAN模型的优化以及视频生成等。
AI项目与工具 2025年06月12日
DINO

DINO

DINO-X是一款由IDEA研究院开发的通用视觉大模型，具备开放世界对象检测与理解的能力。它支持多种提示类型，无需用户额外输入即可识别图像中的任意对象，并在多个基准测试中刷新了性能记录。DINO-X拥有Pro和Edge两个版本，分别针对高性能需求和边缘设备优化。其应用范围涵盖自动驾驶、智能安防、工业检测及机器人视觉等领域，助力行业创新与发展。
AI项目与工具 2025年06月12日
LIMO

LIMO

LIMO是由上海交通大学研发的一种高效推理方法，通过少量高质量训练样本激活大语言模型的复杂推理能力。其核心假设是“少即是多推理假设”，即在预训练阶段已具备丰富知识的模型中，复杂推理能力可通过精心设计的样本被有效激发。LIMO在多个数学推理基准测试中表现优异，且数据使用效率极高，仅需1%的数据即可达到显著效果。适用于教育、科研、工业和医疗等多个领域。
AI项目与工具 2025年06月12日
SnapGen

SnapGen

SnapGen是一款由Snap Inc、香港科技大学和墨尔本大学联合开发的文本到图像扩散模型，专为移动设备设计，支持在1.4秒内生成1024×1024像素的高分辨率图像。它通过优化网络架构、跨架构知识蒸馏和对抗性训练等技术，在保持小模型规模的同时，提供了高质量的图像生成能力，适用于社交媒体、移动应用、教育、新闻等多个领域。
AI项目与工具 2025年06月12日
Llama Nemotron

Llama Nemotron

Llama Nemotron是NVIDIA推出的推理模型系列，具备强大的复杂推理、多任务处理和高效对话能力，适用于企业级AI代理应用。模型基于Llama架构优化，采用神经架构搜索与知识蒸馏技术，提升计算效率。包含Nano、Super和Ultra三种版本，分别面向边缘设备、数据中心和高性能计算场景。广泛应用于科研、客服、医疗、物流和金融等领域。
AI项目与工具 2025年06月12日