Memory Layers
Memory Layers是一种由Meta研发的技术，通过引入可训练的键值查找机制，为模型增加了额外参数而不增加计算负担。它通过稀疏激活模式补充计算密集型前馈层，显著提升了模型在事实性任务中的表现，同时增强了模型的记忆与知识获取能力。Memory Layers的核心优势在于其高效的信息存储与检索机制，并且在问答、语言模型、推荐系统、知识图谱及对话系统等场景中具有广泛应用前景。
Transformer
Bocha Semantic Reranker
Bocha Semantic Reranker是一款基于语义的排序模型，用于提升搜索和问答系统的准确性。它通过二次优化初步排序结果，评估查询与文档的语义相关性，并为文档分配语义得分。该工具支持多种语言模型，适用于搜索引擎优化、问答系统、推荐系统和智能客服等领域，旨在改善用户体验并提高系统效率。
KuaiFormer
KuaiFormer是一款基于Transformer架构的检索框架，专为大规模内容推荐系统设计。它通过重新定义检索流程，将传统分数估计任务转换为“下一个动作预测”，从而实现高效的多兴趣提取和实时兴趣捕捉。KuaiFormer具备多兴趣查询Token、自适应序列压缩、稳定训练等核心技术，已在快手App的短视频推荐系统中广泛应用，显著提升了用户体验和平台效率。
---
