NoteLLM

NoteLLM 是小红书推出的一款用于笔记推荐的多模态大型语言模型框架。该框架通过生成笔记的压缩嵌入和自动生成标签类别，结合大型语言模型（LLM）的语义理解能力，以及对比学习与指令微调技术，提升了笔记推荐的准确性和相关性。在 NoteLLM-2 中，引入了多模态输入，采用端到端微调策略，结合视觉编码器与 LLM，解决视觉信息未被充分利用的问题。NoteLLM-2 提出了多模态上下文学习（mICL）和晚期融合（late fusion）机制，进一步增强了多模态表示能力，显著提高了多模态推荐任务的效果。目前，该框架已成功应用于小红书的实际推荐系统中。