大语言模型

FlashMLA

FlashMLA 是 DeepSeek 开发的开源 MLA 解码内核,针对 NVIDIA Hopper 架构 GPU 优化,提升可变长度序列处理效率。支持 BF16 精度、页式 KV 缓存及分块调度,内存带宽达 3000 GB/s,算力达 580 TFLOPS。适用于大语言模型推理和 NLP 任务,具备高性能与低延迟特性,支持快速部署与性能验证。

AgentSociety

AgentSociety是由清华大学开发的基于大语言模型的社会模拟平台,通过构建具有“类人心智”的智能体,模拟复杂的社会行为与现象。平台支持城市环境建模、大规模社会模拟和科研工具集成,适用于社会舆论传播、政策评估、社会极化分析及灾害响应研究。其技术特点包括异步模拟架构、分布式计算和MQTT通信,具备高度可扩展性和实时交互能力。

unsloth

Unsloth 是一款高效开源的LLM微调工具,通过优化计算流程和GPU内核设计,大幅提升训练速度并降低内存占用。支持多种主流大模型,提供动态量化、长上下文支持等功能,适用于学术研究、企业应用及资源受限环境中的模型优化。

好伴AI

好伴AI是一款基于全科医学大语言模型的智能健康助手,支持24小时在线健康咨询与报告解读,可分析化验单、体检报告并提供个性化建议。具备数字专家分身、健康档案管理、健康预警等功能,支持中英文双语,适用于多种健康场景,帮助用户更好地管理自身健康。

Satori

Satori是一款由MIT和哈佛大学等机构联合开发的7B参数大语言模型,专注于提升推理能力。其采用COAT机制和两阶段训练框架,结合强化学习优化模型性能,具备自回归搜索、数学推理、跨领域任务处理以及自我纠错等核心能力。Satori在数学和逻辑推理任务中表现突出,广泛应用于科研、教育、智能客服等多个领域,代码、数据和模型均已开源。

LangBot

LangBot 是一款开源的多平台即时通讯机器人,支持多种主流通信工具及大语言模型。具备多模态交互、多轮对话、插件扩展和安全管理等功能,适用于企业客服、个人助理、社区管理、教育辅导和内容创作等场景,提供灵活、安全的自动化服务。

LIMO

LIMO是由上海交通大学研发的一种高效推理方法,通过少量高质量训练样本激活大语言模型的复杂推理能力。其核心假设是“少即是多推理假设”,即在预训练阶段已具备丰富知识的模型中,复杂推理能力可通过精心设计的样本被有效激发。LIMO在多个数学推理基准测试中表现优异,且数据使用效率极高,仅需1%的数据即可达到显著效果。适用于教育、科研、工业和医疗等多个领域。

MnnLlmApp

MnnLlmApp 是阿里巴巴基于 MNN-LLM 框架开发的开源 Android 应用,支持多种大语言模型在本地运行。具备多模态交互能力,可处理文本、图像、音频等多种输入输出任务。应用经过 CPU 推理优化,运行效率高,支持离线使用,保障数据安全。内置 Qwen、Gemma、Llama 等主流模型,适用于内容创作、智能助手、语言学习及创意设计等多种场景。

CoA

CoA是由谷歌开发的多智能体协作框架,用于解决大语言模型在处理长文本任务时的上下文限制问题。它将长文本分割成多个片段,由多个智能体依次处理并通过链式通信传递关键信息,最终由管理智能体整合生成结果。该框架无需额外训练,支持多种任务类型,如问答、摘要和代码补全,且具有高效性和可扩展性。其时间复杂度优化显著提升了处理长文本的效率。

Mistral Small 3

Mistral Small 3 是一款由 Mistral AI 推出的开源大语言模型,具备 240 亿参数,支持多语言处理,适用于低延迟场景。模型基于 Transformer 架构,支持长文本输入,具备高性能和本地部署能力。其可定制性强,适用于虚拟助手、客服系统、自动化任务及专业领域应用,如医疗和法律咨询。