框架

Crawl4LLM

Crawl4LLM是由清华与CMU联合开发的智能爬虫系统,通过评估网页对大语言模型预训练的价值,提升数据获取效率。支持多种爬取模式,具备状态保存、数据可视化功能,并与DCLM框架兼容。采用多维度评分机制优化爬取策略,减少低价值内容抓取,降低对网站负担,适用于LLM预训练、数据集构建等场景。

Airtest

​Airtest AI是一个强大的旨在实现跨台的移动应用程序测试的自动化开源框架。它为开发人员提供了一套全面的工具和功能,以简化测试过程并确保其应用程序的可靠性和性能。

MedReason

MedReason是由多所高校联合开发的医学推理框架,通过知识图谱增强大型语言模型在医学领域的推理能力。其核心功能包括生成高质量推理数据、提升模型性能、确保医学准确性,并支持多种医学任务。MedReason采用医学实体提取、路径搜索、链式推理生成和质量过滤等技术,有效提升模型在复杂临床场景中的表现。项目提供开源代码、模型和论文,适用于医学问答、辅助诊断、教育培训及研究等领域。

Yesicon

一个支持中文搜索的高品质、开源、免费的矢量图标库。利用 ChatGPT API将Iconify 的21万个图标名做翻译并扩展成中文的关键词,使用户能以中文搜索到想要的图标。

法宝来签

北大法宝推出的一个大模型驱动的智能合同SaaS法律助手,法宝来签通过利用大模型技术和海量法律数据,提供智能合同审查、合同对比、智能问答和合同文本编辑等功能。

DRT

DRT-o1是一套由腾讯研究院开发的基于长链思考推理(CoT)技术的AI翻译模型,专门针对文学作品翻译设计,尤其擅长处理比喻和隐喻等复杂修辞手法。模型通过多智能体框架和迭代优化机制,显著提升了翻译质量和效率,同时具备强大的复杂语言结构处理能力。DRT-o1已在多个应用场景中展现出广泛潜力,包括文学翻译、跨文化交流、教育辅助以及多语言内容创作等领域。

MT

MT-MegatronLM 是摩尔线程推出的开源混合并行训练框架,支持密集模型、多模态模型和 MoE 模型的高效训练。采用 FP8 混合精度、高性能算子库和集合通信库,提升 GPU 集群算力利用率。通过模型并行、数据并行和流水线并行技术,实现大规模语言模型的高效分布式训练,适用于科研、企业及定制化 AI 应用场景。

UniFluid

UniFluid是由谷歌DeepMind与麻省理工学院联合开发的统一自回归框架,支持图像生成与视觉理解任务。它通过连续视觉标记处理多模态输入,结合Gemma模型和VAE技术,实现高质量图像生成与强大视觉理解能力。该框架在图像编辑、视觉问答和图像描述等任务中表现出色,具备良好的下游任务迁移能力,适用于创意设计、内容创作等多个领域。