开源

Mooncake

Mooncake是一个以KVCache为中心的分布式大模型推理架构,由Kimi联合清华大学等机构开源。它通过分离预填充和解码阶段,有效利用GPU集群的其他资源,显著提升推理吞吐量,降低算力消耗,同时保持低延迟。Mooncake支持长上下文处理、负载均衡及过载管理,适用于多种应用场景,包括自然语言处理、语音识别、搜索引擎优化等,推动大模型技术的高效应用。

Jina Reader

Jina Reader是一款由Jina AI开发的开源工具,专注于将互联网上的HTML网页内容转换为适合大型语言模型处理的纯文本格式。它支持多种内容格式,具备流模式、JSON模式和Alt生成模式等功能,能够高效提取网页核心内容,去除冗余信息,并通过自然语言处理和动态内容处理技术提升文本质量和理解能力。Jina Reader适用于内容聚合、SEO优化、学术研究及个性化推荐等多个领域。

Awesome Chinese LLM

整理了开源的中文大语言模型(LLM),主要关注规模较小、可私有化部署且训练成本较低的模型,目前已收录了100多个相关资源。

Botgroup.chat

Botgroup.chat 是一款支持多人 AI 交互的聊天平台,用户可自定义 AI 角色并进行群聊互动。平台兼容多种 AI 模型,支持实时对话、Markdown 排版及数学公式显示,具备上下文记忆和角色管理功能。项目基于 React 和 Cloudflare Pages 构建,部署便捷,代码开源,适用于语言学习、创意讨论等多种场景。

VideoSrt

VideoSrt是一个可以识别视频语音自动生成字幕SRT文件的开源软件工具。适用于快速、批量的为媒体(视频/音频)生成中/英文字幕、文本文件的业务场景。

Laminar

Laminar是一款面向大型语言模型(LLM)的开源可观测性和分析平台,具备自动追踪LLM调用与数据库交互、事件驱动分析及数据标注等功能,同时支持高效的数据存储与可视化展示。其目标是提升LLM应用的透明度和效率,适用于开发调试、性能监控、用户体验优化及业务决策支持等多个场景。

AutoTrain

AutoTrain是一款由Hugging Face开发的无代码平台,支持用户通过上传数据快速创建和部署定制化的AI模型。它涵盖多种机器学习任务,如文本分类、图像识别及表格数据分析,并提供自动化的数据预处理、分布式训练、超参数优化等功能,适用于自然语言处理、计算机视觉等多个领域。其核心优势在于简化了模型训练流程,使非技术人员也能高效构建高质量模型。 ---

SurfSense

SurfSense是一款开源的AI研究工具,具备强大的搜索功能和自然语言交互能力。它支持多种外部数据源集成,如搜索引擎、Slack、Notion等,并允许用户上传多种格式的文件,整合到个人知识库中。SurfSense采用RAG技术,结合语义和全文搜索,提升检索效率和准确性。同时支持本地部署,保障数据隐私,适用于个人知识管理、学术研究、企业协作等多种场景。

SwiftChat

一款基于React Native开发的快速、安全、跨平台聊天应用,支持实时流式聊天功能和Markdown语法,还可以生成AI图像,兼容DeepSeek、Amazon Bedrock、Ollama和OpenAI等模型。