数据处理
  1. 首页
  2. 数据处理

列表

LongLLaVA

LongLLaVA

LongLLaVA是由香港中文大学（深圳）研究团队开发的多模态大型语言模型，结合Mamba和Transformer模块，利用2D池化技术压缩图像token，大幅提升处理大规模图像数据的效率。该模型在视频理解、高分辨率图像分析及多模态代理任务中表现优异，特别擅长检索、计数和排序任务。其技术亮点包括渐进式训练策略和混合架构优化，支持多种多模态输入处理，广泛应用于视频分析、医学影像诊断、环境监测等领域。
AI项目与工具 2025年06月12日
SPDL

SPDL

SPDL（Scalable and Performant Data Loading）是一款由Meta AI开发的开源工具，专注于提高AI模型训练效率。它通过多线程技术和异步事件循环实现高吞吐量数据加载，降低资源消耗，支持分布式系统和主流AI框架PyTorch，适用于大规模数据集及复杂任务。其主要特点包括高吞吐量、低资源占用、框架无关性、性能监控与调优能力以及分布式系统支持。
AI项目与工具 2025年06月12日
FineWeb 2

FineWeb 2

FineWeb 2是一个涵盖超过1000种语言的多语言预训练数据集，通过语言识别、去重、内容过滤及PII匿名化处理生成。它支持多种NLP任务，如机器翻译和文本分类，旨在增强多语言模型的性能与普适性，并为研究者提供技术验证的工具与资源。
AI项目与工具 2025年06月12日
Project Mariner

Project Mariner

Project Mariner是一款由谷歌DeepMind研发的浏览器助手工具，依托Gemini 2.0技术实现浏览器自动化。该工具能够解析并操作网页内容，涵盖像素、文本、图像及表单等多种形式的数据，支持复杂任务处理与自动化流程管理。此外，它强调用户体验与安全性，在执行关键操作时需获得用户授权。主要应用场景包括数据整理、在线购物、旅行规划及日常消费等领域。
AI项目与工具 2025年06月12日
Large Action Models

Large Action Models

Large Action Models（LAMs）是微软开发的一种智能系统框架，专注于执行真实世界任务。它通过整合数据收集、模型训练、环境交互和评估等阶段，将语言理解转化为具体行动，提升了AI在自动化和增强人类能力方面的影响力。LAMs具备动态规划、自主执行和专业化训练等特点，广泛应用于办公自动化、智能家居管理、客户服务、电子商务等领域。 ---
AI项目与工具 2025年06月12日
SAC

SAC

SAC-KG是一个基于大型语言模型（LLMs）的框架，用于自动化构建领域知识图谱。它包含生成器、验证器和剪枝器三大组件，能从原始语料库生成高精度的特定领域知识图谱，适用于医学、生物学等专业领域。SAC-KG支持大规模数据处理，其精度可达89.32%，显著优于现有方法。
AI项目与工具 2025年06月12日
FlexRAG

FlexRAG

FlexRAG 是一个高效的检索增强生成（RAG）框架，通过压缩编码器和选择性压缩机制优化长上下文处理，提升计算效率与生成质量。支持多模态数据、多种检索器和多数据类型，适用于开放域问答、对话系统、文档摘要等知识密集型任务，具备灵活配置和可扩展性。
AI项目与工具 2025年06月12日
CHRONOS

CHRONOS

CHRONOS是由上海交通大学与阿里巴巴集团联合开发的新闻时间线生成框架，基于大型语言模型（LLMs）实现开放域与封闭域的时间线构建。其核心机制包括迭代自问自答、问题重写与分而治之策略，能够高效处理信息过载与数据噪声，生成结构清晰、逻辑连贯的事件摘要。适用于新闻整理、金融分析、政府决策、教育研究及品牌宣传等多个领域。
AI项目与工具 2025年06月12日
Eko

Eko

Eko是一款由Fellou AI开发的JavaScript框架，基于自然语言处理技术，支持开发者创建从简单指令到复杂流程的智能代理。它具备跨平台兼容性、任务分解与调度能力，以及高度可干预性，适用于自动化测试、数据采集、系统管理等多种场景。其API设计简洁，文档完善，有助于提升开发效率和任务处理能力。
AI项目与工具 2025年06月12日
llmware

llmware

llmware是一款面向企业级应用的统一框架，专注于构建基于小型、专业模型的RAG（检索增强生成）流程。它支持私有部署，可安全集成企业知识源，并提供模型目录、库管理、查询接口及RAG优化模型等功能，以降低开发成本并提升效率。适用于知识管理、自动化流程、数据分析及金融、法律等行业，是企业AI应用开发的理想工具。
AI项目与工具 2025年06月12日