开源

开源专题

本专题汇集了与开源相关的各类工具和资源,通过分类整理和详细介绍,帮助用户快速找到适合自己需求的工具,提高工作和学习效率。

WhisperChain

WhisperChain 是一款开源语音识别工具,支持实时语音转文本并提供文本优化功能,可去除填充词、优化语法。用户可通过全局热键快速启动语音输入,处理结果自动复制到剪贴板。支持 Streamlit 界面与 FastAPI 架构,适用于会议记录、写作辅助等场景。

FunASR

FunASR是一个由阿里巴巴达摩院开源的多功能语音识别工具包,涵盖语音识别(ASR)、语音活动检测(VAD)、标点恢复、说话人验证及分离等功能。它支持工业级模型的训练与微调,并提供预训练模型和易用接口,便于快速部署。新增的Whisper-large-v3-turbo模型进一步提升了其性能,广泛应用于智能助手、会议记录、客服系统和语音搜索等领域。

InfiniteYou

InfiniteYou 是由字节跳动推出的基于扩散变换器的身份保持图像生成框架,通过 InfuseNet 注入身份特征,确保生成图像与输入图像的高度相似。结合多阶段训练策略,提升文本与图像对齐、图像质量和美学效果。支持插件化设计,兼容多种工具,适用于社交媒体、影视制作、广告营销等多个领域。

LangGraph

LangGraph 是一款基于图结构的 Agent 框架,专为构建状态化、多智能体系统设计,尤其适用于与大型语言模型(LLMs)协作的场景。其主要功能包括支持循环和条件逻辑、持久性状态管理、人工干预以及与 LangChain 的无缝集成。通过灵活的状态控制和条件边定义,LangGraph 能够高效支持复杂业务流程的自动化,同时具备强大的流式输出能力,广泛应用于客户服务、数据分析、业务流程优化和个性

LLaVA

LLaVA-OneVision是字节跳动开发的开源多模态AI模型,主要功能包括多模态理解、任务迁移、跨场景能力、开源贡献及高性能。该模型采用多模态架构,集成了视觉和语言信息,通过Siglip视觉编码器和Qwen-2语言模型,实现高效特征映射和任务迁移学习。广泛应用于图像和视频分析、内容创作辅助、聊天机器人、教育和培训以及安全监控等领域。

Maya

Maya是一款开源多语言多模态模型,基于LLaVA框架开发,支持中文、法语、西班牙语等多种语言,专注于提升低资源语言的AI内容生成能力。它结合图像和文本数据,实现跨模态对齐和指令微调,广泛应用于跨语言内容理解、图像分析、教育和电子商务等领域。

Soundwave

Soundwave是由香港中文大学(深圳)开发的开源语音理解大模型,专注于语音与文本的智能对齐与处理。它采用对齐适配器和压缩适配器技术,提升语音特征压缩效率,支持语音翻译、语音问答、情绪识别及多模态交互等功能。适用于智能语音助手、语言学习、内容创作等多个领域,具有广泛的应用前景。

HuatuoGPT

HuatuoGPT-o1是一款专为医学领域设计的复杂推理模型,具备强大的复杂推理、错误识别与修正能力。通过两阶段训练方法及强化学习技术,该模型能够生成详尽的推理链条,有效提升医疗问题解决效率。它已在多个医学基准测试中展现出卓越性能,并在医学诊断、个性化治疗方案制定、教育及药物研发等领域具有广泛应用潜力。

Video

Video-LLaVA2是一款由北京大学ChatLaw课题组开发的开源多模态智能理解系统。该系统通过时空卷积(STC)连接器和音频分支,显著提升了视频和音频的理解能力。其主要功能包括视频理解、音频理解、多模态交互、视频问答和视频字幕生成。时空建模和双分支框架是其核心技术原理。Video-LLaVA2广泛应用于视频内容分析、视频字幕生成、视频问答系统、视频搜索和检索、视频监控分析及自动驾驶等领域。

WarriorCoder

WarriorCoder是由华南理工大学与微软联合开发的代码生成大语言模型,采用专家对抗机制生成高质量训练数据,无需依赖专有模型或数据集。它具备代码生成、优化、调试、推理及多语言支持等功能,在代码生成、库使用等任务中达到SOTA性能,适用于自动化开发、教育辅助及跨语言转换等场景。模型通过Elo评分系统和裁判评估确保训练数据质量,提升泛化能力与多样性。

评论列表 共有 0 条评论

暂无评论