AI项目与工具

OMate

OMate 是一款支持角色扮演与个性化互动的 AI 聊天工具,用户可创建或导入角色卡,实现沉浸式对话体验。具备长期记忆、身份切换、自定义提示词等功能,并支持多平台 API 接入。适用于角色扮演、创作辅助及学习教育等场景,提供灵活且高度定制化的交互方式。

MM

MM-StoryAgent是由上海交通大学X-LANCE实验室与阿里巴巴集团联合开发的开源多模态、多智能体框架,用于生成沉浸式有声故事绘本视频。它结合大型语言模型与多模态生成技术,通过多阶段写作流程和模态对齐优化,提升故事内容的质量与连贯性。支持灵活模块化设计,适用于儿童教育、数字内容创作、在线教育等多个场景,为故事创作提供高效、可定制的解决方案。

DAMODEL

DAMODEL是一个基于GPU算力的AI开发云平台,支持多种主流AI框架和高性能GPU配置,提供开箱即用的开发环境和便捷的数据管理功能。平台具备可视化操作界面、JupyterLab在线访问及多种预置模型,适用于大模型训练、深度学习、数据科学和图像处理等多种应用场景。

Shortbread

Shortbread是一款利用AI技术的漫画生成工具,允许用户通过简单文字描述快速生成完整漫画作品。它支持自定义角色、场景及情感表达,无需绘画技能即可完成个性化创作。Shortbread还提供了场景构建、风格匹配等功能,广泛适用于个人娱乐、教育、营销、新闻等多个领域,帮助创作者提升效率并扩大影响力。

Finedefics

Finedefics是由北京大学彭宇新教授团队开发的细粒度多模态大模型,专注于提升多模态大语言模型在细粒度视觉识别任务中的表现。该模型通过引入对象的细粒度属性描述,结合对比学习方法,实现视觉对象与类别名称的精准对齐。在多个权威数据集上表现出色,准确率达76.84%。其应用场景涵盖生物多样性监测、智能交通、零售管理及工业检测等领域。

KTransformers

KTransformers是一款由清华大学KVCache.AI团队与趋境科技联合开发的开源工具,用于提升大语言模型的推理性能并降低硬件门槛。它支持在24GB显卡上运行671B参数模型,利用MoE架构和异构计算策略实现高效推理,预处理速度达286 tokens/s,推理速度达14 tokens/s。项目提供灵活的模板框架,兼容多种模型,并通过量化和优化技术减少存储需求,适合个人、企业及研究场景使用。

WorldDreamer

WorldDreamer 是一种基于 Transformer 的通用世界模型,具备理解与预测物理世界动态变化的能力,专注于视频生成任务。它支持多种应用场景,包括文本到视频、图像到视频、视频编辑和动作序列生成,利用视觉 Token 化、Transformer 架构和多模态提示技术,实现了高效且高质量的视频生成。

TopView

TopView是一款基于AI技术的在线视频制作工具,能够自动根据输入的产品信息生成视频脚本、故事板,并提供逼真的AI头像、多语言配音及自动字幕等功能。它支持多种语言和跨平台操作,适用于电商营销、产品介绍、应用推广等多种场景,帮助用户低成本高效地制作高质量视频内容。

rStar

rStar-Math是由微软亚洲研究院研发的数学推理工具,采用蒙特卡洛树搜索(MCTS)驱动的深度思考机制,使小型语言模型在数学推理方面达到或超越大型模型水平。通过代码增强的推理轨迹生成、过程偏好模型(PPM)训练和四轮自我进化策略,显著提升了模型的准确率与自我反思能力。该工具已在多个数学基准测试中取得优异成绩,适用于教育、科研、金融、工程和数据分析等多个领域。

LiveKit Agents

LiveKit Agents 是一款基于 Python 的多模态 AI 工具框架,支持实时语音、视频和数据交互。其核心功能包括基于 WebRTC 的低延迟通信、与 OpenAI 等服务的深度集成、丰富的插件生态系统以及负载均衡与自动扩展能力。适用于虚拟助手、客户服务、实时翻译、视频内容审核等多个应用场景。