AI项目与工具

KHOJ

KHOJ是一款开源的AI助手,支持多源知识整合与语义搜索,兼容多种文档格式和AI模型。提供图像生成、语音交互、跨平台访问等功能,支持本地与云端部署,适用于个人知识管理、学习研究、团队协作等场景,具有高度灵活性和可扩展性。

twee

twee是一款面向英语教师的AI工具平台,主要功能包括基于YouTube视频生成问题、创作多样化教学内容(如对话、故事、文章等),并支持多种练习类型(词汇、听力、口语、语法等)。它通过智能化手段简化课程准备,提升教学效率,适用于课堂教学、个性化学习及远程教学等多种场景。

Ultravox

Ultravox 是一种多模态大型语言模型(LLM),能够直接处理文本和语音输入,无需额外的语音识别步骤。其核心技术包括多模态投影器,用于将音频数据转换为高维空间表示,显著提升语音理解和处理效率。该模型支持实时语音对话、多语言扩展及领域特定知识的学习,适用于智能客服、虚拟助手、语言学习、实时翻译及教育等领域。

PromptBase

PromptBase是一个在线平台,专注于AI提示词的交易与应用。用户可以浏览并购买由专业AI创作者制作的提示词,涵盖多种AI模型及应用场景;同时,用户也可上传自己的提示词成为卖家,或利用这些提示构建AI应用程序。PromptBase支持内容生成、艺术创作、社交媒体营销、游戏开发等多个领域,为AI技术的普及与创新提供了有力支持。

MarDini

MarDini是一款融合掩码自回归(MAR)和扩散模型(DM)的先进视频生成工具,支持视频插值、图像到视频生成、视频扩展等多种任务。它通过优化计算资源分配,提高了视频生成的效率与灵活性,并具备从无标签数据中进行端到端训练的能力,展现出强大的可扩展性与效率。

CogView

CogView-3-Plus是智谱AI研发的AI文生图模型,采用Transformer架构替代传统的UNet,优化了扩散模型中的噪声规划。它能够根据用户指令生成高质量、高美学评分的图像,支持多种分辨率,并具有实时生成图像的能力。该模型已被集成到“智谱清言”APP中,并提供API服务,适用于艺术创作、游戏设计、广告制作等多个图像生成领域。

Finedefics

Finedefics是由北京大学彭宇新教授团队开发的细粒度多模态大模型,专注于提升多模态大语言模型在细粒度视觉识别任务中的表现。该模型通过引入对象的细粒度属性描述,结合对比学习方法,实现视觉对象与类别名称的精准对齐。在多个权威数据集上表现出色,准确率达76.84%。其应用场景涵盖生物多样性监测、智能交通、零售管理及工业检测等领域。

SyncAnimation

SyncAnimation是一款基于音频驱动的实时动画生成框架,能够生成与音频同步的上半身姿态和面部表情,包括嘴唇动作。采用NeRF技术,结合音频到姿态和表情的同步模块,实现实时渲染与高精度动画生成。支持多种推理方式,具备高同步性和自然表现力,适用于虚拟主播、视频会议、动画制作、游戏开发及智能客服等多个领域。

Kokoro

Kokoro-TTS是一款由hexgrad开发的轻量级文本转语音工具,基于StyleTTS 2与ISTFTNet架构,支持多种语音风格和自然语调,具备实时处理能力。支持美式与英式英语,提供10种语音包,适用于教育、游戏、客服等多种场景。支持本地部署与API集成,确保数据安全与高效运行。

SEMIKONG

SEMIKONG是一款针对半导体行业的大型语言模型,专注于解决制造与设计中的复杂问题。它通过整合专家知识、优化预训练流程及微调,实现了对刻蚀等领域的深刻理解,显著提升了半导体制造过程的效率和质量。此外,它还辅助IC设计、提供异常检测与预测性维护支持,并通过专家反馈循环持续改进模型性能,为行业带来了高效的解决方案。