实时处理

ReHiFace

ReHiFace-S是一款由硅基智能团队开发的开源AI项目,专注于高保真、实时的人脸替换。该算法具备无需数据训练、高保真度换脸、支持多目标人脸替换、色彩矫正、一键快速部署、Gradio交互界面及支持ONNX格式等特点。ReHiFace-S适用于娱乐、影视制作、VR/AR等多个领域,具有实时处理能力、零样本推理、改进的人脸分割模型等功能。

Ichigo

Ichigo是一款开源的多模态AI语音助手,采用混合模态模型,支持实时处理语音和文本交织序列。它通过统一的Transformer架构实现跨模态联合推理,提供低延迟的实时性能,并支持多语言、多轮对话及模糊输入处理。Ichigo适用于智能家居、个人助理、客户服务、教育和健康咨询等多种应用场景,展现了高效、灵活的技术优势。

EfficientTAM

EfficientTAM是一款由Meta AI研发的轻量级视频对象分割与跟踪模型,基于非层次化Vision Transformer(ViT)构建,通过引入高效记忆模块显著降低了计算复杂度。它能够实现高质量的视频对象分割与多目标跟踪,同时保持较低的延迟和较小的模型尺寸,特别适用于移动设备上的实时视频处理。该模型已在多个视频分割基准测试中表现出色,并支持多种应用场景,包括移动视频编辑、视频监控、增强现

TEN VAD

TEN VAD是一款高性能的实时语音活动检测系统,专为企业级应用设计。它基于深度学习技术,能够精确区分语音和非语音信号,具有低延迟、轻量级和高精度的特点。支持多种平台和编程接口,适用于智能助手、客服机器人等场景,帮助构建更高效、更智能的对话系统。

Pipecat

Pipecat是一款开源Python框架,用于构建语音和多模态对话系统。它整合了语音识别、文本转语音及对话处理功能,支持与主流AI平台集成,采用模块化管道架构,提升开发效率。基于帧的实时处理机制确保流畅交互,适用于语音助手、企业服务、教育、医疗及多模态应用等多种场景。

有道Clear

全球首款100%基于CPU驱动的实时声伴分离插件,提供实时音轨分离、智能音效优化、非实时处理等主要功能。

Vocalist.ai

一款可以使用定制的声乐模型将人声录音转换为专业品质的歌唱和说唱表演的录音室级AI声音转换工具,在几秒钟内将您的声音转变为世界一流的歌手和说唱歌手。

NutWorld

NutWorld是由新加坡国立大学、南洋理工大学与Skywork AI联合开发的视频处理框架,能够高效地将单目视频转换为动态3D高斯表示(Gaussian Splatting)。它基于时空对齐高斯(STAG)表示法,实现视频的时空连贯建模,支持高保真视频重建和多种下游任务,如新视图合成、视频编辑、帧插值和深度预测。该工具具备实时处理能力,适用于视频创作、AR/VR、自动驾驶等多个领域。

SmolLM2

SmolLLM2是一款由Hugging Face研发的紧凑型大型语言模型,支持设备端运行,具有1.7B、360M、135M三种参数规模。它通过监督微调与超反馈优化提升指令理解能力,在文本重写、摘要生成、函数调用等方面表现突出,适用于智能助手、聊天机器人等需要自然语言处理的场景,尤其适合延迟敏感、隐私保护和硬件资源受限的应用。

Ultravox

Ultravox 是一种多模态大型语言模型(LLM),能够直接处理文本和语音输入,无需额外的语音识别步骤。其核心技术包括多模态投影器,用于将音频数据转换为高维空间表示,显著提升语音理解和处理效率。该模型支持实时语音对话、多语言扩展及领域特定知识的学习,适用于智能客服、虚拟助手、语言学习、实时翻译及教育等领域。