模型

Cua

Cua 是一款基于 Apple Silicon 的开源 AI 代理工具,支持在 macOS 上运行高性能的虚拟机,并实现 AI 对桌面应用的操作。其核心功能包括虚拟化、任务自动化、多模型兼容与安全隔离。适用于开发、办公、教育及安全测试等多个场景,提供高效、灵活的 AI 操作体验。

LongReward

LongReward是一种由清华大学、中国科学院及智谱AI联合开发的AI工具,专注于通过多维度评估(有用性、逻辑性、忠实性和完整性)来优化长文本大型语言模型的表现。它利用现成的语言模型提供奖励信号,并结合强化学习算法改善模型性能,特别擅长处理复杂长文本任务,如文档理解、摘要生成及特定领域的数据分析,如法律、金融和医疗。

VideoDrafter

一个高质量视频生成的开放式扩散模型,相比之前的生成视频模型,VideoDrafter最大的特点是能在主体不变的基础上,一次性生成多个场景的视频。

MoshiVis

MoshiVis是一款由Kyutai开发的开源多模态语音模型,支持图像与语音的自然交互。它基于Moshi 7B架构,集成了视觉编码器和跨注意力机制,实现低延迟、自然流畅的对话体验。支持多种后端部署,适用于无障碍应用、智能家居、教育及工业场景,提升人机交互的智能化水平。

Kandinsky

Kandinsky-3是一款基于潜在扩散模型的文本到图像生成框架,支持文本到图像生成、图像修复、图像融合、文本-图像融合、图像变化生成及视频生成等多种功能。其核心优势在于简洁高效的架构设计,能够快速生成高质量图像并提升推理效率。

FireRedASR

FireRedASR是小红书推出的工业级自动语音识别(ASR)模型系列,支持普通话、中文方言和英语,具备高精度和高效推理能力。其包含FireRedASR-LLM和FireRedASR-AED两个版本,分别聚焦于极致精度和计算效率。模型在多个场景如智能助手、视频字幕生成、歌词识别和语音输入中表现出色,且已开源,推动语音识别技术的发展。

AvatarGO

AvatarGO是由南洋理工大学、上海AI Lab和香港大学联合开发的AI框架,能够根据文本描述生成高质量的4D人体与物体交互场景。其核心在于利用LLM引导的接触重定位、空间感知的分数蒸馏采样和运动优化技术,实现精确的接触识别与动画生成,有效解决穿透问题。支持多种人物与物体组合,适用于虚拟导购、展厅讲解、VR/AR内容创作等多个领域。

StreamBridge

StreamBridge是一款由苹果与复旦大学联合开发的端侧视频大语言模型框架,支持实时视频流的理解与交互。通过内存缓冲区和轮次衰减压缩策略,实现长上下文处理与主动响应。项目配套发布Stream-IT数据集,包含60万样本,适用于多种视频理解任务,展现出在视频交互、自动驾驶、智能监控等领域的应用前景。

Hunyuan3D 2.0

Hunyuan3D 2.0是腾讯推出的3D资产生成系统,支持从文本和图像生成高分辨率3D模型。系统采用两阶段生成流程,包含几何生成与纹理合成两个核心模块,具备高精度、高质量输出能力。支持多平台使用,涵盖游戏开发、UGC创作、电商、工业设计等多个应用场景,并提供多个开源模型供研究与开发使用。

AnimeGamer

AnimeGamer是一款由腾讯PCG与香港城市大学联合开发的动漫生活模拟系统,基于多模态大语言模型(MLLM),支持玩家通过自然语言指令操控动漫角色,沉浸于动态游戏世界中。系统能生成高一致性的动态动画视频,并实时更新角色状态,如体力、社交和娱乐值。其核心技术包括多模态表示、视频扩散模型及上下文一致性机制,适用于个性化娱乐、创意激发、教育辅助及游戏开发等多种场景。