AI项目与工具

LOKI

LOKI是一个由中山大学与上海AI实验室联合推出的合成数据检测基准,用于评估大型多模态模型在识别视频、图像、3D模型、文本及音频等多模态合成数据方面的性能。它包含超过18,000个问题,涵盖26个子类别,支持多层次标注和细粒度异常注释,并通过自然语言解释增强模型的可解释性。LOKI还通过对比多种开源和闭源模型的表现,揭示了这些模型在合成数据检测任务中的优势与不足。

TripoSR

TripoSR是一款由Stability AI与VAST联合开发的开源3D生成模型,能够在不到0.5秒内从单张2D图像生成高质量的3D模型。基于Transformer架构和大型重建模型(LRM)设计,采用先进的图像编码、三平面NeRF表示及优化训练策略,支持无GPU设备运行。适用于游戏开发、影视制作、建筑设计、产品设计等多个领域,具有高效、高精度和广泛适用性的特点。

HumanRig

HumanRig是由阿里巴巴团队研发的3D人形角色自动绑定系统,提供大规模高质量数据集和先进算法,支持从粗到细的骨架估计与蒙皮优化。其核心组件包括先验引导骨架估计器(PGSE)和网格-骨架互注意网络(MSMAN),适用于游戏开发、影视制作、VR/AR及数字人应用,有效提升3D角色动画制作效率和质量。

海螺视频APP

海螺视频APP是一款基于AI技术的视频生成工具,支持文生视频和图生视频功能,提供丰富的镜头控制选项,让用户能像专业导演一样创作动态视频。该工具适用于多种场景,如社交媒体、广告营销、影视制作等,操作简便,适合各类用户使用。

RealtimeSTT

RealtimeSTT是一款开源的实时语音转文本库,具备高精度语音活动检测、GPU加速的实时转录能力以及语音唤醒功能。支持多语言识别,适用于语音助手、会议记录、实时字幕等场景,提供灵活的音频输入与预处理机制,便于开发者快速集成和扩展。

InstantID

InstantID 是一种基于扩散模型的图像生成技术,专注于实现零次(zero-shot)身份保留(Identity-Preserving)的个性化图像合成。该技术允许用户仅使用一张面部图像,在多种风格中生成个性化的图像,同时确保高保真度。其主要功能包括个性化图像合成、身份特征保留、风格迁移、新视角合成、身份插值和多身份合成。InstantID 兼容预训练模型,无需额外微调即可实现灵活的图像生成。

Optimus

Optimus-1是一款由哈尔滨工业大学(深圳)和鹏城实验室联合开发的智能体框架,专为开放世界环境中的长期任务设计。它结合结构化知识与多模态经验,通过混合多模态记忆模块(HDKG与AMEP)提升任务规划与执行能力。主要功能包括知识引导规划、经验驱动反思、行动控制及自我进化,已在游戏、虚拟助理、工业自动化等领域得到验证。

Playground v3

Playground v3是一款基于大型语言模型(LLM)的文本到图像生成工具,具备240亿参数量的潜扩散架构(LDM),能够精准理解和生成复杂的图像内容,支持RGB颜色控制和多语言文本生成。其核心功能包括文本到图像生成、图形设计、RGB颜色控制和多语言支持,广泛应用于设计、内容创作、游戏开发、广告等多个领域。

iTextMaster

iTextMaster是一款AI驱动的文本分析与交互工具,支持用户通过对话形式快速总结PDF文档和网页内容,具备精准搜索与智能推荐功能。它广泛应用于学术研究、法律行业、商业分析、教育以及项目管理等领域,助力用户高效处理信息并提升工作效率。

Step1X

Step1X-Edit 是由阶跃星辰团队推出的通用图像编辑框架,结合多模态大语言模型与扩散模型,支持多样化的图像编辑任务,如主体修改、背景更换、风格转换等。用户可通过自然语言指令进行操作,系统能精准理解并生成高质量图像。该工具基于大规模数据集训练,具备强大的真实场景适应能力,适用于创意设计、影视制作、社交媒体等多个领域。