1. 首页
  2. 新闻中心
  3. AI项目与工具

AI项目与工具

DreaMoving

DreaMoving

DreaMoving是一个基于扩散模型的人类视频生成框架，由阿里巴巴集团研究团队开发。该框架通过视频控制网络（Video ControlNet）和内容引导器（Content Guider）实现对人物动作和外观的精确控制，允许用户通过文本或图像提示生成个性化视频内容。其主要功能包括定制化视频生成、高度可控性、身份保持、多样化的输入方式以及易于使用的架构设计。DreaMoving广泛应用于影视制作、游
AI项目与工具 2024年01月01日
SWE

SWE

SWE-agent是普林斯顿大学NLP研究团队开发的开源AI工具，旨在帮助程序员和软件工程师解决GitHub存储库中的问题。它通过智能体-计算机接口（ACI）与代码库交互，实现代码浏览、编辑、测试及执行等功能。SWE-agent在SWE-bench测试集上的表现与Devin相近，平均93秒解决问题。其功能包括拉取请求问题解决、代码编辑与修复、自动语法检查、文件查看、全目录字符串搜索、命令与反馈处理
AI项目与工具 2024年01月01日
Voice Engine

Voice Engine

Voice Engine是由OpenAI开发的AI语音合成和声音克隆技术。该技术能够通过15秒的音频样本和文本输入生成自然语音。它已在OpenAI的文本到语音API和ChatGPT的语音功能中应用。Voice Engine广泛应用于教育、翻译、远程服务提供、支持言语残障者以及帮助恢复患者声音等方面。为了确保技术安全，OpenAI实施了严格的使用政策和安全措施。
AI项目与工具 2024年01月01日
Jamba

Jamba

Jamba是由AI21 Labs开发的基于Mamba架构的生产级别大语言模型，结合了结构化状态空间模型（SSM）和传统Transformer架构，具备高吞吐量和低内存占用的特点。Jamba拥有256K的上下文窗口，适用于处理长文本序列，并且以开放权重的形式发布，遵循Apache 2.0开源许可。该模型主要用于研究领域，未来将推出更安全的版本。
AI项目与工具 2024年01月01日
Champ

Champ

Champ是由阿里巴巴、复旦大学和南京大学的研究人员共同开发的一款基于3D的AI工具，能够将人物图片转换为高质量的视频动画。Champ通过结合3D参数化模型和潜在扩散模型，精准捕捉和再现人体的3D形态和动态，保证动画的连贯性和视觉逼真度。此外，Champ还支持跨身份动画生成，并能与文本生成图像模型结合，使用户可以根据文本描述生成特定的角色外观和动作。
AI项目与工具 2024年01月01日
VoiceCraft

VoiceCraft

VoiceCraft是一款开源的神经编解码器语言模型，专攻零样本语音编辑和文本到语音（TTS）任务。它采用Transformer架构，通过token重排过程结合因果掩蔽和延迟叠加技术，实现在现有音频序列内高效生成自然的语音。VoiceCraft在多种口音、风格和噪声条件下表现出色，适用于有声读物制作、视频内容创作、播客音频编辑及多语言内容生产等场景。
AI项目与工具 2024年01月01日
SUPIR

SUPIR

SUPIR是一种创新的图像修复和画质增强方法，基于大规模生成模型StableDiffusion-XL（SDXL）和模型扩展技术。它通过深度学习和多模态方法实现低质量图像的高质量恢复，支持通过文本提示进行图像恢复的精细控制。SUPIR适用于多种应用场景，如老照片修复、模糊图像增强、噪点去除和色彩校正与增强。
AI项目与工具 2024年01月01日
BrushNet

BrushNet

BrushNet是一款基于扩散模型的图像修复工具，采用双分支架构处理遮罩区域。它能够实现像素级修复，保持修复区域与原始图像的一致性和高质量。BrushNet适用于多种场景和风格的图像，包括人类、动物、室内和室外场景，以及自然图像、铅笔画、动漫、插画和水彩画等。通过与预训练扩散模型结合，BrushNet提供灵活的修复控制，同时保留未遮罩区域的细节。
AI项目与工具 2024年01月01日
LATTE3D

LATTE3D

LATTE3D 是由英伟达多伦多AI实验室开发的一种高效生成高质量3D对象的模型。它基于文本描述，能在约400毫秒内生成逼真的3D内容。LATTE3D采用摊销优化方法，增强了对新提示的适应能力。该模型支持文本到3D合成、快速生成、高质量渲染及3D风格化功能，适用于多种应用场景。
AI项目与工具 2024年01月01日
Mora

Mora

Mora是一个多智能体框架，专为视频生成任务设计，通过多个视觉智能体的协作实现高质量视频内容的生成。主要功能包括文本到视频生成、图像到视频生成、视频扩展与编辑、视频到视频编辑以及视频连接。尽管在处理大量物体运动场景时性能稍逊于Sora，Mora仍能在生成高分辨率视频方面表现出色。
AI项目与工具 2024年01月01日