1. 首页
2. 新闻中心
3. AI项目与工具

VLOGGER

VLOGGER AI是一款由谷歌研究团队开发的多模态扩散模型，主要用于从单一输入图像和音频样本生成逼真的、连贯的人像动态视频。该工具能够根据音频控制人物动作，包括面部表情、唇部动作、头部运动、眼神、眨眼及上身和手部动作，实现音频驱动的视频合成。VLOGGER生成的视频具有高度的真实性和多样性，能够展示原始主体的不同动作和表情。此外，VLOGGER还可以用于编辑现有视频和跨语言视频内容适配。

AI项目与工具 2024年01月01日 12 点赞 0 评论 385 浏览

Open

Open-Sora是一个开源视频生成模型，基于DiT架构，通过三个阶段的训练（大规模图像预训练、大规模视频预训练和高质量视频数据微调），生成与文本描述相符的视频内容。该模型包括预训练的VAE、文本编码器和STDiT（Spatial-Temporal Diffusion Transformer）核心组件，利用空间-时间注意力机制和交叉注意力模块实现视频生成。项目旨在提供全面的视频生成模型训练过程，供

AI项目与工具 2024年01月01日 97 点赞 0 评论 211 浏览

Grok

Grok-1是由xAI公司开发的大型语言模型，具备3140亿参数，是目前参数量最大的开源大语言模型之一。该模型基于Transformer架构，专用于自然语言处理任务，如问答、信息检索、创意写作和编码辅助等。尽管在信息处理方面表现出色，但需要人工审核以确保准确性。此外，Grok-1还提供了8bit量化版本，以降低存储和计算需求。

AI项目与工具 2024年01月01日 10 点赞 0 评论 295 浏览

Follow

Follow-Your-Click是一款由腾讯、清华大学和香港科技大学合作开发的图像到视频生成模型。它允许用户通过简单的点击和动作提示将静态图像转化为包含局部动画效果的动态视频。主要功能包括直观的用户界面、局部动画生成、多对象处理、简短动作提示、高质量视频生成及运动速度控制。其工作原理涉及用户交互、图像分割、第一帧遮罩策略、运动增强模块和基于光流的运动幅度控制。

AI项目与工具 2024年01月01日 17 点赞 0 评论 493 浏览

Pix2Gif

Pix2Gif是一个由微软研究院开发的基于运动引导的扩散模型，能够将静态图像转换成动态的GIF动画或视频。该模型通过运动引导的扩散过程实现图像到GIF的生成，并利用文本描述和运动幅度作为输入。Pix2Gif还引入了感知损失机制，确保生成的GIF帧在视觉上与原始图像保持一致性和连贯性。

AI项目与工具 2024年01月01日 30 点赞 0 评论 401 浏览

Transformer Debugger

Transformer Debugger (TDB) 是一款由OpenAI的对齐团队开发的工具，用于帮助研究人员和开发者理解和分析Transformer模型的内部结构和行为。它提供了无需编程即可探索模型结构的能力，并具备前向传递干预、组件级分析、自动生成解释、可视化界面及后端支持等功能。TDB 支持多种模型和数据集，包括GPT-2模型及其自动编码器。

AI项目与工具 2024年01月01日 95 点赞 0 评论 222 浏览

ELLA

ELLA（Efficient Large Language Model Adapter）是一种由腾讯研究人员开发的方法，旨在提升文本到图像生成模型的语义对齐能力。它通过引入时序感知语义连接器（TSC），动态提取预训练大型语言模型（LLM）中的时序依赖条件，从而提高模型对复杂文本提示的理解能力。ELLA无需重新训练，可以直接应用于预训练的LLM和U-Net模型，且能与现有模型和工具无缝集成，显著提升

AI项目与工具 2024年01月01日 74 点赞 0 评论 178 浏览

PixArt

PixArt-Σ是一款基于扩散Transformer架构（DiT）的文本生成图像模型，专为生成高达4K分辨率的高质量图像而设计。该模型通过整合高级元素并采用从弱到强的训练方法，不仅提升了生成图像的保真度，还增强了图像与文本提示之间的对齐效果。PixArt-Σ的生成图像在美学质量上可媲美当前顶级的文本到图像产品，并且在遵循文本提示方面表现出色。主要功能包括4K分辨率图像生成、高保真转换、高效率训练和

AI项目与工具 2024年01月01日 82 点赞 0 评论 503 浏览

Moondream

Moondream是一款小型的开源人工智能视觉语言模型，具有强大的图像处理能力和灵活性，能够在不同设备上运行。它基于Apache 2.0许可证，支持商业使用，并广泛应用于安全监控、无人机和机器人技术以及零售与购物领域。

AI项目与工具 2024年01月01日 84 点赞 0 评论 498 浏览

AtomoVideo

AtomoVideo是一款高保真图像到视频生成框架，能够从静态图像生成高质量视频内容。它通过多粒度图像注入和高质量数据集及训练策略，保证生成视频与原始图像的高度一致性和良好的时间连贯性。此外，AtomoVideo还支持长视频生成、文本到视频生成以及个性化和可控生成等功能。

AI项目与工具 2024年01月01日 32 点赞 0 评论 194 浏览