开源专题

Open

Open-Sora是一个开源视频生成模型，基于DiT架构，通过三个阶段的训练（大规模图像预训练、大规模视频预训练和高质量视频数据微调），生成与文本描述相符的视频内容。该模型包括预训练的VAE、文本编码器和STDiT（Spatial-Temporal Diffusion Transformer）核心组件，利用空间-时间注意力机制和交叉注意力模块实现视频生成。项目旨在提供全面的视频生成模型训练过程，供

AI项目与工具 2024年01月01日 97 点赞 0 评论 212 浏览

Grok

Grok-1是由xAI公司开发的大型语言模型，具备3140亿参数，是目前参数量最大的开源大语言模型之一。该模型基于Transformer架构，专用于自然语言处理任务，如问答、信息检索、创意写作和编码辅助等。尽管在信息处理方面表现出色，但需要人工审核以确保准确性。此外，Grok-1还提供了8bit量化版本，以降低存储和计算需求。

AI项目与工具 2024年01月01日 10 点赞 0 评论 298 浏览

Follow

Follow-Your-Click是一款由腾讯、清华大学和香港科技大学合作开发的图像到视频生成模型。它允许用户通过简单的点击和动作提示将静态图像转化为包含局部动画效果的动态视频。主要功能包括直观的用户界面、局部动画生成、多对象处理、简短动作提示、高质量视频生成及运动速度控制。其工作原理涉及用户交互、图像分割、第一帧遮罩策略、运动增强模块和基于光流的运动幅度控制。

AI项目与工具 2024年01月01日 17 点赞 0 评论 496 浏览

Transformer Debugger

Transformer Debugger (TDB) 是一款由OpenAI的对齐团队开发的工具，用于帮助研究人员和开发者理解和分析Transformer模型的内部结构和行为。它提供了无需编程即可探索模型结构的能力，并具备前向传递干预、组件级分析、自动生成解释、可视化界面及后端支持等功能。TDB 支持多种模型和数据集，包括GPT-2模型及其自动编码器。

AI项目与工具 2024年01月01日 95 点赞 0 评论 223 浏览

Moondream

Moondream是一款小型的开源人工智能视觉语言模型，具有强大的图像处理能力和灵活性，能够在不同设备上运行。它基于Apache 2.0许可证，支持商业使用，并广泛应用于安全监控、无人机和机器人技术以及零售与购物领域。

AI项目与工具 2024年01月01日 84 点赞 0 评论 499 浏览

MeloTTS

MeloTTS是一个高质量的多语言文本转语音（TTS）库，由MyShell AI开发。该工具支持多种语言的文本转语音任务，包括英语（含不同口音）、西班牙语、法语、中文、日语和韩语，并具备快速的语音合成速度。MeloTTS不仅支持中英混合发音，还易于安装和使用，适用于多种操作系统和环境。用户可以在GitHub和Hugging Face平台上获取和体验MeloTTS。

AI项目与工具 2024年01月01日 57 点赞 0 评论 403 浏览

SDXL

SDXL-Lightning是一种基于扩散模型的文本到图像生成技术，由字节跳动的研究团队开发。该模型通过结合渐进式和对抗式蒸馏方法，能够在一至少数步骤内快速生成1024像素分辨率的高质量图像。该模型提供开源模型和权重，支持与现有的LoRA模块和控制插件兼容，可以轻松集成到现有的图片生成系统中。核心技术包括扩散模型、渐进式蒸馏、对抗式蒸馏和鉴别器设计，以确保生成图像的质量和多样性。

AI项目与工具 2024年01月01日 91 点赞 0 评论 273 浏览

Make

Make-A-Character（简称Mach）是由阿里巴巴集团智能计算研究院开发的3D数字人生成框架，通过文本描述快速生成逼真的3D角色。该系统支持灵活的定制化、高度逼真的渲染、完整的角色模型及动画支持。其工作流程包括文本解析、视觉提示生成、参考肖像图像生成、密集面部坐标检测、几何生成、纹理生成、纹理修正、头发生成、资产匹配和角色装配。Mach生成的角色模型可以无缝集成到游戏和电影行业的标准CG

AI项目与工具 2024年01月01日 39 点赞 0 评论 341 浏览

DiffusionGPT

DiffusionGPT是一款基于大型语言模型的开源文本到图像生成系统，由字节跳动与中山大学联合开发。它采用思维树和优势数据库技术，能够解析和处理多样化的文本提示，生成高质量图像。系统通过多模型的选择与集成、基于人类反馈的优化以及高效的图像生成执行，实现了从文本到图像的无缝转换。DiffusionGPT适用于多种应用场景，具有广泛适用性和灵活性。

AI项目与工具 2024年01月01日 93 点赞 0 评论 333 浏览

Lepton Search

Lepton Search 是一个基于对话式AI的搜索引擎，由前阿里巴巴技术副总裁及AI科学家贾扬清创立的Lepton AI应用构建平台开源。它通过集成大语言模型和调用Bing搜索API，实现了自然语言交互和精准搜索。其开源特性、对话式搜索能力、内置大语言模型支持、搜索引擎集成、可定制化用户界面以及搜索结果的高效管理，使其成为一款功能全面、灵活且高效的AI工具。

AI项目与工具 2024年01月01日 96 点赞 0 评论 398 浏览