计算机视觉

Etna模型

一个文字转视频的AIGC模型,Etna能够根据简短的文本描述生成相应的视频内容,支持生成时长为8-15秒的视频,且视频流畅度极高,每秒可达60帧。

LLaVA

LLaVA-OneVision是字节跳动开发的开源多模态AI模型,主要功能包括多模态理解、任务迁移、跨场景能力、开源贡献及高性能。该模型采用多模态架构,集成了视觉和语言信息,通过Siglip视觉编码器和Qwen-2语言模型,实现高效特征映射和任务迁移学习。广泛应用于图像和视频分析、内容创作辅助、聊天机器人、教育和培训以及安全监控等领域。

WebDesignAgent

WebDesignAgent是一款基于AI技术的自动化网页设计工具,支持文本到网站、图像到网站等多种输入方式,可生成功能齐全、设计精美的网页。它支持多页面设计、用户自定义及迭代优化,适用于个人博客、企业官网、电商页面等多种场景。通过集成自然语言处理、计算机视觉以及大型语言模型,WebDesignAgent能够智能化地完成从内容理解到网页生成的全过程。

TrajectoryCrafter

TrajectoryCrafter是一种基于双流条件视频扩散模型的单目视频相机轨迹重定向工具,支持用户自定义相机运动路径并生成高质量、4D一致的视频内容。其核心技术包括解耦视图变换与内容生成、动态点云渲染以及混合数据集训练策略,具备强大的场景泛化能力。适用于沉浸式娱乐、视频创作、智能会议、自动驾驶及教育等多个领域。

FILM

Frame Interpolation是一个开源的神经网络模型,能够在两个视频帧之间生成高质量的中间帧,特别适合需要处理大范围场景运动的应用。

Augmented Physics

Augmented Physics是一款基于人工智能的教育工具,旨在通过计算机视觉技术和多模态语言模型,将物理教科书中的静态图表转化为动态交互式模拟,帮助学生更好地理解物理概念。它支持多种仿真类型,包括光学、运动学和电路等,并提供动态可视化和动画效果,同时无需编程技能即可创建仿真。

SHMT

SHMT是一种基于自监督学习的高级化妆转移技术,由阿里巴巴达摩院与武汉理工大学联合研发。该技术无需成对训练数据,可将多种化妆风格自然迁移到目标面部图像上,通过“解耦-重建”策略和迭代双重对齐模块,实现高精度的纹理控制与对齐校正。适用于图像处理、虚拟试妆、影视设计等多个领域,具有高效、灵活、高质量的特点。

Finedefics

Finedefics是由北京大学彭宇新教授团队开发的细粒度多模态大模型,专注于提升多模态大语言模型在细粒度视觉识别任务中的表现。该模型通过引入对象的细粒度属性描述,结合对比学习方法,实现视觉对象与类别名称的精准对齐。在多个权威数据集上表现出色,准确率达76.84%。其应用场景涵盖生物多样性监测、智能交通、零售管理及工业检测等领域。

SeedVR

SeedVR是由南洋理工大学与字节跳动联合开发的视频修复模型,采用移位窗口注意力机制和因果视频变分自编码器,实现高质量、高效率的视频修复。支持任意长度和分辨率的视频处理,生成具有真实感细节的修复结果,适用于影视修复、广告制作、监控视频优化等多个场景。其处理速度优于现有方法,具备良好的实用性与扩展性。

HiCo

HiCo是一款基于扩散模型的层次化可控布局到图像生成工具,采用多分支结构设计,能够精确控制对象的位置和文本描述,解决复杂布局中的常见问题。该工具支持高分辨率图像生成,兼容多种快速生成插件,并在多目标布局生成任务中表现出色,适用于图像编辑、游戏设计、虚拟现实等多个领域。