多模态

Luma Ray2

Luma Ray2 是 Luma AI 推出的视频生成模型,基于多模态架构,支持文本和图像输入,生成高质量、连贯的视频内容。相较前代,视频时长从 5 秒提升至 1 分钟,支持电影级运镜和逼真特效,适用于影视制作、广告、游戏动画及教育等多个领域。

CustomVideoX

CustomVideoX是一种基于视频扩散变换器的个性化视频生成框架,能够根据参考图像和文本描述生成高质量视频。其核心技术包括3D参考注意力机制、时间感知注意力偏差(TAB)和实体区域感知增强(ERAE),有效提升视频的时间连贯性和语义一致性。支持多种应用场景,如艺术设计、广告营销、影视制作等,具备高效、精准和可扩展的特点。

LTX Studio

LTX Studio 是由知名 AI 平台 Lightricks(也是 Facetune、Videoleap 和 Photoleap 等应用的开发者)推出的一项创新服务,它是一个生成式 AI 电影制作和视频短片生成平台。

VersaGen

VersaGen是一款基于生成式AI的文本到图像合成工具,支持多样化视觉控制和灵活的创意表达。通过适配器训练和优化策略,VersaGen将视觉信息融入生成过程中,显著提升了图像质量和用户体验。该工具适用于创意设计、数字艺术、广告营销、游戏开发及影视制作等多个领域,为用户提供了高效且直观的视觉创作解决方案。

星火绘镜

一款由科大讯飞推出的AI文生视频创作平台,可以轻松地从文字描述生成短视频内容、将文本转换为视频分镜、扩展成完整的短视等。

Ichigo

Ichigo是一款开源的多模态AI语音助手,采用混合模态模型,支持实时处理语音和文本交织序列。它通过统一的Transformer架构实现跨模态联合推理,提供低延迟的实时性能,并支持多语言、多轮对话及模糊输入处理。Ichigo适用于智能家居、个人助理、客户服务、教育和健康咨询等多种应用场景,展现了高效、灵活的技术优势。

olmOCR

olmOCR 是一款开源 PDF 文档处理工具,结合文档锚定技术和 Qwen2-VL-7B-Instruct 模型,可高效提取结构化文本并保留原始布局。支持多种文档类型,具备大规模批量处理能力和低成本优势,适用于学术研究、法律文件处理、企业文档管理及数字图书馆建设等多个场景。其开源特性与可扩展性也增强了用户的使用灵活性。

Gen

Gen-3 Alpha是一款由Runway公司研发的AI视频生成模型,能够生成长达10秒的高清视频片段,支持文本到视频、图像到视频的转换,并具备精细的时间控制及多种高级控制模式。其特点在于生成逼真的人物角色、复杂的动作和表情,提供运动画笔、高级相机控制和导演模式等高级控制工具,确保内容的安全性和合规性。

WeGen

WeGen是一款由中国科学技术大学等机构联合开发的多模态生成模型,结合多模态大语言模型与扩散模型,支持文本到图像生成、图像编辑、风格迁移等多种视觉任务。其特点包括对模糊指令的多样化响应、高一致性输出以及交互式生成能力,适用于创意设计、内容创作等多个领域。