多模态
CreatiLayout
CreatiLayout 是一种先进的布局到图像生成技术,由复旦大学与字节跳动联合开发。它基于大规模布局数据集 LayoutSAM,结合 SiamLayout 框架和 MM-DiT 架构,实现高质量、细粒度可控的图像生成。同时,其 LayoutDesigner 工具支持多种输入方式,帮助用户优化布局设计。适用于海报制作、室内设计、视觉创作及教学等多个领域。
Gemini 2.0
Gemini 2.0 是谷歌推出的原生多模态AI模型,具备快速处理文本、音频和图像的能力,支持多语言输出和实时音视频流输入。通过Agent技术和工具调用,Gemini 2.0 能够自主理解任务并提供解决方案,已在编程、数据分析、游戏等领域展示应用潜力。目前提供免费试用,计划逐步开放更多功能。
Free Video
Free Video-LLM是一种无需训练的高效视频语言模型,基于提示引导的视觉感知技术,可直接对视频内容进行理解和推理,适用于视频问答、内容分析等多种场景。通过时空采样优化和减少视觉标记,它在保持高性能的同时显著降低了计算复杂度。
