多模态

Liquid

Liquid是由华中科技大学、字节跳动和香港大学联合开发的多模态生成框架,通过VQGAN将图像编码为离散视觉token并与文本共享词汇空间,使大型语言模型无需修改结构即可处理视觉任务。该框架降低训练成本,提升视觉生成与理解性能,并在多模态任务中表现出色。支持图像生成、视觉问答、多模态融合等应用,适用于创意设计、内容创作及智能交互等领域。

DeepEyes

DeepEyes是由小红书团队和西安交通大学联合开发的多模态深度思考模型,基于端到端强化学习实现“用图思考”能力,无需依赖监督微调。它在推理过程中动态调用图像工具,增强对细节的感知与理解,在视觉推理基准测试V* Bench上准确率高达90.1%。具备图像定位、幻觉缓解、多模态推理和动态工具调用等功能,适用于教育、医疗、交通、安防和工业等多个领域。

BuboGPT | 字节大模型

BuboGPT是由字节跳动开发的大型语言模型,能够处理多模态输入,包括文本、图像和音频,并具有将其响应与视觉对象相对应的独特能力。

LMEval

LMEval是谷歌推出的开源框架,用于简化大型语言模型(LLMs)的跨提供商评估。它支持多模态(文本、图像、代码)和多指标评估,兼容Google、OpenAI、Anthropic等主流模型提供商。LMEval基于增量评估引擎,节省时间和计算资源,并通过自加密的SQLite数据库安全存储评估结果。LMEvalboard提供交互式可视化界面,帮助用户分析模型性能并直观比较不同模型的优缺点。

Responses API

Responses API 是 OpenAI 推出的 AI 代理开发核心接口,结合对话生成与工具调用能力,支持多轮交互与复杂任务处理。具备流式事件处理、统一 Item 结构设计、多态性简化等功能,内置网页搜索、文件搜索和计算机使用等工具。适用于智能客服、市场分析、内容创作等多个领域,提供灵活的定价模式,提升开发效率与用户体验。

Gemini 2.0 Flash Thinking

Gemini 2.0 Flash Thinking 是谷歌发布的一款推理增强型AI模型,具有高达百万tokens的长上下文窗口、可解释的推理过程、代码执行功能及多模态处理能力。它能够有效减少推理矛盾,提升输出结果的可靠性和一致性,广泛适用于教育、科研、内容创作、客户服务以及数据分析等多个领域。

有言

是一个一站式AIGC视频创作平台,它提供了一个无需拍摄、剪辑和后期处理的解决方案,能够一键生成3D视频。

GenMAC

GenMAC是一款基于多代理协作的迭代框架,旨在解决文本到视频生成中的复杂场景生成问题。它通过任务分解为设计、生成和重新设计三阶段,结合验证、建议、修正和输出结构化子任务,利用自适应自路由机制优化视频生成效果。该工具可应用于电影制作、游戏开发、广告设计、教育培训和新闻报道等多个领域,显著提升视频生成的效率和质量。

小爱同学 AI 助手

小爱同学 AI 助手是一款功能全面、智能化程度高的多模态AI助手。它不仅能够提供丰富的信息查询和知识问答服务,还能通过智能分析和建议,帮助用户更高效地规划生活和工作。

STIV

STIV是一款由苹果公司开发的视频生成大模型,具有8.7亿参数,擅长文本到视频(T2V)及文本图像到视频(TI2V)任务。它通过联合图像-文本分类器自由引导(JIT-CFG)技术提升生成质量,并结合时空注意力机制、旋转位置编码(RoPE)及流匹配训练目标优化性能。STIV支持多种应用场景,包括视频预测、帧插值、长视频生成等,适用于娱乐、教育、广告及自动驾驶等多个领域。