AI项目与工具

LM Studio

LM Studio是一个开源的本地大语言模型(LLM)应用平台,提供图形用户界面(GUI)和命令行界面(CLI),便于用户使用大型语言模型。LM Studio支持从Hugging Face等平台下载兼容的模型文件,并提供了一种“Playground”模式,用户可以通过该模式同时运行多个AI模型,以增强性能和输出。此外,LM Studio还具备模型发现功能,能够在应用首页展示新的和值得关注的LLMs

Video

Video-LLaVA2是一款由北京大学ChatLaw课题组开发的开源多模态智能理解系统。该系统通过时空卷积(STC)连接器和音频分支,显著提升了视频和音频的理解能力。其主要功能包括视频理解、音频理解、多模态交互、视频问答和视频字幕生成。时空建模和双分支框架是其核心技术原理。Video-LLaVA2广泛应用于视频内容分析、视频字幕生成、视频问答系统、视频搜索和检索、视频监控分析及自动驾驶等领域。

MUMU

MUMU是一种多模态图像生成模型,通过结合文本提示和参考图像来生成目标图像,提高生成的准确性和质量。该模型基于SDXL的预训练卷积UNet,并融合了视觉语言模型Idefics2的隐藏状态。MUMU能够在风格转换和角色一致性方面展现强大的泛化能力,同时在生成图像时能够很好地保留细节。主要功能包括多模态输入处理、风格转换、角色一致性、细节保留以及条件图像生成。

ColorAI

ColorAI 是一个基于人工智能技术的配色工具,能够根据用户的创意和设计理念自动生成配色方案。它提供了多种配色方案选择,包括三元色、相似色、互补色、复合色和单色方案。该工具不仅能生成配色方案,还能解释为何这些颜色适合用户的需求,帮助用户即使没有设计背景也能选择满意的配色方案。此外,用户还可以根据自身需求进行颜色调整,获取最满意的配色效果。

LLaVA

LLaVA-OneVision是字节跳动开发的开源多模态AI模型,主要功能包括多模态理解、任务迁移、跨场景能力、开源贡献及高性能。该模型采用多模态架构,集成了视觉和语言信息,通过Siglip视觉编码器和Qwen-2语言模型,实现高效特征映射和任务迁移学习。广泛应用于图像和视频分析、内容创作辅助、聊天机器人、教育和培训以及安全监控等领域。

HMoE

HMoE(混合异构专家模型)是腾讯混元团队提出的一种新型神经网络架构,旨在提升大型语言模型的性能和计算效率。通过引入不同规模的专家来处理不同复杂度的输入数据,HMoE增强了模型的专业化程度,并采用了新的训练目标和策略,如P-Penalty Loss,以提高参数利用率和计算效率。HMoE在多个预训练评估基准上表现出色,适用于自然语言处理、内容推荐、语音识别、图像和视频分析以及多模态学习等领域。

Creatopy

Creatopy是一款AI驱动的广告设计平台,提供从空白画布到行业特定模板的多种设计选项,支持动画、创意元素和HTML5动画,帮助用户创建吸引人的广告内容。该平台还具备强大的工作流程管理和团队协作功能,能够实现在多个数字渠道上的无缝广告投放。适用于市场营销人员、设计师、小企业主、社交媒体经理以及内容创作者等群体。

CustomCrafter

CustomCrafter是一个由腾讯和浙江大学合作开发的自定义视频生成框架,能够根据文本提示和参考图像生成高质量的个性化视频。该框架支持自定义主体身份和运动模式,具备文本提示生成视频、保留运动生成能力和概念组合能力等功能。其核心技术包括视频扩散模型、空间主题学习模块和动态加权视频采样策略等,广泛应用于影视制作、虚拟现实、游戏开发、广告营销和社交媒体内容创作等领域。

LitServe

LitServe是一款基于FastAPI的高性能AI模型部署引擎,专为企业级AI服务设计。它支持批处理、流式处理和GPU自动扩展,简化了模型部署流程。LitServe易于安装和使用,提供灵活的API定义和强大的服务器控制能力。它兼容多种机器学习框架,具备自动扩展和身份验证等高级特性,适用于机器学习模型部署、大语言模型服务、视觉模型推理、音频和语音处理及自然语言处理等多个领域。

LongVILA

LongVILA是一款专为长视频理解设计的视觉语言AI模型,由多家知名研究机构共同开发。它具备强大的长上下文处理能力和多模态序列并行性,能在大量GPU上高效训练,无需梯度检查点。LongVILA通过五阶段训练流程,结合大规模数据集构建和高性能推理,显著提升了长视频字幕的准确性和处理效率。此外,它还支持多种应用场景,包括视频字幕生成、内容分析、视频问答系统等。