模型

JoyVASA

JoyVASA是一个基于扩散模型的音频驱动数字人头项目,能够生成与音频同步的面部动态和头部运动。其主要功能包括唇形同步、表情控制及动物面部动画生成,支持多语言和跨物种动画化。项目采用两阶段训练方法,结合解耦面部表示与扩散模型技术,生成高质量动画视频,广泛应用于虚拟助手、娱乐媒体、教育、广告等多个领域。

Sketch2Sound

Sketch2Sound是一种由Adobe研究院与西北大学联合开发的AI音频生成技术,通过提取响度、亮度和音高概率等控制信号,结合文本提示生成高质量音效。其轻量化设计使得模型易于适配多种文本到音频框架,同时赋予声音设计师更强的表达力与可控性,广泛适用于电影、游戏、音乐制作及教育等多个领域。

FinRobot

FinRobot是一款开源的AI代理平台,专注于金融领域的应用,基于大型语言模型(LLMs)构建能够执行复杂分析和决策的专业金融AI代理。平台通过金融思维链(CoT)提示功能提升分析能力,并通过开源方式促进AI在金融决策中的广泛应用。架构涵盖金融AI代理层、金融LLM算法层、LLMOps和DataOps层以及多源LLM基础模型层,支持市场预测、文档分析及交易策略等多种金融专业AI代理。

DanceGRPO

DanceGRPO 是由字节跳动与香港大学联合开发的视觉生成强化学习框架,支持文本到图像、文本到视频、图像到视频等多种任务,兼容多种生成模型与奖励机制。其通过强化学习优化生成过程,提升视觉内容质量与一致性,降低显存压力,提高训练效率与稳定性,适用于视频生成和多模态内容创作。

Gemini Robotics

Gemini Robotics 是谷歌 DeepMind 基于 Gemini 2.0 开发的机器人系统,融合视觉-语言-动作模型,支持复杂任务执行与环境适应。具备三维空间理解、物体检测、轨迹预测和开放词汇指令执行能力,适用于工业制造、物流仓储、家庭服务、医疗健康等多个领域。系统通过数据驱动训练,结合真实操作与多模态信息,实现高效、灵活的机器人控制。

AndroidGen

AndroidGen 是一个基于大语言模型(LLM)的智能代理框架,专注于提升 Agent 在数据稀缺环境下的任务执行能力。它通过无监督方式收集用户操作轨迹并进行训练,结合 ExpSearch、ReflectPlan、AutoCheck 和 StepCritic 四个核心模块,增强任务规划、执行和评估能力。该框架在 AndroidWorld 和 AitW 基准测试中表现出色,适用于自动化任务处理、

TechGPT-东北大学

TechGPT是一个强大的垂直领域大语言模型,具备处理专业领域文本的能力,并在信息抽取、智能问答和序列生成等方面表现出色。

NMT

NMT是一种由UC Berkeley和阿里巴巴联合开发的多任务学习框架,通过将多任务优化问题转化为约束优化问题,实现高优先级任务性能的保障。它基于拉格朗日乘数法,结合梯度下降与上升算法,简化了超参数调整流程,提高了模型训练效率和稳定性。NMT适用于推荐系统、搜索引擎、自然语言处理和金融风控等多个领域,具有良好的兼容性和扩展性。

MindMac

专为 macOS 设计的本机 ChatGPT 客户端。它作为 ChatGPT 的伴侣,允许用户轻松、无缝地与 OpenAI、Azure OpenAI、Google Gemini 等 AI 模型聊天。

Animate Anyone

Animate Anyone是一款由阿里巴巴智能计算研究院开发的开源框架,旨在将静态图像中的角色或人物动态化。它采用扩散模型,结合ReferenceNet、Pose Guider姿态引导器和时序生成模块等技术,确保输出的动态视频具有高度一致性和稳定性。该框架支持多种应用,包括角色动态化、时尚视频合成及人类舞蹈生成,用户可通过GitHub或Hugging Face社区轻松体验。