SOLAMI

SOLAMI是由南洋理工大学研究团队开发的创新性VR端3D角色扮演AI系统，通过社交视觉-语言-行为模型（Social VLA），实现了用户与虚拟角色的沉浸式互动。该系统能够识别用户的语音及肢体语言，并生成相应的响应，支持多种角色类型及互动形式，如舞蹈、游戏等。其核心技术基于端到端的VLA模型架构，结合Motion Tokenizer和Speech Tokenizer处理多模态输入，利用大型语言模型（LLM）生成角色的语音和动作响应，并通过VQ-VAE和RVQ-VAE对动作和语音进行编码。