Sketch2Sound

Sketch2Sound是由Adobe研究院与西北大学合作研发的一种基于AI的音频生成技术。该技术能够通过声音模仿及文本提示生成高质量的音效。它从声音模仿中提取响度、亮度以及音高概率这三个核心控制信号，并将其编码后应用于条件化的文本到语音生成系统。Sketch2Sound具有轻量化的特点，仅需少量微调步骤和单层线性适配即可在多种文本到音频模型上运行。这一工具为声音设计师提供了兼具文本提示语义灵活性和声音模仿精确性的创作手段，显著提升了声音创作的表现力与可控性。