Ichigo

Ichigo是一款开源的多模态AI语音助手，采用混合模态模型，能够实时处理语音与文本交织的数据序列。通过将语音直接量化为离散令牌，并结合统一的Transformer架构同时处理语音和文本，Ichigo实现了高效的跨模态联合推理与生成。这种方法不仅提升了处理速度，还降低了算力消耗，使得首次令牌生成的延迟仅为111毫秒，显著优于现有模型，从而提供接近实时的语音交互体验。 Ichigo的设计注重技术细节，其核心机制包括混合模态早期融合、统一的Transformer架构、语音到令牌的转换（基于WhisperVQ技术）以及低延迟的实时性能。这些特性确保了Ichigo在多语言环境下的高效运作，同时支持多轮对话管理和模糊输入处理，增强了用户体验。 Ichigo的代码托管于GitHub，同时拥有HuggingFace模型库的支持，并已发布相关技术论文供学术研究参考。该工具广泛应用于智能家居、虚拟个人助理、客户服务、教育和健康咨询等多个领域，展现出强大的多功能性和适应性。