XGrammar

XGrammar 是由陈天奇团队开发的开源软件库，专为大型语言模型（LLM）提供高效、灵活且可移植的结构化数据生成能力。通过基于上下文无关语法（CFG）的定义，XGrammar 支持递归组合以表示复杂结构，适用于生成 JSON、SQL 等格式的数据。其核心采用字节级下推自动机优化 CFG 解释，大幅降低每 token 的延迟，实现高达百倍的加速，同时保持几乎无额外开销的特点。XGrammar 集成了多种系统优化，例如自适应 token 掩码缓存和上下文扩展，显著提升掩码生成速度并减少预处理时间。其 C++ 后端设计便于集成，可在 LLM 推理中实现零开销的结构化生成。