语义相似性

Chonkie

Chonkie是一款轻量级、高性能的RAG分块库,支持多种分块方法(基于Token、单词、句子和语义),适用于自然语言处理任务。它具备高效性能、广泛tokenizer支持及灵活的安装选项,适用于RAG应用、对话系统、文本摘要和机器翻译等场景。