Farfalle

Farfalle.dev 是一个开源 AI 驱动的答案 AI 搜索引擎，定位为 Perplexity 的自托管替代品。它允许用户运行本地大型语言模型 (LLMs)，如 llama3、gemma、mistral 和 phi3，或通过 LiteLLM 使用自定义 LLMs。此外，它还支持 Groq/Llama3 和 OpenAI 的 GPT-4 和 GPT-3.5-turbo。

Farfalle 主要特征：

• 搜索提供商：Farfalle 与多个搜索提供商集成，包括 Tavily、Searxng、Serper 和 Bing。

• 本地和云模型：用户可以使用本地模型（llama3、mistral、gemma、phi3）或云模型（OpenAI/gpt4-o、OpenAI/gpt3.5-turbo、Groq/Llama3）回答问题。

• 自定义 LLMs：通过 LiteLLM，Farfalle 支持自定义 LLMs，增强其灵活性。

• 技术堆栈：前端使用 Next.js 构建，后端使用 FastAPI 构建。它还使用 Redis 进行速率限制，使用 Logfire 进行日志记录。

• 部署选项：Farfalle 可以使用 Docker 或在 Render 和 Vercel 等平台上部署。

Farfalle 入门：

要在本地开始使用 Farfalle：

先决条件：如果运行本地模型，请确保安装了 Docker 和 Ollama。

API 密钥：获取 Tavily、Serper、OpenAI、Bing 和 Groq 等可选服务的 API 密钥。

运行命令：

 docker run \
    -p 8000:8000 -p 3000:3000 -p 8080:8080 \
    --add-host=host.docker.internal:host-gateway \
    ghcr.io/rashadphz/farfalle:main

访问 http://localhost:3000 访问应用程序。

Farfalle 源代码可在 GitHub 上获取。https://github.com/rashadphz/farfalle